让 Codex 操作本机应用
说明 Computer Use 如何让 Codex 操作本地 Mac app,适合没有专用 plugin 的 GUI 任务。
Computer Use 让 Codex 像你一样操作 Mac app:看界面、点击、输入、在窗口之间切换。它适合那些没有专用 plugin、但必须通过普通 app UI 完成的任务。
官方页面:https://developers.openai.com/codex/use-cases/use-your-computer-with-codex
Use your computer
让 Codex 在 Mac 上跨 app、window 和文件完成任务。
Computer Use setup
安装插件并授予 Screen Recording 和 Accessibility 权限。
Plugins
有结构化插件时优先用插件,缺口再用 Computer Use。
适合什么任务
| 场景 | Codex 应该做什么 |
|---|---|
| 任务跨 apps、windows、browser sessions 或 local files | 用 Computer Use 连续操作多个入口 |
| 工作需要后台交给 Codex 继续 | 明确 outcome,让 Codex 在背景中完成 |
| 没有专用 plugin 的普通 app UI | 通过点击、输入和导航直接操作 app |
相关官方说明:
- Computer Use:https://developers.openai.com/codex/app/computer-use
- Plugins:https://developers.openai.com/codex/plugins
- Customize Codex:https://developers.openai.com/codex/concepts/customization
起始提示词
@Computer Use [描述你希望在 Mac 上完成的跨应用任务]官方示例:
@Computer Use 播放一些音乐,帮助我专注。@Computer Use 帮我把 Notes 里的 interview notes 添加到 Ashby。@Computer Use 请在 Messages app 里查找 Brooke 本周发给我的 trip ideas,把最好的选项添加到一条名为 "Yosemite ideas" 的新 note,并起草一条回复给她。更稳的任务格式
把跨应用任务写成“目标 app + 输入 + 输出 + 禁止动作”:
@Computer 请完成这个 Mac 任务。
Target apps:
- Notes
- Slack
Goal:
- 从指定 Slack thread 提取今天需要我处理的事项。
- 在 Notes 里创建一条新的 checklist。
Rules:
- 只读取这个 thread,不浏览其他 channel。
- 不发送 Slack 消息。
- 不删除或移动任何文件。
Output:
- 完成后告诉我 note 标题、包含几项、是否遇到权限或登录问题。Computer Use 能跨 app 做事,但它并不知道哪些窗口或账号是安全边界。把禁止动作写清楚,比事后要求它“不要乱点”更可靠。
使用方式
- 准备 Computer Use。
- 用
@Computer Use开头,或 mention 具体 app,例如@Slack、@Messages。 - 描述 task 和 expected outcome。
- 当 Codex 需要访问某个 app 或入口时,按需确认,然后让它继续在背景中完成。
如果你 mention 了某个 app,且该 app 有专用 plugin,Codex 可能优先使用 plugin。这通常是更稳的选择;没有 plugin 时,再回到 Computer Use 直接操作 app。
更多示例:
@Computer Use 请检查我的 Slack,并为今天结束前需要我完成的所有事项添加 reminders。什么时候不要用
这些情况不要优先启用 Computer Use:
- 能用 CLI、API、MCP、plugin 或文件直接完成的任务。
- 需要输入密码、二次验证、支付确认、删除账号、修改安全设置。
- 同一个 app 已经被你或另一个 agent 正在操作。
- 目标 app 里有大量敏感客户数据,但本轮任务只需要少量字段。
- 你无法在旁边确认权限弹窗和高风险点击。
它的价值是补齐图形界面缺口,不是替代所有自动化。能结构化访问时,结构化入口更可复现;不能结构化时,再让 Codex 看屏幕、点击和输入。
实用边界
指定浏览器
Computer Use 会控制它正在操作的 app。如果你想自己继续用一个 browser,让 Codex 用另一个 browser,prompt 里写清楚。也可以在 customization 里设置默认偏好:
使用 Computer Use 处理 web browsing tasks 时,默认使用 Chrome,而不是 Safari。不要同一 app 并行跑
不要同时让两个 Computer Use tasks 操作同一个 app。窗口状态会变得不稳定,Codex 也更难保持上下文。
保持已登录
相关 apps 和 services 先登录好,任务会更顺。如果 Mac 在 Computer Use 运行时锁屏,活动会停止。
后续处理
任务完成后保持同一线程,可以让 Codex:
- summarize what it changed。
- double-check the result。
- 把这个 workflow 写进 customization,下次按同样模式处理。
安全检查清单
开始前:
- 目标 app 已登录,且只打开本轮需要的窗口。
- 不相关的敏感窗口已经关闭。
- prompt 里写清是否允许发送、保存、上传、删除或提交。
- 如果需要浏览器,指定使用哪个 browser,避免影响你正在使用的浏览器。
执行中:
- 审核 Codex 请求访问的 app。
- 遇到系统权限、付款、账号安全、凭据输入时人工接管。
- 如果它切到错误窗口,立即停止。
完成后:
- 检查最终产物是否真的保存。
- 让 Codex 总结它改了什么、没改什么。
- 对重复流程再考虑写进 customization 或做成 plugin / CLI。