AI 编程教程中文版
官方教程中文版实战场景

让 Codex 操作本机应用

说明 Computer Use 如何让 Codex 操作本地 Mac app,适合没有专用 plugin 的 GUI 任务。

Computer Use 让 Codex 像你一样操作 Mac app:看界面、点击、输入、在窗口之间切换。它适合那些没有专用 plugin、但必须通过普通 app UI 完成的任务。

官方页面:https://developers.openai.com/codex/use-cases/use-your-computer-with-codex

适合什么任务

场景Codex 应该做什么
任务跨 apps、windows、browser sessions 或 local files用 Computer Use 连续操作多个入口
工作需要后台交给 Codex 继续明确 outcome,让 Codex 在背景中完成
没有专用 plugin 的普通 app UI通过点击、输入和导航直接操作 app

相关官方说明:

起始提示词

@Computer Use [描述你希望在 Mac 上完成的跨应用任务]

官方示例:

@Computer Use 播放一些音乐,帮助我专注。
@Computer Use 帮我把 Notes 里的 interview notes 添加到 Ashby。
@Computer Use 请在 Messages app 里查找 Brooke 本周发给我的 trip ideas,把最好的选项添加到一条名为 "Yosemite ideas" 的新 note,并起草一条回复给她。

更稳的任务格式

把跨应用任务写成“目标 app + 输入 + 输出 + 禁止动作”:

@Computer 请完成这个 Mac 任务。

Target apps:
- Notes
- Slack

Goal:
- 从指定 Slack thread 提取今天需要我处理的事项。
- 在 Notes 里创建一条新的 checklist。

Rules:
- 只读取这个 thread,不浏览其他 channel。
- 不发送 Slack 消息。
- 不删除或移动任何文件。

Output:
- 完成后告诉我 note 标题、包含几项、是否遇到权限或登录问题。

Computer Use 能跨 app 做事,但它并不知道哪些窗口或账号是安全边界。把禁止动作写清楚,比事后要求它“不要乱点”更可靠。

使用方式

  1. 准备 Computer Use
  2. @Computer Use 开头,或 mention 具体 app,例如 @Slack@Messages
  3. 描述 task 和 expected outcome。
  4. 当 Codex 需要访问某个 app 或入口时,按需确认,然后让它继续在背景中完成。

如果你 mention 了某个 app,且该 app 有专用 plugin,Codex 可能优先使用 plugin。这通常是更稳的选择;没有 plugin 时,再回到 Computer Use 直接操作 app。

更多示例:

@Computer Use 请检查我的 Slack,并为今天结束前需要我完成的所有事项添加 reminders。

什么时候不要用

这些情况不要优先启用 Computer Use:

  • 能用 CLI、API、MCP、plugin 或文件直接完成的任务。
  • 需要输入密码、二次验证、支付确认、删除账号、修改安全设置。
  • 同一个 app 已经被你或另一个 agent 正在操作。
  • 目标 app 里有大量敏感客户数据,但本轮任务只需要少量字段。
  • 你无法在旁边确认权限弹窗和高风险点击。

它的价值是补齐图形界面缺口,不是替代所有自动化。能结构化访问时,结构化入口更可复现;不能结构化时,再让 Codex 看屏幕、点击和输入。

实用边界

指定浏览器

Computer Use 会控制它正在操作的 app。如果你想自己继续用一个 browser,让 Codex 用另一个 browser,prompt 里写清楚。也可以在 customization 里设置默认偏好:

使用 Computer Use 处理 web browsing tasks 时,默认使用 Chrome,而不是 Safari。

不要同一 app 并行跑

不要同时让两个 Computer Use tasks 操作同一个 app。窗口状态会变得不稳定,Codex 也更难保持上下文。

保持已登录

相关 apps 和 services 先登录好,任务会更顺。如果 Mac 在 Computer Use 运行时锁屏,活动会停止。

后续处理

任务完成后保持同一线程,可以让 Codex:

  • summarize what it changed。
  • double-check the result。
  • 把这个 workflow 写进 customization,下次按同样模式处理。

安全检查清单

开始前:

  • 目标 app 已登录,且只打开本轮需要的窗口。
  • 不相关的敏感窗口已经关闭。
  • prompt 里写清是否允许发送、保存、上传、删除或提交。
  • 如果需要浏览器,指定使用哪个 browser,避免影响你正在使用的浏览器。

执行中:

  • 审核 Codex 请求访问的 app。
  • 遇到系统权限、付款、账号安全、凭据输入时人工接管。
  • 如果它切到错误窗口,立即停止。

完成后:

  • 检查最终产物是否真的保存。
  • 让 Codex 总结它改了什么、没改什么。
  • 对重复流程再考虑写进 customization 或做成 plugin / CLI。

官方资料

本页目录