讓 Codex 操作本機應用

Computer Use 讓 Codex 像你一樣操作 Mac app：看介面、點選、輸入、在視窗之間切換。它適合那些沒有專用 plugin、但必須透過普通 app UI 完成的任務。

官方頁面：https://developers.openai.com/codex/use-cases/use-your-computer-with-codex

Use your computer

讓 Codex 在 Mac 上跨 app、window 和檔案完成任務。

Computer Use setup

安裝外掛並授予 Screen Recording 和 Accessibility 許可權。

Plugins

有結構化外掛時優先用外掛，缺口再用 Computer Use。

適合什麼任務

場景	Codex 應該做什麼
任務跨 apps、windows、browser sessions 或 local files	用 Computer Use 連續操作多個入口
工作需要後臺交給 Codex 繼續	明確 outcome，讓 Codex 在背景中完成
沒有專用 plugin 的普通 app UI	透過點選、輸入和導航直接操作 app

相關官方說明：

Computer Use：https://developers.openai.com/codex/app/computer-use
Plugins：https://developers.openai.com/codex/plugins
Customize Codex：https://developers.openai.com/codex/concepts/customization

起始提示詞

@Computer Use [描述你希望在 Mac 上完成的跨应用任务]

官方示例：

@Computer Use 播放一些音乐，帮助我专注。

@Computer Use 帮我把 Notes 里的 interview notes 添加到 Ashby。

@Computer Use 请在 Messages app 里查找 Brooke 本周发给我的 trip ideas，把最好的选项添加到一条名为 "Yosemite ideas" 的新 note，并起草一条回复给她。

更穩的任務格式

把跨應用任務寫成“目標 app + 輸入 + 輸出 + 禁止動作”：

@Computer 请完成这个 Mac 任务。

Target apps:
- Notes
- Slack

Goal:
- 从指定 Slack thread 提取今天需要我处理的事项。
- 在 Notes 里创建一条新的 checklist。

Rules:
- 只读取这个 thread，不浏览其他 channel。
- 不发送 Slack 消息。
- 不删除或移动任何文件。

Output:
- 完成后告诉我 note 标题、包含几项、是否遇到权限或登录问题。

Computer Use 能跨 app 做事，但它並不知道哪些視窗或賬號是安全邊界。把禁止動作寫清楚，比事後要求它“不要亂點”更可靠。

使用方式

準備 Computer Use。
用 @Computer Use 開頭，或 mention 具體 app，例如 @Slack、@Messages。
描述 task 和 expected outcome。
當 Codex 需要訪問某個 app 或入口時，按需確認，然後讓它繼續在背景中完成。

如果你 mention 了某個 app，且該 app 有專用 plugin，Codex 可能優先使用 plugin。這通常是更穩的選擇；沒有 plugin 時，再回到 Computer Use 直接操作 app。

更多示例：

@Computer Use 请检查我的 Slack，并为今天结束前需要我完成的所有事项添加 reminders。

什麼時候不要用

這些情況不要優先啟用 Computer Use：

能用 CLI、API、MCP、plugin 或檔案直接完成的任務。
需要輸入密碼、二次驗證、支付確認、刪除賬號、修改安全設定。
同一個 app 已經被你或另一個 agent 正在操作。
目標 app 裡有大量敏感客戶資料，但本輪任務只需要少量欄位。
你無法在旁邊確認許可權彈出視窗和高風險點選。

它的價值是補齊圖形介面缺口，不是替代所有自動化。能結構化訪問時，結構化入口更可復現；不能結構化時，再讓 Codex 看螢幕、點選和輸入。

實用邊界

指定瀏覽器

Computer Use 會控制它正在操作的 app。如果你想自己繼續用一個 browser，讓 Codex 用另一個 browser，prompt 裡寫清楚。也可以在 customization 裡設定預設偏好：

使用 Computer Use 处理 web browsing tasks 时，默认使用 Chrome，而不是 Safari。

不要同一 app 並行跑

不要同時讓兩個 Computer Use tasks 操作同一個 app。視窗狀態會變得不穩定，Codex 也更難保持上下文。

保持已登入

相關 apps 和 services 先登入好，任務會更順。如果 Mac 在 Computer Use 執行時鎖屏，活動會停止。

後續處理

任務完成後保持同一執行緒，可以讓 Codex：

summarize what it changed。
double-check the result。
把這個 workflow 寫進 customization，下次按同樣模式處理。

安全檢查清單

開始前：

目標 app 已登入，且只開啟本輪需要的視窗。
不相關的敏感視窗已經關閉。
prompt 裡寫清是否允許傳送、儲存、上傳、刪除或提交。
如果需要瀏覽器，指定使用哪個 browser，避免影響你正在使用的瀏覽器。

執行中：

稽核 Codex 請求訪問的 app。
遇到系統許可權、付款、賬號安全、憑據輸入時人工接管。
如果它切到錯誤視窗，立即停止。

完成後：

檢查最終產物是否真的儲存。
讓 Codex 總結它改了什麼、沒改什麼。
對重複流程再考慮寫進 customization 或做成 plugin / CLI。