讓 Codex 操作本機應用

📖 本篇術語速查表

英文 / 縮寫	中文	一句話解釋
本機操作	local control	讓 Codex 操作本地應用。
受控範圍	controlled scope	限定能操作哪些應用和動作。
可中斷	interruptible	自動操作隨時能停下。

不想讀完？把下面這段提示詞丟給 AI 幫你跑完——幫你判斷要不要讓 Codex 操作本機應用、怎麼配才安全。

你是 Codex 本機應用操作規劃顧問，幫我判斷這個任務要不要讓 Codex 操作本機應用、怎麼配才安全可控。

【角色】
你瞭解讓 Codex 操作本機應用的方式、適用邊界、許可權和審批、安全風險，也知道有沒有更可控的替代。

【輸入】
- 我想讓它操作什麼應用 / 完成什麼：___
- 有沒有 API / CLI 等更可控替代：___
- 涉及的賬號、資料敏感度：___
- 風險容忍度：___

【工作流程】
1. 先看有沒有更可控的替代（API / CLI）
2. 確需操作時限定受控範圍
3. 配許可權審批，高危操作必須確認
4. 給可中斷和兜底機制

【輸出規範】
▌一、是否該用本機操作（vs 替代）
▌二、受控範圍限定
▌三、許可權審批設定
▌四、可中斷 + 兜底

【硬約束】
- 有更可控方式優先，不輕易自動操作介面
- 賬號、支付、敏感資料操作預設人工確認
- 全程受控、可隨時中斷
- 不在不可信應用 / 頁面自動操作
- 不確定的機制標註需查官方文件

Computer Use 讓 Codex 像你一樣操作 Mac app：看介面、點選、輸入、在視窗之間切換。它適合那些沒有專用 plugin、但必須透過普通 app UI 完成的任務。

官方頁面：https://developers.openai.com/codex/use-cases/use-your-computer-with-codex

Use your computer

讓 Codex 在 Mac 上跨 app、window 和檔案完成任務。

Computer Use setup

安裝外掛並授予 Screen Recording 和 Accessibility 許可權。

Plugins

有結構化外掛時優先用外掛，缺口再用 Computer Use。

適合什麼任務

場景	Codex 應該做什麼
任務跨 apps、windows、browser sessions 或 local files	用 Computer Use 連續操作多個入口
工作需要後臺交給 Codex 繼續	明確 outcome，讓 Codex 在背景中完成
沒有專用 plugin 的普通 app UI	透過點選、輸入和導航直接操作 app

相關官方說明：

Computer Use：https://developers.openai.com/codex/app/computer-use
Plugins：https://developers.openai.com/codex/plugins
Customize Codex：https://developers.openai.com/codex/concepts/customization

起始提示詞

@Computer Use [描述你希望在 Mac 上完成的跨應用任務]

官方示例：

@Computer Use 播放一些音樂，幫助我專注。

@Computer Use 幫我把 Notes 裡的 interview notes 新增到 Ashby。

@Computer Use 請在 Messages app 裡查詢 Brooke 本週發給我的 trip ideas，把最好的選項新增到一條名為 "Yosemite ideas" 的新 note，並起草一條回覆給她。

更穩的任務格式

把跨應用任務寫成“目標 app + 輸入 + 輸出 + 禁止動作”：

@Computer 請完成這個 Mac 任務。

Target apps:
- Notes
- Slack

Goal:
- 從指定 Slack thread 提取今天需要我處理的事項。
- 在 Notes 裡建立一條新的 checklist。

Rules:
- 只讀取這個 thread，不瀏覽其他 channel。
- 不傳送 Slack 訊息。
- 不刪除或移動任何檔案。

Output:
- 完成後告訴我 note 標題、包含幾項、是否遇到許可權或登入問題。

Computer Use 能跨 app 做事，但它並不知道哪些視窗或賬號是安全邊界。把禁止動作寫清楚，比事後要求它“不要亂點”更可靠。

使用方式

準備 Computer Use。
用 @Computer Use 開頭，或 mention 具體 app，例如 @Slack、@Messages。
描述 task 和 expected outcome。
當 Codex 需要訪問某個 app 或入口時，按需確認，然後讓它繼續在背景中完成。

如果你 mention 了某個 app，且該 app 有專用 plugin，Codex 可能優先使用 plugin。這通常是更穩的選擇；沒有 plugin 時，再回到 Computer Use 直接操作 app。

更多示例：

@Computer Use 請檢查我的 Slack，併為今天結束前需要我完成的所有事項新增 reminders。

什麼時候不要用

這些情況不要優先啟用 Computer Use：

能用 CLI、API、MCP、plugin 或檔案直接完成的任務。
需要輸入密碼、二次驗證、支付確認、刪除賬號、修改安全設定。
同一個 app 已經被你或另一個 agent 正在操作。
目標 app 裡有大量敏感客戶資料，但本輪任務只需要少量欄位。
你無法在旁邊確認許可權彈出視窗和高風險點選。

它的價值是補齊圖形介面缺口，不是替代所有自動化。能結構化訪問時，結構化入口更可復現；不能結構化時，再讓 Codex 看螢幕、點選和輸入。

實用邊界

指定瀏覽器

Computer Use 會控制它正在操作的 app。如果你想自己繼續用一個 browser，讓 Codex 用另一個 browser，prompt 裡寫清楚。也可以在 customization 裡設定預設偏好：

使用 Computer Use 處理 web browsing tasks 時，預設使用 Chrome，而不是 Safari。

不要同一 app 並行跑

不要同時讓兩個 Computer Use tasks 操作同一個 app。視窗狀態會變得不穩定，Codex 也更難保持上下文。

保持已登入

相關 apps 和 services 先登入好，任務會更順。如果 Mac 在 Computer Use 執行時鎖屏，活動會停止。

後續處理

任務完成後保持同一執行緒，可以讓 Codex：

summarize what it changed。
double-check the result。
把這個 workflow 寫進 customization，下次按同樣模式處理。

安全檢查清單

開始前：

目標 app 已登入，且只開啟本輪需要的視窗。
不相關的敏感視窗已經關閉。
prompt 裡寫清是否允許傳送、儲存、上傳、刪除或提交。
如果需要瀏覽器，指定使用哪個 browser，避免影響你正在使用的瀏覽器。

執行中：

稽核 Codex 請求訪問的 app。
遇到系統許可權、付款、賬號安全、憑據輸入時人工接管。
如果它切到錯誤視窗，立即停止。

完成後：

檢查最終產物是否真的儲存。
讓 Codex 總結它改了什麼、沒改什麼。
對重複流程再考慮寫進 customization 或做成 plugin / CLI。