做治理和可观测
Codex 为 enterprise teams 提供两类能力:
这一篇用 6 分钟换什么:把 Codex 治理工具拆成三层 + 三角色——Analytics Dashboard(管理者快看)/ Analytics API(BI 拉数)/ Compliance API(安全审计)。读完后你不会把 Compliance API 当日常指标用,也不会把 dashboard 当成审计证据。
Codex 为 enterprise teams 提供两类能力:
- 看清 adoption 和 impact。
- 为 security 与 compliance programs 提供 auditability。
日常跟踪可以用 self-serve dashboard;需要程序化报表时用 Analytics API;需要把详细 logs 接入治理体系时用 Compliance API。
治理的目标不是用指标替代工程判断,而是回答三类问题:
- 团队是否真的在使用 Codex。
- Codex 是否对 review、cloud tasks、CLI/IDE adoption 产生可见影响。
- 出现安全、合规或调查需求时,能否拿到可审计记录。
Ways to Track Codex Usage
根据使用场景不同,Codex usage 可以通过三种方式监控:
| 方式 | 适合场景 |
|---|---|
| Analytics Dashboard | 快速查看 adoption 和 code review impact。 |
| Analytics API | 把 structured daily metrics 拉入 data warehouse 或 BI tools。 |
| Compliance API | 导出 detailed activity logs,用于 audit、monitoring 和 investigations。 |
Analytics Dashboard
https://developers.openai.com/images/codex/enterprise/analytics.png
Dashboards
analytics dashboard 允许 ChatGPT workspace administrators 跟踪 feature adoption。
Codex 提供下面这些 dashboards:
- Daily users by product,包括 CLI、IDE、cloud、Code Review。
- Daily code review users。
- Daily code reviews。
- Code reviews by priority level。
- Daily code reviews by feedback sentiment。
- Daily cloud tasks。
- Daily cloud users。
- Daily VS Code extension users。
- Daily CLI users。
Data Export
Administrators 也可以把 Codex analytics data 导出为 CSV 或 JSON format。
Codex 提供下面这些 export options:
- Code review users and reviews:每天的 unique users,以及 Code Review 中 completed reviews total。
- Code review findings and feedback:comments、reactions、replies、priority-level findings 的 daily counts。
- cloud users and tasks:daily unique cloud users,以及 completed cloud tasks。
- CLI and VS Code users:Codex CLI 与 VS Code extension 的 daily unique users。
- Sessions and messages per user:跨 surfaces 统计每个 Codex user 的 daily session starts 和 user message counts。
Analytics API
当你需要自动化 reporting、构建 internal dashboards,或把 Codex metrics 与现有 engineering data 合并时,使用 Analytics API。
Analytics API Measures
Analytics API 为 workspace 提供 daily、time-series metrics,并支持 optional per-user breakdowns 和 per-client usage。
Endpoints
Daily Usage and Adoption
- Daily totals for threads、turns 和 credits。
- Breakdown by client surface。
- Optional per-user reporting,用于 adoption 和 power-user analysis。
Code Review Activity
- Pull request reviews completed by Codex。
- Total comments generated by Codex。
- Severity breakdown of comments。
User Engagement with Code Review
- Replies to Codex comments。
- Reactions,包括 upvotes 和 downvotes。
- Engagement breakdowns,用来分析 teams 如何响应 Codex feedback。
How It Works
Analytics 是 daily 和 time-windowed 的。
results 按时间排序,并通过 cursor-based pagination 分页返回。
你可以按 workspace 查询,也可以选择 group by user,或在 workspace level 做 aggregate。
Common Use Cases
- Engineering observability dashboards。
- Adoption reporting for leadership updates。
- Usage governance and cost monitoring。
Compliance API
当你需要 security、legal 和 governance workflows 所需的 auditable records 时,使用 Compliance API。
Compliance API Measures
Compliance API 让 enterprises 可以导出 Codex activity 的 logs 和 metadata,并把这些数据接入已有 audit、monitoring 和 security workflows。
它面向 eDiscovery、DLP、SIEM 或其他 compliance systems 这类工具链。
对于通过 ChatGPT authenticated 的 Codex usage,Compliance API exports 会提供 Codex activity 的 audit records,可用于 investigations 和 compliance workflows。
这些 audit logs 最多保留 30 days。
通过 API key authenticated 的 Codex usage 遵循你的 API organization settings,不包含在 Compliance API exports 中。
What You Can Export
Activity Logs
- Prompt text sent to Codex。
- Responses Codex generated。
- Identifiers,例如 workspace、user、timestamp 和 model。
- Token usage 以及 related request metadata。
Metadata for Audit and Investigation
record metadata 可以帮助回答这类问题:
- Who ran a task。
- When it ran。
- Which model was used。
- How much content was processed。
Common Use Cases
- Security investigations。
- Compliance reporting。
- Policy enforcement audits。
- Routing events into SIEM and eDiscovery pipelines。
What It Does Not Provide
- Lines of code generated:这是 noisy productivity proxy,也可能诱导错误行为。
- Acceptance rate of suggestions:通常接近 100%,因为 users 往往先接受 change。
- Code quality 或 performance KPIs。
Recommended Pattern
大多数 enterprises 会组合使用下面三类能力:
- Analytics Dashboard:self-serve monitoring 和 quick answers。
- Analytics API:automated reporting 和 BI integration。
- Compliance API:audit exports 和 investigations。
落地架构建议
一个实用的治理方案通常这样分层:
| 层级 | owner | 频率 | 产出 |
|---|---|---|---|
| Team dashboard | engineering manager / platform owner | 每周 | adoption、code review usage、cloud tasks 趋势。 |
| BI warehouse | data / platform team | 每天 | user、client surface、credits、review activity 的结构化指标。 |
| Audit export | security / compliance | 按策略或事件 | prompt、response、metadata、token usage、investigation records。 |
不要把 Compliance API 当成日常产品指标来源。它的定位是 audit、monitoring、investigation、eDiscovery、DLP、SIEM 等治理链路。日常趋势和成本分析优先走 dashboard 或 Analytics API。
指标解释边界
这些指标要谨慎解读:
- Daily users 增加,不等于工程质量提高。
- Code review comments 增加,不等于真实问题增加。
- Credits 增加,可能是任务更复杂,也可能是 prompt/context 过重。
- CLI/IDE adoption 低,可能是 onboarding 或权限配置问题。
- Cloud tasks 少,可能是团队更偏本地开发,并不代表 Codex 没价值。
官方文档也明确:lines of code generated、suggestion acceptance rate、code quality 或 performance KPIs 不适合作为 Compliance API 提供的治理指标。它们要么噪声大,要么容易诱导错误行为。
数据边界
需要特别说明:
- Compliance API exports 对 ChatGPT authenticated 的 Codex usage 提供 audit records。
- API key authenticated 的 Codex usage 遵循 API organization settings,不包含在 ChatGPT Compliance API exports 中。
- 详细 audit logs 有保留期限限制,现有正文按官方文档记录为最多 30 days。
- Prompt text、responses、workspace/user/timestamp/model、token usage 等都可能进入 audit record,团队要提前告知成员数据处理边界。