← 返回全部情报
Pragmatic Engineer 访谈 Uber:Model Gateway + AI Guard + AIFX,token 成本约降 50%,用 PR 类型学替代原始吞吐 的封面

·Podcast·员工分享收录 2026-10-18

Pragmatic Engineer 访谈 Uber:Model Gateway + AI Guard + AIFX,token 成本约降 50%,用 PR 类型学替代原始吞吐

UberModel GatewayAIFXafx validatePR 分类

一句话结论

Uber Distinguished Engineer Uday Kiran Medisetty 介绍公司如何用 Model Gateway、安全侧 AI Guard 与按人花销追踪统一多模型接入,用 AIFX 在 Claude Code、Codex、OpenCode 间迁移设置;近几个月 token 成本约降 50%,并把简单 CI 前移到 afx validate,用功能/缺陷/维护等 PR 标签替代单纯的合并速度。

打开原文 The Pragmatic Engineer:Uber’s AI infra, from the inside

背景与理念

Uday 认为,工程师的工作在某种意义上变成了:如何为 agent 构建正确的上下文,才能稳定产出可靠结果。上下文工程、并行多任务,以及对 agent 输出验码与挑出异味,变得比过去更重要。

他也强调:看起来像一年内建成的 AI 工具,其实叠在十年开发者基础设施之上——「凡是让工程师更轻松的东西,也会让我们的 agent 更轻松」。

具体做法

  1. 统一 Model Gateway。2023 年平台团队要求凡 AI 相关建设都对模型与 harness 无关;Gateway 可在 Anthropic、OpenAI、其他厂商与自托管开源模型间切换,并挂上安全团队的 AI Guard(检查请求与响应、量延迟)、按用户花销追踪,以及审计日志与会话迹。
  2. AIFX 做 harness 可移植。当前支持 Claude Code、Codex 与 OpenCode;AIFX(AI Foundations)包在之上,工程师换 harness 时设置、技能与插件跟着走。
  3. 花销混合管控。工程师有分配额度,触顶后经理可当月加签;合适工作实际上不设硬顶,但不想让人无意义烧 token。CostCheck 插件跨会话给省钱建议;近几个月 token 成本约降 50%。
  4. CI「code red」与内环校验。当年内部因 12 个月内 CI 任务翻倍以上而宣布 code red;团队把 lint、构建与模板规则等简单作业前移到内环,让 agent 在开 PR 前用 afx validate 跑。
  5. PR 分类替代原始速度。过去看 diff 到生产的耗时;agent 很容易批量开 PR,许多未必有业务影响。现在给 PR 打标签:功能、缺陷修复、维护、测试或文档,并观察到功能类占比上升、维护类占比下降。代码评审仍由人做,但会先跑 AI 评审、附截图/视频(适用时)并给风险分。

关键数据/例子

可核数字与结构包括:服务数量从 2015 年约 2 个到 2019 年成千上万,到 2026 年服务数与 2019 年大致相当,而业务规模约是当年的 10 倍;近几个月 token 成本约降 50%;12 个月内 CI 任务翻倍以上触发 code red。内部工具举例有 DevPods、Code Inbox、Slate、Wisdom 等二十余种;Minion(2025)建立在 2017 年的 DevPods 上。Uday 原话包括需要擅长上下文工程,以及「All the things that we built to make life easier for engineers: it makes it easier for our agents as well!」。

创新点

第一,把模型接入、安全中间件与花销可见性做成同一网关,而不是各团队自接密钥。第二,用 AIFX 把 harness 切换变成可迁移配置,而不是重装一套习惯。第三,用 PR 类型学与内环 validate 应对「agent 制造的吞吐幻觉」和 CI 过载,而不是继续用合并速度当唯一生产力指标。

可否复用

  1. 先建统一模型网关,把鉴权、审计、延迟与按人花销一次接好,再谈多 harness。
  2. 用一层包装保住设置与技能,让工程师能换 Claude Code / Codex / OpenCode 而不丢工作区配置。
  3. 把廉价、确定的检查(lint、模板规则)前移到开 PR 前的本地/agent 命令,减轻共享 CI。
  4. 用功能/缺陷/维护等标签看 PR 结构变化,避免把 agent 刷出来的 diff 数当成产出;评审仍保留人终审,并辅以风险分与可演示附件。

笔记会在输入时自动保存。