
OpenAI:FDE 先结果再规模——半导体验证约省时 48%,电信语音关键 eval 从约 60% 到 90%+
工程管理FDE部署鸿沟evalsCodex企业落地
一句话结论
FDE 嵌入客户啃最难问题,用业务侧 evals 与 harness 把模型能力变成可依赖系统,再把定制收成 Codex plugins/skills;目标是每隔几个月把自己「淘汰」一点,抬高下一客户的地板。
打开原文
OpenAI:What FDE means at OpenAI
背景与理念
部署鸿沟是:模型看起来能做,与真实约束下能可靠做之间的距离。FDE 早于 2025 成立,与客户、产品、Research 一起关掉缺口;若 Codex 能 one-shot 过去几个月用例,说明团队在正确前进。
具体做法
- 价值观:先结果,再规模。中 2025 约 15 名 FDE 与大型半导体客户做 10+ 用例(定向测试生成、根因调试、架构助手等),嵌入验证团队共建 evals 与自定义 harness。
- 可重复:能力上来后把定制应用迁到以 Codex 为核心的公共 harness,收成 plugins/skills,一例约去掉 90% 定制代码;八月案例首部署约两月,扩展到第二团队约一天。
- 能力不够就拉 Research:电信语音约占客服量 90%,关键 eval 约 60% 起步,六个月到 80% 再 90%+ 才上生产,成果回流 Presence 等产品。
关键数据/例子
半导体:定向测试生成约省时 48%;kernel 优化中位约 +22%;调试从数周压到数小时。Thrive/Crete Tax AI 试点处理约 7000 份税表、吞吐约 +50%;租赁物业申报一度花六周才到约 90% precision/recall。John Deere See & Spray 等场景用自然语言把设备配置与农事建议规模化(厂商叙述)。
创新点
第一,把「先生产可用、再抽象公共 primitive」写成组织纪律,而不是先平台后用例。第二,明确 FDE 的成功是让下一客户少需要 FDE。
可否复用
- 企业落地先钉业务 eval 与生产标准,再谈通用平台。
- 定制稳定后强制收成共享 skills/plugins,量扩展成本。
- 能力缺口要写清给 Research 的验收指标,而不是无限贴胶代码。