← 返回全部情报
Warp 的「AI 软件工厂」:Slack 里 @Wilson 一句话跑完工单→PR→录屏 QA,用「每个 PR 的人工交互次数」量化自动化 的封面

·How I AI·播客收录 2026-09-29

Warp 的「AI 软件工厂」:Slack 里 @Wilson 一句话跑完工单→PR→录屏 QA,用「每个 PR 的人工交互次数」量化自动化

Figma MCP软件工厂LLM-as-a-judgeAgent 自我改进模型选型

一句话结论

Warp 把「工厂」定义成代码化的一组 repo + MCP + 配置 + agent:任务在公开 Slack 发起,自动开 Linear 工单、写代码、提 PR、用 computer use 录屏验收;所有运行被记录、用 LLM 评审打分,再由观察者 agent 基于 20–25 次失败自动改工厂定义,并用历史任务回放做模型成本/质量取舍——当前瓶颈是人:发起到 PR 35 分钟,PR 到首次人工评审 3.5 小时。

打开原文 How I AI:How Warp ships 2,000 PRs a month with AI factories(Zach Lloyd)

背景与理念

How I AI 2026-09-21 这期,Warp 联合创始人兼 CEO Zach Lloyd 演示了团队内部的「软件工厂」。他坦言不喜欢 factory 这个词(有点去人性化),但业内已经统一这么叫。他的定义很具体:工厂是一个「名词」、一个产品概念,由一组代码仓库、一组 MCP 服务器、一堆配置和一组 agent(例如代码评审 agent 以及各种自动化)构成,而且全部用代码定义。与单个编码 agent 的区别有三点:一是覆盖更多软件生命周期步骤(分诊、工单、实现、PR、QA);二是工作在公开渠道发生,任何人都能看、能插手;三是一切集中在云端运行,管理者第一次能看到全队如何使用 agent、花了多少钱、是否在变好。

具体做法

一、从 Slack 到合并。Warp 的工厂叫 Wilson。成员在公开 Slack 频道 @Wilson 提需求(节目中的例子是同事 Harry 附图要求改一个功能的外观,并要求用 computer use 验证)。Wilson 先把它当作工厂的「输入」做分诊,而不是直接动手;随后在 Linear 开工单以便追踪,接着实现、在 GitHub 创建 PR,再做 QA——由工厂 agent 用 computer use 实测,并录一段展示完整按键过程的视频,然后合并。触发源不只有人:Sentry 崩溃报告会自动送进工厂尝试修复;任务也可以从 Linear 或 GitHub 发起。

二、给管理者的仪表盘。核心指标之一是「每个 PR 的人工交互次数」:Slack 里重新提示的次数、Linear 上的评论数、代码评审里纠正的次数都算,用来衡量「要停几次产线」。另有 agent 成本视图,Zach 展示了几周前成本很高、调整模型配置后明显下降的曲线;他认为最大的杠杆是模型,其次是上下文管理。

三、评分(scoring)。因为工厂是闭环系统,每次任务都被记录,可以回头评估。他们为已知失败模式写「评分器」,用 LLM 当裁判。例子是「冗余测试」:agent 常为验证行为顺手写一堆不必要的测试,于是让另一个 agent 判断每次运行里是否有多余测试。设置时选一个「中等聪明」的裁判模型(太贵会把钱都花在打分上),再设定抽样比例。

四、自我改进。评分是跨所有运行做的;第二个闭环是让「观察者 agent」读取失败运行——需要 20 到 25 次这样的样本量,否则会针对单个案例过度修正——然后提出对工厂的修改。节目里的一个例子是它给出证据,建议改写某个工厂 agent 定义中的第 10 步。因为工厂是代码,编码 agent 可以直接改它,也可以冻结某一时刻的工厂状态做对比测试。

五、回放选模型。把真实历史任务按不同模型配置重跑,画出成本-质量的帕累托图,例如挑一批前端任务,比较换成 GLM 5.3 能否替代 Opus、Gemini 3.7 Flash 会损失多少质量,再把结论喂给模型路由策略(型号名据字幕转写)。质量评估沿用同一套 LLM 裁判评分体系。

关键数据/例子

  1. 发起到出 PR 约 35 分钟,但 PR 到首次人工评审要 3.5 小时;上个月超过 2,000 个 PR。Claire 的评语:「剧透:人才是问题。」
  2. 目前所有 PR 仍要人工评审,但已取消「A 用 agent 写、B 来审」的要求,改为发起 agent 的人可以自己审。Claire 分享了她的做法:自动给每个 PR 做风险打分,低风险的由 bot 盖章、人一键合并,中高风险才进入人工评审。
  3. CEO 的非技术用法(他在 Warp 里用编码 agent,说 Claude Code、Codex 等支持 Figma MCP 的都行,并用语音输入):用 Figma MCP 改 Figma Slides 销售幻灯片,指令里特别要求「先复制现有页面,不要直接改原页」;同时开第二个任务,用 Granola MCP 回看过去四周的销售会议,列出关于 Warp Factories 最常被问的 10 个问题,并要求匿名化、不写客户信息;第三个任务用 GOG CLI 搜过去六个月与潜在企业客户的邮件和日历,整理成 Google Sheet 并分享链接,同样要求线程里不打印客户姓名邮箱。结果显示客户最常问的是「自建还是购买」,其次是安全、工作流、度量和成本控制。
  4. 他近来常用 Grok,理由是成本、速度与质量的平衡。
  5. 防止失控的方法依然「老派」:大量自用(dogfooding);公开频道让重度用户的用法被所有人看到,带动其他人;坚持用户访谈、看用户实操、开工前做设计研讨,确认在解决对的用户故事。

创新点

第一,把工厂本身当作可版本化、可测试、可被 agent 修改的代码,从而能冻结、回放、A/B。第二,用「每 PR 人工交互次数」这种跨工具的摩擦指标衡量自动化程度,而不是只看 PR 数。第三,两层闭环:评分发现失败模式,观察者 agent 基于足够样本改流程。第四,用自家历史任务而非公开基准来做模型选型。第五,公开协作让个人技巧在团队内扩散。信息来源:How I AI 节目页与 YouTube 视频字幕。

可否复用

  1. 在团队常用的聊天工具里建一个公开的「AI 需求」群,约定所有交给编码 agent 的活都在群里发起、结果也回到同一线程;每个需求自动在多维表格建一行(需求、发起人、PR 链接、耗时、返工次数),先跑一个月。
  2. 在这张表里加一列「人工交互次数」(重新提示 + 评审修改 + 群内追问),每周看中位数,挑交互最多的 3 类任务优化提示词或补上下文。
  3. 给团队 agent 写 1–2 个 LLM 评审器:先从「冗余测试」「改动超出需求范围」这类明确问题开始,用中等价位模型、按 20% 抽样打分,结果写回表格。
  4. 攒够 20 条以上同类失败记录后,再让一个 agent 读这些记录、提出对 AGENTS.md/技能文件的具体修改,由你审核合并;不要看到一次失败就改规则。
  5. 选模型前先做小型回放:从过去一个月挑 10–20 个真实任务,用两三种模型重跑,记录花费和评审分,画一张成本-质量表,再决定默认模型和路由。
  6. 用 MCP 处理非技术杂务时照抄他的防护写法:改文档/幻灯片先要求「复制后再改」,汇总会议或邮件时要求「匿名化、不在对话里输出客户姓名与邮箱」。
  7. 给 PR 加风险分级:低风险改动由 bot 预审后人一键合并,把有限的人工评审时间留给高风险改动,直接缩短「PR 到首次评审」的等待。

笔记会在输入时自动保存。