
Amplitude:产品智能体 Wave 把改进从约一个月压到 1 到 2 天,主页建议卡互动提高 160%
一句话结论
用不同模型分别做深度调查、高频检查和示意图,再把方案交给编码智能体,并按任务评测质量、时延和费用,而不是只用一个通用模型。
背景与理念
Amplitude 的主动产品智能体 Wave,要把产品洞察变成可以交给编码智能体去实现、并能衡量效果的改进。公司称 Wave 大约 80% 由 OpenAI 模型驱动,包括 GPT-6.1 Sol、GPT-6 Luna 和图像模型 GPT-Image-2.5 Flare。首席执行官 Spenser Skates 说,模型现在可以调查问题、写代码并运行,再根据结果决定下一步,从而找到团队原本不会指派的有用工作。Amplitude 估计,有了 Wave,一项产品改进大约 1 到 2 天就能发出,而以前大约要一个月。
具体做法
- 团队给 Wave 一个产品范围,以及想改进的目标和指标。它会综合分析数据、会话回放、客户反馈和代码,找出并排列机会,形成方案,再和人以及包括 Codex 在内的编码智能体一起实现,随后跟踪结果,用于下一轮。任务就绪后,可以从 Wave 直接把技术计划和验收标准发给编码智能体。
- 按任务选模型,而不是一刀切。GPT-6.1 Sol 负责机会管理和对代码、数据的深度调查;GPT-6 Luna 处理扫代码、跑小型评测这类频繁且更便宜的检查;图像模型根据会话回放截图生成产品示意。大多数团队会把缺陷修复直接发给编码智能体,新功能和更大的赌注则先经人工审核。
- 他们在自己的主页上做了一次完整试验。主页上的通用建议卡本意是引导用户开始和智能体对话。Wave 在 100 段会话回放里发现,80 人选择自己输入问题,只有 12 人点了建议。它建议根据最近的图表、仪表盘或来源页面做个性化,同时保留自由输入,并在没有个性化上下文时仍显示通用建议。团队短暂审核后交给编码智能体,并做了对照试验。
关键数据/例子
对照试验显示,经主页建议卡发出的消息,一天后比对照组提高了 160%。在机会调查员评测中,GPT-6.1 Sol 综合得分 4.06/5,高于另外三个模型的 3.62、3.52 和 2.94,并在全部五项调查标准上领先,调查时间中位数最快,为 54 分钟;该评测中它的模型费用是 1.34 美元。在数据科学智能体评测中,它得 67.5/100,对比另一领先模型的 69.3,但每次调度的平均模型费用是 1.28 美元对 2.63 美元,并在工具约定遵守、估计与不确定性和证据依据上更高。图像模型做方案线框得 80.3/100,对比另一图像模型的 63.9,评测覆盖 15 个机会。在客户已上线的试验、功能开关和指南里,四分之一在 Wave 提出机会的当天上线,一半在四天内,三分之二在一周内。
创新点
第一,把「发现该做什么、写成可执行计划、交给编码智能体、再量效果」收成一条闭环。第二,用分任务评测来分配推理模型和便宜模型,而不是只看总分。第三,保留人对新功能和大切换的审核,同时允许低风险修复走更快的自动路径。
可否复用
- 先给智能体明确的产品范围和成功指标,再让它去翻数据和回放,输出必须带技术计划和验收标准。
- 按「深度调查」和「高频小检查」分开选模型和做评测,同时单独衡量费用与时延。上线权限也要分层:缺陷修复可以更快自动下发,新功能仍需人看一眼。