
Every Mike Taylor:AI 采用第 9、10 级——让策略互相竞争,再把竞赛重复跑,把运气滤掉
思路用法管理评测模拟AI采用
一句话结论
在已有的八个层级之后,第 9 级让多支编排团队按不同策略竞争,第 10 级把同一场竞赛重复跑多次以滤掉开局运气;这两级仍属试验区,只有选错策略的代价高于做一次真实验时才值得用。
打开原文
Every:The next two levels of AI adoption
背景与理念
Every 评测负责人 Mike Taylor 在已有的「八个层级」之后,又补了两级更高、也更费 token 的采用方式。第 9 级是 Simulation:让多支编排团队按不同策略相互竞争;第 10 级是 Multiverse:把同一场竞赛重复跑多次,看哪条策略是稳定取胜,而不是靠开局走运。这两级仍属试验区,烧掉的 token 远高于更低层级;只有选错策略的代价高于做一次真实实验时,才值得用。
具体做法
- 第 9 级先让多支合成团队按不同策略竞赛,而不是只跑一种方案。文中给出可改的提示:用三支合成团队,加上 50 个合成客户,进行三轮竞赛。
- 第 10 级把同一场模拟重复跑多次,并标出那些「只在开局走运时才赢」的方案。文中的做法是同一模拟跑 50 次。任何胜出计划都要再拿给真人看过才执行;如果模拟本身不准,多次平均只会得到更自信的错答案。
关键数据/例子
Every 自己的实验里,Dan Lens 在 83 条未见过的线程上,第一次猜测只覆盖了 Dan 实际观点的 26%,给 100 次猜测则覆盖 86%。KatePass 用主编 Kate Lee 的 594 次编辑(24,000 条单次修改)做优化,在未见过的稿件上,相对手写规则版,好的编辑约多一倍,有害编辑约少三分之二。他们做的 Hacker News 模拟器克隆了近 2,000 名评论者,预测首页标题的正确率约 60%;失误往往不是人设不准,而是一次额外的早期 upvote就会把同一内容送上不同路径。文中还引用 2006 年哥伦比亚大学与圣塔菲研究所的研究:14,341 人分成 8 个「音乐世界」听 48 首歌,在可见他人选择时,同一首歌可以在一个世界里成为热门,在另一个世界里失败。
创新点
第一,把「让不同策略相互竞争」和「把同一场竞赛重复跑、把运气滤掉」分成两级,而不是只看单次模拟的胜者。第二,任何胜出计划都要再经真人过目;模拟本身不准时,重复平均不会自动变成正确答案。
可否复用
- 只有选错策略的代价明显高于做一次真实实验时,才值得上多策略竞赛和重复模拟,因为这两级烧掉的 token 远高于更低层级。
- 跑模拟时要标出那些只在开局走运才赢的方案,胜出计划必须再拿给真人看过才执行。如果模拟本身不准,多次平均只会得到更自信的错答案。