
Claire Vo 测 Meta Muse Wonder:agent 任务全面领先,前端设计与创意大约落后一年到一年半
一句话结论
Claire Vo 用 How I AI bench 约 20 项任务评测 Meta Muse Wonder:四项 agentic 任务整体最强,后端实现、收件箱分拣、电脑操作等多项排第一,active focus 在长任务上可见;前端设计、SVG 与短视频明显弱于 Opus 5.5 / Astra,她估计设计语感大约落后一年到一年半。
背景与理念
Meta 把 Muse Wonder / Wonder Full 放进与 Fable、GPT-6、Astra、Claude Opus 5.5 同级的前沿档,并强调个人与职业 agent、领域专家知识、active memory 与 sustained effort(active focus)。厂商自报在 DeepSWE、SWE Marathon 等编码基准上胜过上述对手。
Claire 的问题不是「官方分数高不高」,而是:它能不能进日常 agent 与创意工作流。她订阅 Muse、拿到模型 API,并下载 Muse Code,但认为该 harness「不太惊艳」,于是让 Claude Code 无界面(headless)去跑 Muse Code,自己仍待在熟悉的桌面端。
具体做法
评测方法
How I AI bench 覆盖将近 20 项任务,分组包括原型、agentic、编码、写作与创意。评分用 LLM-as-a-judge,再配她自己的语音备注;这期是 first-look,不是完整重跑整套盲测。
Agentic 与语音
1. 四项 agentic 任务上,她整体最喜欢 Muse。她点名它在后端功能实现、收件箱分拣、电脑操作、邮件批处理,以及语音助手等项上排第一。
2. 电脑操作示例是处理复杂 SaaS 账单工单:账户链错、退款金额异常、存在重复单,并埋了 prompt injection;Muse 查清后修对账户、按重复单发正确退款、改方案、回复并结单,是各模型里最好的。
3. 语音助手接近 Sonnet 的水平。她觉得语气偏消费级、人味足,但不腻;邮件写作也愿让它代发。
Active focus
她确认 active focus 在长任务上真的起作用,并在部分长跑任务上优于其他模型。这对应 Meta 说的「朝挑战目标持续尝试」的 sustained effort。
设计与创意短板
1. 原型与 UI 是最大落差。编辑任务台、文档调度、事故室等原型常「大约对了 80%」然后交互与抛光崩掉;要求深色模式的开发者工具却出浅色并带难看遮罩;ChatPRD 官网重做被她称为「毁掉了」,图片坏掉,还无视可访问的品牌指南。她形容其默认审美是粗衬线、圆角、典型 SaaS 模板感。
2. SVG 插画在八个模型里大约排第七。质量「完全能用」,但不如 Sol、Astra、Opus 5.5。短视频剪辑找对约 40 秒素材、卡点接近满分,但字幕压脸、顶栏难看、音频异常,她给 2/5。
3. PRD 写作偏短、难扫、细节不足。写作整体「还行但不想用它当写手」。
速度画像
一枪任务很快(notes→PRD、画角色、做原型);多步 agent 任务偏慢(视频、收件箱分拣、后端功能等),她猜测可能与 focused effort 模式有关,并计划下次专门记延迟权衡。
关键数据/例子
可核数字与结论:bench 约 20 项;四项 agentic 全面靠前;多项排第一(后端实现、收件箱分拣、电脑操作、邮件批处理、语音助手);设计语感她口头估计大约落后 18 个月,也可能一年;SVG 约第 7/8;短视频 2/5;DX 赞助口播提到对 500 多家工程组织的研究里,过去一年 AI 工具支出增长约 28 倍(属片头赞助数据,不是 Muse 分数)。编码两项上各前沿模型都还行,Astra 略低但仍可用;她本人创意前端默认仍用 Opus 5.5。
创新点
第一,把厂商的「个人/职业 agent」叙事拆成可观察的工单、收件箱、电脑操作与语音任务,而不是只看官方编码榜。第二,用 headless 绕开不喜欢的 Muse Code UI,把「模型能力」和「harness 体验」分开评。第三,明确写出「一枪快、agent 慢」与 active focus 的可能联系,避免把首 token 延迟当成端到端 agent 表现。
可否复用
- 评 agent 时优先用带埋坑的真实 SaaS 任务(错账户、重复退款、注入指令),而不是只跑纯编码题。
- 把设计/创意与 agent/编码分开选型:需要前端美感时仍可默认 Opus 5.5 一类模型,agent 编排可另测 Muse。
- 记录一枪延迟与多步 agent 墙钟时间,避免被「很 zippy」的单轮体感误导。
- 若厂商自带 harness 难用,可用已熟悉的 Coding agent 无界面调用模型 API,先验证模型再谈换工作台。