
Claire Vo 直播盲测 Opus 5.5 与 GPT-6:Astra 赢观感,Opus 赢本周主力,Sol 仍是便宜日常笔
盲测Claude Opus 5.5GPT-6 SolGPT-6 Astra模型选型How I AI bench
一句话结论
同一天碰上 Anthropic 与 OpenAI 发布后,Claire 做了直播盲测:平均分最高的是 GPT-6 Astra,覆盖面最稳、赢下「本周主力」的是 Opus 5.5,清晰写作与低价日常则仍常回到 GPT-6 Sol;视频剪辑几乎全军覆没。
打开原文
How I AI / ChatPRD:Opus 5.5 vs. GPT-6 Sol — Live Blind Taste Test
背景与理念
原计划只深挖 Opus 5.5,结果早上 OpenAI 同步放出 GPT-6 Sol 与 Luna,稿子立刻过时。她改做无脚本直播盲测,用扩大后的 How I AI bench 覆盖 PRD、收件箱、前后端、长程调研、SVG 与视频剪辑。
她把这批模型定位成日常驾驶档,而不是 Astra/Fable 那种最前沿。价格很关键:Opus 5.5 大约是 Sol 的两倍;双方都在强调速度、缓存与 token 效率。她对 Claude 的旧怨是啰嗦说教,而 5.5 的进步被她概括成「终于不烦人」。
具体做法
- 盲测流程。同一提示跑多模型,结果只标 Model B/C/E…,先按 1–5 分打 vibe,再揭晓身份。
- 个人生产力。收件箱分拣与代写回复里,有模型拿到 5/5:摘要清楚、草稿干净、还会补日历邀请;过短或滥用破折号的直接低分。
- 前端原型。B2B 续约仪表盘出现「能上线感」的高分;消费级养花应用多数同质,偶有模型靠可爱 SVG 植物名拿到 5/5;她还吐槽 Sol 偏爱森林绿。
- 后端与长程。正确性部分交给 LLM 评委;她本人严抠 agent 语气,拒绝「YOLO 上生产」的模型反而加分。长程客户工单综合里,赢家是「先有人话引言、再给结构清晰备忘录」的输出。
- 创意与 Barbie Bench。文档/麦克风/虫子图标差距巨大;视频短剪被她判为普遍失败,更像技能与提示问题。Barbie 3D 时装游戏仍未过关。
关键数据/例子
揭晓后的个人结论是:Astra 平均分最高,赢了「心」;Opus 5.5 在最广任务上稳定拿到 4–5 分,赢了「本周」;Sol 仍擅长清楚 PRD 与低价日常。
意外点包括:她预判 Anthropic 会赢 SVG,实际 OpenAI 的 Astra/Sol 在角色插画上更强;LLM 评委把 Fable 排第一,与她的人工排序不一致。信息来源:ChatPRD / How I AI 长文与节目《Opus 5.5 vs. GPT-6 Sol: Live Blind Test》。
创新点
第一,把发布日冲突变成公开直播盲测,而不是事后写一篇已过时的单模型评测。第二,用「vibe 分 + 揭晓」分离第一印象与品牌光环。第三,把视频剪辑与 Barbie Bench 这类「好看榜单测不到」的失败面摊开。第四,明确接受「评委模型与真人偏好可以系统性不一致」。
可否复用
- 为自己的真实任务建一套固定 bench(写作、前端、长程、创意),新模型只跑这一套。
- 评分时先盲测再揭晓,避免品牌预期左右手感。
- 把「不烦人」和「限时能交卷」写成显式标准,不要只看正确性分。
- 视频或强交互创意单独建技能与示例,不要假设通用聊天模型开箱即会。
- 最终选型写成分工表:谁赢观感、谁当本周主力、谁当便宜日常笔,避免来回横跳。