
Microsoft 发布 Decision-1:专做路由/分类/打分的决策模型,盲测 36 项基准居首;P50 延迟约是 GPT-6 Sol 的 1/35,Xbox 标注对比贵模型快 14 倍、便宜约 200 倍
一句话结论
微软推出 Microsoft-Decision-1:在 Qwen3.5-9B 上做后训练的单次前向决策打分模型,面向路由、分类、优先级、核验与工作流控制,经 Foundry 与 OpenRouter 提供;在约 15 万题、对训练保密的 36 项基准上准确率最高,文中称 P50 延迟约为竞品 H2O-Lightning-4B v1.1 的 2.5 倍快、约为 GPT-6 Sol 的 35 倍快;内部 Xbox 用它处理逾万条开放反馈,质量可与 GPT-6 Sol 竞争且快 14 倍以上、便宜约 200 倍,输入价每百万 token 0.042 美元、输出免费。
背景与理念
决策模型被写成与「生成长文的 LLM」不同的品类:固定选项上给出可被软件直接执行的结构化结果,并附校准概率。当 agent 链路里连续做许多小判断时,每步多 100 毫秒、串 20 步就会多出两秒,所以延迟与成本本身就是产品能力。
设计目标被拆成五块:速度、在未见任务上的泛化质量、对改写/乱序等扰动的稳健、概率可当置信度用、以及能拒有害请求又不滥拒无害请求。
具体做法
- 模型形态。后训练 Qwen3.5-9B,单次前向打分;支持是否、多选、评分,以及按量规给 AI 回复与 agent 动作打分;计划再挂到 MAI、OpenAI 等底座。
- 评测方式。约 15 万题、36 项对训练保密的基准,覆盖路由、排序、长上下文、多语、分布外、推理与安全;并拿 JevBench 上靠前的公开模型到同一套更广基准上对比。
- 稳健与校准。同一请求做八种扰动,平均仅 1.3% 决策翻转;选项描述改写或选项反转/打乱时「零翻转」。概率进入 API,供应用决定执行、推迟或人工复核。
- 内部试点。Xbox Research 把逾 1 万条问卷/Steam/X 开放反馈归入研究者定好的主题;Copilot 用它评聊天与 agent 回复质量(文称相对 GPT-5.6 Luna 有竞争力且约快 100 倍);值班用它从日志与工单里做知识检索;Microsoft Discovery 用它做自适应重规划的量规打分(文称一致性约为 LLM 打分的 46 倍、速度约 3 倍,重规划整体近 4 倍快)。
- 落地入口。Foundry 目录与 OpenRouter;输入 $0.042 / 百万 token,输出免费。
关键数据/例子
基准:36 项、约 150,000 题,准确率居首。
延迟:约比 H2O-Lightning-4B v1.1 快 2.5 倍;约比 GPT-6 Sol 快 35 倍(P50)。
稳健:八种扰动平均翻转 1.3%;描述改写与选项乱序零翻转。
Xbox:>10,000 条反馈;相对 GPT-6 Sol 快 14 倍以上、约便宜 200 倍。
安全:5,250 条请求、11 项基准。
定价:输入 $0.042/MTok,输出免费。
创新点
第一,把「小而快的结构化决策」从通用 LLM 里拆成独立模型品类,并直接暴露校准概率。
第二,用对训练保密的广谱基准 + 扰动翻转率,同时压「刷单一榜」和「换个措辞就变卦」。
第三,内部用例紧贴 agent 控制面:标注、质检、值班检索、科学重规划,而不是再做一个聊天机器人。
可否复用
- 把 agent 链路里的路由、是否继续、是否移交人工,从贵生成模型里拆到廉价决策层。
- 要求决策 API 返回可校准的概率,并用阈值阈值做「自动 / 人工复核」分流。
- 上线前做改写、乱序、键名变化等扰动测试,统计决策翻转率。
- 先在标注、质检、工单分流这类固定标签集场景试点,对照贵模型看质量、延迟与成本。