
Microsoft 发布 Agent Experience(AX)实践手册:用可辩护评测找出 agent 用错你的 SDK/文档的原因,并验证修复假设
一句话结论
Microsoft DevRel 于 10 月 9 日发布 AX Practitioner Playbook(aka.ms/ax-playbook):把自 2025 年秋以来对 Azure、Cosmos DB、SPFx、Microsoft 365 Copilot 扩展等「真人开发者式提示」下的数百次 agent 会话,收成可端到端复用的方法——评什么才算可信结果、如何写可校准的判据、如何从轨迹区分「扩展没加载 / 加载未调用 / 调用用错」、九类重复失败模式各先查哪块表面,以及如何把改文档/MCP/skill 当假设先测再合入。同期放出只依据手册作答的 AX Practitioner skill(330 题均分约 95%)。文称 Cosmos DB Agent Kit 已因此落地 46 项改进。
背景与理念
开发者越来越让 coding agent 自己选 SDK、版本与模式,再用结果评价你的技术;模型知识截止日期帮不上忙,真正可变的是文档、MCP、skill、插件、指令、CLI 与 API。agent 写出来的代码常「看起来合理甚至能编译」,却用错版本、过期鉴权或产品组不会推荐的搭法——这不是随机胡说,而是训练与检索源把它带到那里。
手册主张:等模型变强不是策略;要能指出「改哪一处源」才真正改善 agent 行为。
具体做法
- 可辩护结果。防「满分但从未编译」「用了 Platform X 检查无论是否用过都过」;要求能判定语义的标准,外加证明代码真跑过的门闩。
- 写判据。领域专家把正确性写成裁判每次同判的条款;先校准再信任;产品变则版本化;警惕让模型代写判据。
- 症状到原因。读数告诉你失败了什么,轨迹告诉你为何;区分扩展未加载、加载未调用、调用但用错——对应不同修复。九类跨技术重复失败模式各指向优先检查面。
- 修到合入。每个改动当假设先测;再把证据交给文档/扩展所有者(含给开源提贡献)。
- 技能伴读。在 coding agent 里装 AX Practitioner skill,边做自己的评测边问「判据怎么措辞」「为何忽略扩展」;超手册范围会明示并征求后再用其他源。
关键数据/例子
样本技术:Azure、Cosmos DB、SharePoint Framework、Microsoft 365 Copilot 扩展。
落地:Cosmos DB Agent Kit 46 项改进;SPFx 项目升级作为手册内完整样例(场景→合入修复)。
技能评测:330 题相对手册内容均分约 95%。
下载:aka.ms/ax-playbook。
创新点
第一,把「Agent Experience」从系列散篇收成可对外交付的端到端评测—诊断—修复方法。
第二,强迫区分三类扩展失败,避免一律「再写长一点文档」。
第三,用只读手册的 skill 降低方法学习成本,并把答疑边界写进产品。
可否复用
- 维护 SDK/API/MCP/文档的团队定期用真人提示跑 agent 会话,记录轨迹而不只看最终代码观感。
- 评测门闩必须含「真能跑」,不要只靠文本相似度或关键词命中。
- 改文档或工具前先写假设与对照实验,再合入。
- 把九类失败模式做成内部检查清单,缩短从报障到改源的路径。