← 返回全部情报
Microsoft 发布 Agent Experience(AX)实践手册:用可辩护评测找出 agent 用错你的 SDK/文档的原因,并验证修复假设 的封面

·Microsoft for Developers·工程博客收录 2026-10-13

Microsoft 发布 Agent Experience(AX)实践手册:用可辩护评测找出 agent 用错你的 SDK/文档的原因,并验证修复假设

Agent ExperienceAX评测SDK文档MCPCosmos DB

一句话结论

Microsoft DevRel 于 10 月 9 日发布 AX Practitioner Playbook(aka.ms/ax-playbook):把自 2025 年秋以来对 Azure、Cosmos DB、SPFx、Microsoft 365 Copilot 扩展等「真人开发者式提示」下的数百次 agent 会话,收成可端到端复用的方法——评什么才算可信结果、如何写可校准的判据、如何从轨迹区分「扩展没加载 / 加载未调用 / 调用用错」、九类重复失败模式各先查哪块表面,以及如何把改文档/MCP/skill 当假设先测再合入。同期放出只依据手册作答的 AX Practitioner skill(330 题均分约 95%)。文称 Cosmos DB Agent Kit 已因此落地 46 项改进。

打开原文 Microsoft:Introducing the Agent Experience (AX) Practitioner Playbook

背景与理念

开发者越来越让 coding agent 自己选 SDK、版本与模式,再用结果评价你的技术;模型知识截止日期帮不上忙,真正可变的是文档、MCP、skill、插件、指令、CLI 与 API。agent 写出来的代码常「看起来合理甚至能编译」,却用错版本、过期鉴权或产品组不会推荐的搭法——这不是随机胡说,而是训练与检索源把它带到那里。

手册主张:等模型变强不是策略;要能指出「改哪一处源」才真正改善 agent 行为。

具体做法

  1. 可辩护结果。防「满分但从未编译」「用了 Platform X 检查无论是否用过都过」;要求能判定语义的标准,外加证明代码真跑过的门闩。
  2. 写判据。领域专家把正确性写成裁判每次同判的条款;先校准再信任;产品变则版本化;警惕让模型代写判据。
  3. 症状到原因。读数告诉你失败了什么,轨迹告诉你为何;区分扩展未加载、加载未调用、调用但用错——对应不同修复。九类跨技术重复失败模式各指向优先检查面。
  4. 修到合入。每个改动当假设先测;再把证据交给文档/扩展所有者(含给开源提贡献)。
  5. 技能伴读。在 coding agent 里装 AX Practitioner skill,边做自己的评测边问「判据怎么措辞」「为何忽略扩展」;超手册范围会明示并征求后再用其他源。

关键数据/例子

样本技术:Azure、Cosmos DB、SharePoint Framework、Microsoft 365 Copilot 扩展。

落地:Cosmos DB Agent Kit 46 项改进;SPFx 项目升级作为手册内完整样例(场景→合入修复)。

技能评测:330 题相对手册内容均分约 95%。

下载:aka.ms/ax-playbook。

创新点

第一,把「Agent Experience」从系列散篇收成可对外交付的端到端评测—诊断—修复方法。

第二,强迫区分三类扩展失败,避免一律「再写长一点文档」。

第三,用只读手册的 skill 降低方法学习成本,并把答疑边界写进产品。

可否复用

  1. 维护 SDK/API/MCP/文档的团队定期用真人提示跑 agent 会话,记录轨迹而不只看最终代码观感。
  2. 评测门闩必须含「真能跑」,不要只靠文本相似度或关键词命中。
  3. 改文档或工具前先写假设与对照实验,再合入。
  4. 把九类失败模式做成内部检查清单,缩短从报障到改源的路径。

笔记会在输入时自动保存。