
Cursor 工程师给 Agent harness 减肥:系统提示砍掉约 66%、工具按需加载、行号每十行标一次,整体 token 成本降 7%
一句话结论
Agent 跑得越久,每一轮重复发送的系统提示、工具定义和文件内容就越贵,Cursor 靠删掉过时指令、把低频工具移到动态上下文、显式设置缓存断点、压缩文件读取和收紧子代理用法,在不降质量的前提下把用户的 token 成本降了 7%。
背景与理念
这篇文章发表于 2026 年 9 月 23 日,作者是 Cursor 的三位工程师 Jediah Katz、Connor O’Keefe 和 Calvin Yee,归在 Cursor 博客的 research 栏目。文章的出发点是 token 花费结构变了:Agent 能处理更有野心的任务之后,工作时间更长,每一步都要带着更多上下文往下走,所以怎么组装和管理这些上下文变得越来越重要。文章开头放了一张生产流量的花费构成图,区分输出、未命中缓存的输入和命中缓存的输入。
Cursor 的思路是,harness 是他们能完全掌控的部分,包括每次请求怎么拼、上下文怎么复用、什么时候把工作拆给多个 Agent。过去几个月他们在这几层分别做了改动,合起来让用户的 token 成本下降了 7%,而 Agent 质量没有下降。他们特别强调,在大量真实用户上做 A/B 测试是优化 harness 的关键,评测集可以当快速参考,但评测题往往偏难,不能代表真实请求的分布。
具体做法
第一步是精简系统提示。每一轮对话开始前,Cursor 都会塞进系统提示和工具定义,这部分贯穿整段对话,成了他们能完全控制的最大花费来源之一。早期模型能力弱,必须把工具用法、任务管理、改代码流程一条条写清楚,还得防着模型输出超长哈希、二进制内容和表情符号。模型变强后,这些大多不再需要,与其写一长串「不要这样做」「你必须」「重要」,不如直接定义清楚工具的行为,模型一般就会照做。这个结论在不同模型家族上都成立,他们因此删掉了大约 66% 的系统提示。
第二步是工具按需加载。这一年里 Cursor 给 Agent 加了很多能力,比如后台 shell 监控、云端子代理和更可靠的网页访问,工具定义膨胀得很厉害,但其中大多数工具在不到 20% 的对话里才会用到。之前他们已经把 MCP 工具移到动态上下文里按需加载,这次把同样的办法用到自带工具上。具体保留哪些工具,是按使用频率和模型是否需要一开始就看到来做 A/B 测试决定的,同时跟踪 token 用量、成本、延迟、工具调用错误和整体使用情况。最后留在静态上下文里的是读文件、搜索、编辑和 shell 这些高频工具,还有 ask_question,因为有些模型会凭空调用它,以及 Plan 模式里的 create_plan 这类关键流程工具,其余的都在需要时再加载。
第三步是提高缓存复用。每一轮请求都要重发工具、系统指令、环境设置和完整对话,其中开头部分基本不变,结尾的对话不断变长。从 GPT-5.6 开始,OpenAI 的 API 允许客户端在默认隐式缓存之外标记显式缓存断点,Cursor 于是把断点放在稳定的层之后、增长的对话之前。为了让前缀真正稳定,他们只让工具和系统指令承载很少变化的内容,把每个用户、每次请求不同的内容,比如 Skill、子代理和环境信息,挪到缓存边界之后一个他们称为「phantom user message」的位置。
第四步是压缩文件读取。Read 工具原来给每一行都标行号,因为模型自己数不清行,又需要引用具体位置。单个行号只占大约 3 到 5 个 token,但一次会话读几万行时就不少了。他们改成每十行标一次行号,仍然足够模型准确引用。
第五步是更有策略地使用子代理。子代理通常从一个全新的上下文窗口开始,汇报完结果后主 Agent 不必背着它的全部工作过程,这能省 token;但上下文隔离也有协调成本,可能重复劳动或者做已经没必要的事。他们删掉了强烈鼓励用子代理探索代码库的指令,因为模型在训练中已经学会了这种模式,去掉提示后子代理的使用反而更均衡。他们还调整了工具参数,只有用户或 harness 明确指定时,Agent 才会给子代理换用别的模型。
关键数据/例子
文章给出的数字包括:整体 token 成本下降 7%,质量不降;系统提示删掉约 66%;多数工具只在不到 20% 的对话里被用到;此前把 MCP 工具改为动态加载,让调用过 MCP 工具的会话总 token 减少 46.9%;这次把自带工具移出静态上下文,让静态上下文里的工具描述 token 减少 60%;缓存优化让冷缓存未命中率下降 20%;行号改为每十行一次后,缓存读取 token 减少 1.6%,质量没有下降。文章结尾说,这些经验也被用到了 Grok Bot 上,正在为它独特的 harness 做优化。
创新点
第一,把模型进步当作删提示词的理由,定期清理为旧模型写的防御性指令,而不是只加不减。
第二,把工具定义也当作上下文成本来管理,高频常驻、低频按需,并用线上 A/B 数据而不是直觉来决定边界。
第三,按变化频率给请求分层,稳定内容在前、易变内容在后,配合显式缓存断点,这是一种很具体的缓存友好型提示结构。
第四,从行号这种小细节里抠成本,说明长会话里每一个重复出现的小开销都值得量一量。
可否复用
- 自己写的系统提示、规则文件和 Skill 可以按 Cursor 的思路做一次清理,删掉为旧模型写的「必须」「不要」类防御性指令,只保留对工具和任务的清楚定义。
- 如果自己搭 Agent 或配 MCP,常用工具常驻,低频工具和 MCP 按需加载,别一次把几十个工具描述都塞进上下文。
- 组织提示词时把稳定内容放前面、每次变化的内容放后面,能显著提高缓存命中,长会话更省钱。
- 让 Agent 读大文件时尽量只读需要的片段,或者减少冗余标注,长任务里这些重复开销会累积。
- 子代理适合做独立的探索和检索任务,结果汇总回来即可,不必在提示里硬性要求它到处拆任务。
- 做任何提示优化都要有前后对比,至少记录成本和结果质量,不要凭感觉判断改得好不好。