
Meta JiTTesting:上线「落地前抓虫」,589 工程师触达、真阳性约 60%,上半年拦下 74 个严重隐私 SEV
工程测试LLM隐私人机回路代码变更质量门禁
一句话结论
与「LLM 读 diff 找 bug」不同,JiTTesting 生成可执行测试暴露行为差;意图感知与「dodgy diff」双工作流 + LLM-as-Judge/RubFake 过滤后,人 on-the-loop 只审聚合结果,隐私严重事故发生降约 20%。
打开原文
Meta Engineering:Catching Bugs Before They Land — JiTTesting at Full Scale
背景与理念
变更更快时,传统测试跟不上;只做代理式 code review 会漏一类要用失败测试才能钉死的回归。Catching JiTTests 已从研究原型进入 Meta 基础设施。
具体做法
- 夜间对高风险 diff(类 Diff Risk Score)触发。
- 双路径:dodgy 把 diff 当突变尽量产弱捕获;intent-aware 推断意图与风险再造突变、生成杀突变测试,失败者收为弱捕获。
- LLM-as-Judge 集成多模型看测试/失败迹/diff/意图;RubFake 规则确定性杀假阳;排序后达阈值才触达工程师。人设准则、看聚合,而不是逐条盯每个输出。
关键数据/例子
589 名工程师(外联的 64%)参与;报告真阳性约 60%。2026 上半年在 diff 阶段拦下 74 个严重隐私 SEV,同期隐私 SEV 总体约降 20%。FSE 2026 论文详述初期部署。
创新点
第一,用可执行失败测试证明行为差,而不是只输出评审意见。第二,把人从 in-the-loop 挪到 on-the-loop,用排序与准则控触达负载。
可否复用
- 先对「高风险变更」子集跑生成测试,再全量。
- 假阳过滤要规则层 + 模型层并用,并记录触达率。
- 成功标准写成「工程师确认是否预期行为」,而不是读完全部测试代码。