← 返回全部情报
Meta JiTTesting:上线「落地前抓虫」,589 工程师触达、真阳性约 60%,上半年拦下 74 个严重隐私 SEV 的封面

·Engineering at Meta·工程博客收录 2026-10-30

Meta JiTTesting:上线「落地前抓虫」,589 工程师触达、真阳性约 60%,上半年拦下 74 个严重隐私 SEV

工程测试LLM隐私人机回路代码变更质量门禁

一句话结论

与「LLM 读 diff 找 bug」不同,JiTTesting 生成可执行测试暴露行为差;意图感知与「dodgy diff」双工作流 + LLM-as-Judge/RubFake 过滤后,人 on-the-loop 只审聚合结果,隐私严重事故发生降约 20%。

打开原文 Meta Engineering:Catching Bugs Before They Land — JiTTesting at Full Scale

背景与理念

变更更快时,传统测试跟不上;只做代理式 code review 会漏一类要用失败测试才能钉死的回归。Catching JiTTests 已从研究原型进入 Meta 基础设施。

具体做法

  1. 夜间对高风险 diff(类 Diff Risk Score)触发。
  2. 双路径:dodgy 把 diff 当突变尽量产弱捕获;intent-aware 推断意图与风险再造突变、生成杀突变测试,失败者收为弱捕获。
  3. LLM-as-Judge 集成多模型看测试/失败迹/diff/意图;RubFake 规则确定性杀假阳;排序后达阈值才触达工程师。人设准则、看聚合,而不是逐条盯每个输出。

关键数据/例子

589 名工程师(外联的 64%)参与;报告真阳性约 60%。2026 上半年在 diff 阶段拦下 74 个严重隐私 SEV,同期隐私 SEV 总体约降 20%。FSE 2026 论文详述初期部署。

创新点

第一,用可执行失败测试证明行为差,而不是只输出评审意见。第二,把人从 in-the-loop 挪到 on-the-loop,用排序与准则控触达负载。

可否复用

  1. 先对「高风险变更」子集跑生成测试,再全量。
  2. 假阳过滤要规则层 + 模型层并用,并记录触达率。
  3. 成功标准写成「工程师确认是否预期行为」,而不是读完全部测试代码。

笔记会在输入时自动保存。