← 返回全部情报
OpenAI:MultiLangBench 上 GPT-6 Astra 均通过率 87.4%(Sol 26.8%),COBOL 迁移高努力约 97.9% 的封面

·OpenAI·工程博客收录 2026-11-01

OpenAI:MultiLangBench 上 GPT-6 Astra 均通过率 87.4%(Sol 26.8%),COBOL 迁移高努力约 97.9%

工程低资源语言COBOL迁移评测MultiLangBench企业现代化OpenAI

一句话结论

用 MultiLangBench(20 语言、共享 SQLite 接口)与行为保真 COBOL 迁移评测衡量低资源语言编码;最新模型族在准确率与成本上同时抬升,但上生产仍需专家按业务规则验收。

打开原文 OpenAI:Advancing coding in low-resource programming languages

背景与理念

COBOL/Fortran/VB 等训练数据稀,却撑着银行与关键基础设施;文档不全、原作者离职、业务规则只活在代码里。客户反馈显示通用 coding 模型在这些语言上常吃力,需要专门评测「从零构建」与「迁移保行为」两件事。

具体做法

  1. MultiLangBench:在指定语言从零做 SQLite 兼容引擎;用数据库文件当跨语言共享接口,以参考 SQLite 校验结果。
  2. COBOL 迁移评测:迁到 C++/Java/Kotlin/Python/Rust,隐藏测试要求可观察输出逐字节一致,才算成功。强调定点运算等语言特有语义不能「看起来能跑」就算过。
  3. 开源 MultiLangBench 套件与各语言结果,便于对照自家缺口。

关键数据/例子

MultiLangBench 最大推理努力下,GPT-6 Astra 20 语言均通过率 87.4%,相对 GPT-5.6 Sol 的 26.8%;COBOL 10.9%→72.1%,OCaml 25.6%→85.8%,Fortran 21.4%→83.5%,Visual Basic 27.5%→89.4%。GPT-6 Luna 均通过率 40.3%,估算均 API 成本约 $0.77 vs Sol $3.48(约低 78%)。COBOL 迁移:GPT-6.1 Sol 低努力 86.6%(Sol 同设置 5.4%,成本约为其 61%);更高努力达 97.9%。文内并引 COBOL 支撑逾 40% 线上银行系统、80% 当面刷卡、95% ATM 等行业背景数字。

创新点

第一,用「共享 DB 接口」让跨语言构建能力可同题对比。第二,迁移成功标准钉在行为保真(含定点语义),而不是编译通过。

可否复用

  1. 现代化项目先建行为保真测试,再让模型迁语言。
  2. 低资源语言选型时同时看通过率与 API 成本曲线(Astra vs Luna)。
  3. 评测过关不等于上生产:保留专家按业务规则与依赖做验收。

笔记会在输入时自动保存。