
OpenAI:MultiLangBench 上 GPT-6 Astra 均通过率 87.4%(Sol 26.8%),COBOL 迁移高努力约 97.9%
工程低资源语言COBOL迁移评测MultiLangBench企业现代化OpenAI
一句话结论
用 MultiLangBench(20 语言、共享 SQLite 接口)与行为保真 COBOL 迁移评测衡量低资源语言编码;最新模型族在准确率与成本上同时抬升,但上生产仍需专家按业务规则验收。
打开原文
OpenAI:Advancing coding in low-resource programming languages
背景与理念
COBOL/Fortran/VB 等训练数据稀,却撑着银行与关键基础设施;文档不全、原作者离职、业务规则只活在代码里。客户反馈显示通用 coding 模型在这些语言上常吃力,需要专门评测「从零构建」与「迁移保行为」两件事。
具体做法
- MultiLangBench:在指定语言从零做 SQLite 兼容引擎;用数据库文件当跨语言共享接口,以参考 SQLite 校验结果。
- COBOL 迁移评测:迁到 C++/Java/Kotlin/Python/Rust,隐藏测试要求可观察输出逐字节一致,才算成功。强调定点运算等语言特有语义不能「看起来能跑」就算过。
- 开源 MultiLangBench 套件与各语言结果,便于对照自家缺口。
关键数据/例子
MultiLangBench 最大推理努力下,GPT-6 Astra 20 语言均通过率 87.4%,相对 GPT-5.6 Sol 的 26.8%;COBOL 10.9%→72.1%,OCaml 25.6%→85.8%,Fortran 21.4%→83.5%,Visual Basic 27.5%→89.4%。GPT-6 Luna 均通过率 40.3%,估算均 API 成本约 $0.77 vs Sol $3.48(约低 78%)。COBOL 迁移:GPT-6.1 Sol 低努力 86.6%(Sol 同设置 5.4%,成本约为其 61%);更高努力达 97.9%。文内并引 COBOL 支撑逾 40% 线上银行系统、80% 当面刷卡、95% ATM 等行业背景数字。
创新点
第一,用「共享 DB 接口」让跨语言构建能力可同题对比。第二,迁移成功标准钉在行为保真(含定点语义),而不是编译通过。
可否复用
- 现代化项目先建行为保真测试,再让模型迁语言。
- 低资源语言选型时同时看通过率与 API 成本曲线(Astra vs Luna)。
- 评测过关不等于上生产:保留专家按业务规则与依赖做验收。