
OpenAI 公开内部前沿模型的一批数学成果:722 篇手稿归为 372 个结果族,平均每个结果约用三小时 ChatGPT Pro 思考算力,模型共尝试约 4000 道题
一句话结论
OpenAI 把一个未发布内部模型产出的数学结果放进 GitHub 仓库 openai/math:目前收录 722 篇手稿、分成 372 个结果族,附带部分 Lean 形式化证明、10 份模型推理摘要、按 ChatGPT Pro 用量折算的算力估计和尝试题目数量统计;绝大多数结果用同一套固定流程得到,平均每个约等于三小时 ChatGPT Pro 思考,评测中共向模型提出约 4000 道题;发布方式参考了高等研究院独立顾问组 AGMAI 的建议,OpenAI 承认部分未形式化的结果可能有问题,并承诺保留版本历史、改进论文质量。
背景与理念
OpenAI 说,这批结果来自模型开发中的一项评测:现有数学评测已经饱和,于是他们扩大了用开放研究问题评测模型的范围。仓库说明里写道,其中一些成果建立在模型更早产出的结果之上。
这次发布特别强调「怎么发」。OpenAI 说他们在咨询高等研究院独立的「数学与人工智能顾问组」(AGMAI),并参考了该组公开的建议来决定发布方式。The Verge 的报道补充,AGMAI 9 月底发布的首批建议要求 AI 实验室尽快、尽量通过学术渠道发布数学结果,披露所用模型名称、提示词和算力成本,并「不要把数学结果当作推广模型的营销工具」。
具体做法
第一,用 GitHub 仓库发布,并配套修订和引用规范。OpenAI 说还在探索其他符合顾问组要求的社区托管方式;仓库会保留公开的发布历史,更正和修订以新版本记录,旧版本仍可访问,每篇手稿目录下有 BibTeX 引用块。
第二,附上 Lean 形式化证明,但不是全部。Lean 是一种能让计算机检查数学证明的编程语言;仓库说明很多、但不是所有手稿都有形式化,后续拿到会继续补充,并提供了形式化目录和用 Comparator 复核的说明。OpenAI 直言,部分未形式化的结果可能有问题,会尽快修正。
第三,披露过程信息。仓库里有 10 份模型推理的节选摘要,覆盖 π 的无理数指数、Mahler 猜想、特征为二时的 Kaplansky 直接有限性猜想、稀释自旋玻璃的 Mézard–Parisi 公式、自由群因子同构、三维相对论 Vlasov–Maxwell 系统等结果族;还有按 ChatGPT Pro 用量折算的算力估计和尝试题目数量的统计。
第四,说明了哪些不是固定流程产出的。仓库写明,绝大多数结果用同一套流程得到,例外是黎曼 zeta 函数的一个零点自由区域,以及 CM 阿贝尔簇的 Hodge 猜想证明;其中 Re(s) > 11/12 零点自由区域的写作经过人工编辑以提高可读性。
第五,后续投入。OpenAI 说会资助一系列围绕理解 AI 重大成果的研讨会、会议和专项计划,并在努力以负责任的方式发布产生这些结果的模型。
关键数据/例子
规模:722 篇手稿,归为 372 个结果族,每个族按数学分支分类。
算力:平均每个结果约等于三小时 ChatGPT Pro 思考算力。
尝试量:评测过程中共向模型提出约 4000 道题,按显著性要求汇总后形成现有目录。
透明度材料:10 份推理摘要、部分 Lean 形式化、算力估计和尝试数量统计。
The Verge 援引 AGMAI 的说法,这批发布包含对「数百个」开放问题的解答;OpenAI 9 月曾说模型解决了 100 多个长期悬而未决的问题。
创新点
第一,把算力和尝试次数一起披露。「约 4000 道题里筛出这些结果、平均三小时 Pro 思考」让外界能估计成功率和成本,而不是只看到成功案例。
第二,用形式化证明给结果分级。有 Lean 证明的和没有的明确区分,并提前承认后者可能有错,这是对数学界信任问题的直接回应。
第三,把发布流程交给外部顾问组把关。在业界被批评「拿数学成果做营销」之后,按独立机构的建议设计发布方式,本身就是一种规范的尝试。
可否复用
- 用 AI 做研究型任务时记录「尝试了多少、成功了多少、花了多少算力」:只报成功案例会严重高估效果。
- 能机器验证的结论尽量机器验证:代码有测试,数学有形式化证明,其他领域也可以找类似的自动检查手段,并把「已验证」和「未验证」分开标注。
- 对外发布 AI 产出的成果时保留版本历史:更正用新版本记录,旧版本可追溯,便于别人引用和复核。
- 披露人工介入的部分:哪些结果偏离了固定流程、哪些写作经过人工编辑,都应写清楚。