2026 年 10 月 19 日,OpenAI 公开 MultiLangBench 的评测设置和测试集,用于检验语言模型能否在 20 种编程语言中从头实现兼容 SQLite 的数据库程序。项目把 SQLite 测试转换为约 2.4 万个可验证用例,按测试通过率和 API 成本记录结果,代码以 Apache 2.0 许可证发布。

OpenAI 同时公布了自家模型在该评测中的结果:GPT-6 Astra 的平均测试通过率为 87.4%,GPT-5.6 Sol 为 26.8%。这些是 OpenAI 在指定测试条件下的评测数据。公开测试集使开发者能够检查评测方法,并针对 COBOL、Fortran 等训练资料较少的语言分析模型表现;它本身不是新模型发布。

来源:OpenAI 研究说明、MultiLangBench 代码仓库。