GPT-6 пишет на COBOL и Fortran: OpenAI показал два новых бенчмарка для легаси-языков

OpenAI рассказала в блоге, как ее новые модели работают с legacy-языками - COBOL, Fortran и Visual Basic. У этих языков куда меньше кода и документации для обучения, чем у Python или JavaScript, при этом они держат критическую инфраструктуру по всему миру. Чтобы измерить прогресс, компания создала два бенчмарка: MultiLangBench, где модель должна с нуля собрать движок, совместимый с SQLite, на одном из 20 языков, и тест миграции, где COBOL-программы переписываются на C++, Java, Kotlin, Python или Rust без изменения поведения.

Задача - сборка движка с нуля, проверка - по тестам, адаптированным из собственного набора SQLite; у флагманских моделей - максимальное reasoning-усилие. GPT-6 Astra показала средний проходной балл 87.4% по 20 языкам против 26.8% у GPT-5.6 Sol. По отдельным языкам: COBOL вырос с 10.9% до 72.1%, Fortran - с 21.4% до 83.5%, Visual Basic - с 27.5% до 89.4%, OCaml - с 25.6% до 85.8%. Бюджетная GPT-6 Luna набрала 40.3% при цене $0.77 за сэмпл против $3.48 - примерно на 78% дешевле. В миграционном тесте GPT-6.1 Sol достигла 86.6% точности при низком reasoning-усилии против 5.4% у GPT-5.6 Sol при 61% стоимости API; на высоком усилии - 97.9%, что OpenAI называет близким к насыщению теста.

Почему это важно: по данным, которые приводит OpenAI, COBOL обслуживает более 40% систем онлайн-банкинга, 80% карточных транзакций при личном присутствии и 95% транзакций банкоматов, а Fortran до сих пор используется в прогнозе погоды и анализе безопасности ядерных реакторов. Тесты - собственные, независимой проверки нет; в открытый доступ на GitHub выложен только MultiLangBench с результатами по языкам, миграционный бенчмарк не опубликован. Сама OpenAI оговаривается: миграция продакшен-кода все равно требует экспертной проверки и тестирования.