OpenAI MultiLangBench: GPT-6 Astra пишет SQLite на 20 языках, а COBOL переводит почти без ошибок

OpenAI MultiLangBench — новый тест, где модель должна с нуля написать совместимый с SQLite движок базы данных на одном из 20 языков, включая COBOL и Fortran. 19 октября OpenAI показала, что GPT-6 Astra проходит в среднем 87,4% проверок, а GPT-6.1 Sol переводит старый COBOL-код на современные языки почти без ошибок. Разбираем, что реально проверили, а что пока остаётся словами компании.

Что показала OpenAI

OpenAI называет такие языки «малоресурсными»: COBOL, Fortran, OCaml, Visual Basic. Открытого кода на них мало, документация часто неполная, а люди, которые писали старые системы, давно ушли. При этом на них до сих пор держится критичная инфраструктура. The Decoder приводит оценку IBM: COBOL обслуживает больше 40% систем онлайн-банкинга и 95% транзакций в банкоматах.

Компания построила два теста. Первый — MultiLangBench: собрать базу данных уровня SQLite. Второй — переписать программы на COBOL так, чтобы вывод совпадал байт в байт.

Цифры по языкам на максимальных рассуждениях, по разбору AI Lookout:

• COBOL: с 10,9% у GPT-5.6 Sol до 72,1% у GPT-6 Astra.
• OCaml: с 25,6% до 85,8%.
• Fortran: с 21,4% до 83,5%.
• Visual Basic: с 27,5% до 89,4%.

По словам OpenAI, Astra набрала больше 83% в 19 языках из 20, а самым трудным остался COBOL. Дешёвая GPT-6 Luna выросла скромнее, до 40,3% в среднем, зато попытка обходится примерно в $0,77 против $3,48 у GPT-5.6 Sol.

Как устроен OpenAI MultiLangBench

По README репозитория цель — SQLite версии 3.40.1. Модель получает документацию, но не интернет. Каждый тест состоит из трёх частей: SQL создаёт исходную базу, программа модели выполняет запрос и сохраняет изменённый файл, а настоящий SQLite проверяет результат контрольным запросом. Тест пройден, только если вывод совпал точь-в-точь. Падение или таймаут в 60 секунд — провал.

Тесты переделали из родного набора SQLite: из 51 тысячи конвертировать удалось 24 тысячи. Гонять всё дорого, поэтому README просит использовать 272 теста с хешами на 00, 01 и 02. Перед запуском из окружения надо вычистить любые следы SQLite, а решение на чужом языке или на смеси языков получает ноль.

С миграцией COBOL сложнее. OpenAI объясняет, что бизнес-правила прячутся в деталях языка. Пример — арифметика с фиксированной точкой: COBOL отбрасывает лишние знаки после запятой, если округление не запрошено явно. Переписанный код, который округляет, запустится без ошибок, но выдаст другие финансовые результаты.

97,9% на скрытом тесте ничего не говорят о том, как модель справится с COBOL конкретного банка.

Где оговорки

AI Lookout перечисляет слабые места. Все цифры — OpenAI тестирует свои же модели на своих же задачах. Нет доверительных интервалов, числа прогонов и цены одной попытки для Astra. Обещанных результатов по каждому языку в репозитории на 20 октября не нашли, как и готовой обвязки для запуска модели. Сколько программ в наборе COBOL и откуда они, не сказано.

Ещё одна деталь из того же разбора: по истории коммитов тест добавили 29 сентября, а переименовали в MultiLangBench в день анонса, 19 октября. Сама OpenAI признаёт, что настоящие миграции всё равно требуют проверки экспертами.

Что это значит для тебя

Для разработчика это сигнал: агенты для кода выходят за пределы Python и JavaScript. Если ты поддерживаешь старый код или берёшь заказы на переписывание легаси, такие модели могут заметно ускорить работу. Но тест проверяет только поведение на выборке, а не скорость, безопасность или удобство поддержки.

Если считаешь деньги, смотри на пару «цена — результат», а не на один процент. Luna в этом тесте дешевле GPT-5.6 Sol примерно на 78% за попытку, но проходит меньше половины проверок. Astra проходит почти девять из десяти, но её цену за попытку OpenAI не раскрыла. Перед тем как отдавать модели реальный проект, прогони её на куске своего кода и сравни вывод со старой системой.

Для крипты связь прямая: банки, с которыми работают биржи и платёжные шлюзы, во многом живут на том же COBOL. Если миграции станут дешевле, модернизация банковских систем может ускориться — но это наш прогноз, а не заявление OpenAI.

Подробнее о моделях, которые участвуют в тесте, — в разборах GPT-6.1 Sol и OpenAI Dots и GPT-6 Astra.

FAQ

Что такое OpenAI MultiLangBench? Открытый тест OpenAI, где модель пишет совместимый с SQLite 3.40.1 движок базы данных на заданном языке и проходит тесты из набора самого SQLite.

Какой результат у GPT-6 Astra? 87,4% тестов в среднем по 20 языкам и 72,1% в COBOL — это её худший язык.

Можно ли запустить тест самому? Набор SQLite открыт на GitHub, но обвязку для агента придётся писать самому. Тест миграции COBOL не опубликован.

Итог: OpenAI MultiLangBench показывает резкий скачок моделей OpenAI в старых языках, но пока это самооценка без конкурентов. Ждём, повторят ли цифры другие лаборатории и реальные заказчики.

Материал не является инвестиционной рекомендацией. Крипта — высокий риск, решения принимаешь сам.