AI-модели
OpenAI поручила Codex искать причины тормозов ChatGPT: 1700 расследований за три месяца
Публикация:
Performance Factory находит регрессии, предлагает исправления и проверяет результат после выпуска. Но решение о слиянии кода и развёртывании пока принимает инженер.

OpenAI рассказала о Performance Factory, внутренней системе для поиска и устранения проблем производительности ChatGPT. За чуть более трёх месяцев её первый рабочий процесс отследил свыше 1700 расследований и установил причины более 600 случаев. Компания оценивает темп примерно в 17 автоматических расследований в день.
Это не новый общедоступный продукт и не обещание, что Codex самостоятельно выпускает исправления. Система работает внутри OpenAI: после сигнала мониторинга агент изучает замедление, записывает выводы и готовит изменение кода. Инженер проверяет предложение и решает, что попадёт в рабочий сервис. После развёртывания агент проверяет, вернулась ли производительность к прежнему уровню.
От уведомления до проверки результата
Отправной точкой стала общая методика perf-forensics. В ней команда описала доступные средства диагностики и порядок расследования: когда началось замедление, какие запросы затронуты и могли ли его вызвать изменения кода или конфигурации. Codex получает доступ к репозиториям и рабочей телеметрии, включая метрики, журналы, трассировки, профили процессора и снимки памяти.
Performance Factory хранит состояние задачи и выводы расследования отдельно от контекста конкретного агента. Поэтому работу можно передать другому агенту или инженеру и продолжить после проверки кода или выпуска изменения. События вроде комментария к pull request или завершения развёртывания возвращают задачу в работу.
Если после исправления метрики не улучшились, расследование открывается заново. При частичном восстановлении система закрывает исходную регрессию и создаёт отдельную задачу для оставшегося замедления, у которого может быть другая причина.
Убедительный диагноз ещё не означает правильный
В начале агенты иногда останавливались на первом правдоподобном объяснении. OpenAI добавила отдельную сессию Codex, которая пытается опровергнуть диагноз: проверяет допущения и сравнивает запросы, затронутые и не затронутые подозреваемым изменением.
При ручной проверке 100 предложенных причин команда признала точными 70%. Ещё 30% требовали уточнения или не доказывали причинную связь полностью. Это результат внутренней проверки конкретной выборки, а не общая гарантия точности Codex.
Готовить хорошие исправления оказалось сложнее, чем находить причины. По словам OpenAI, предложения агентов бывают избыточными или создают новые проблемы. Поэтому отдельную оспаривающую проверку добавили и для изменений кода. Архитектурные решения, например обмен скорости на риск устаревших данных в кеше, остаются поводом для участия инженера.
Команда проверяет изменения методик на прошлых инцидентах. Агенту дают исходный сигнал без готового разбора и результатов предыдущих попыток; отдельно оценивают время начала сбоя, масштаб, затронутые запросы и обоснованность причины. Качество краткого отчёта для инженера проверяют отдельно от самого расследования.
Следующий этап, который OpenAI ещё разрабатывает, - поиск замедлений без сработавшего уведомления и автоматический выпуск изменений с низким риском. Сейчас система может подготовить исправление и проверить восстановление, но решение о том, что выпустить, принимает человек.