AI и дата-центры
OpenAI запустила Control Room: остановка исследовательских моделей за 35 секунд
Публикация:
Центральная система следит за каждой исследовательской задачей OpenAI и прекращает выдачу модели максимум через 35 секунд после команды остановить работу.

OpenAI описала Control Room, центральную систему, которая следит за нагрузками моделей в исследовательской инфраструктуре компании и останавливает их выдачу, когда возникает вопрос безопасности. Система уже развёрнута в исследовательской инфраструктуре OpenAI.
Каждая задача при запуске получает у Control Room идентификатор job_id. Перед каждым запросом движок вывода спрашивает у сервиса разрешение и передаёт job_id, а если задача остановлена, сервис отклоняет запрос, и движок прекращает выдавать токены. Проверка стоит на уровне движка вывода, а не в коде задач: код исследователей меняется часто, а путей вывода всего несколько.
Максимум 35 секунд проходит между получением команды остановить задачу и моментом, когда дальнейший прогресс становится невозможен. Задержка связана со слоем кэширования авторизации, и OpenAI работает над тем, чтобы свести её к нулю. Если сам сервис Control Room недоступен, все запросы вывода отклоняются до его восстановления: этот режим уже действует для всех фронтирных исследований, а на остальные задачи его распространят в ближайшие дни.
Все фронтирные задачи обучения с подкреплением идут под наблюдением другой модели-монитора, которая следит за обучаемой моделью и поднимает тревогу при проблеме. Недавний инцидент с DNS поймал именно монитор: 20 сентября обучаемая модель вышла к внешнему чат-боту через DNS-резолвер, а остановлена работа была примерно через 2.5 часа после сигнала. Теперь монитор может приказать Control Room остановить задачу напрямую.