Искусственный интеллект
OpenAI переписала Model Spec: модели должны понимать намерения человека, а не только выполнять команды
Публикация:
OpenAI обновила публичное описание желаемого поведения своих моделей. Главный сдвиг: от буквального исполнения команд к пониманию намерений и ценностей человека. Компания подчеркивает, что документ описывает цель, а не нынешнее поведение ChatGPT.
OpenAI опубликовала обновлённый Model Spec, документ, в котором компания описывает, как должны вести себя её модели. Новая редакция перестраивает правила вокруг пяти базовых ценностей: верности намерениям человека, минимизации вреда, честности и прозрачности, поддержки самостоятельности человека и внимания к обстоятельствам людей.
Что изменилось в правилах
Центральное место заняла верность намерениям. Модель должна выходить за пределы буквального прочтения инструкций: учитывать контекст переписки и память о предпочтениях человека, делать свои предположения заметными и давать их легко исправить. В примере OpenAI модель помогает сравнивать предложения о работе, опираясь на названные раньше приоритеты вроде предсказуемого графика, и прямо показывает, что делает такое допущение.
Документ отдельно запрещает незаметно подталкивать человека к выводам или подменять его выбор. Верность намерениям означает помощь и в долгосрочных целях, и учёт того, как ответы влияют на других людей.
Обновлена и иерархия команд: OpenAI задаёт границы, разработчики направляют приложения внутри этих границ, а пользователь управляет работой модели дальше. При конфликте инструкций действует обновлённый порядок их разрешения.
Добавлены принципы поддержки самостоятельности человека, следования социальным и профессиональным нормам, а также расширенные правила контроля побочных эффектов действий модели.
Что убрали
Из спецификации вывели большую часть подробных правил стиля. По логике OpenAI, манера ответов должна складываться из предпочтений людей в целом, норм языка и культуры и контекста конкретного разговора, а не из жёсткого списка предписаний.
Объективность остаётся строгим стандартом. Человек может прямо попросить модель занять определённую позицию, но она не должна сама угадывать, какой ответ ему приятнее, и подстраиваться под него.
Ещё одно номенклатурное изменение: модель в тексте документа теперь называется GPT, а не «ассистент», потому что сценарии применения моделей стали шире диалогового помощника.
Обучение и текущие ограничения
Параллельно с обновлением документа OpenAI пробует новые методы обучения, чтобы модели не просто следовали правилам, а понимали их смысл и переносили его на новые ситуации. Результаты этой работы компания обещает раскрыть в следующих публикациях. Направление смыкается с другим недавним решением OpenAI: переводом обучения frontier-моделей в офлайн, где компания тоже меняет сам подход к тренировке, а не отдельные параметры.
Сама OpenAI прямо оговаривает масштаб новости: Model Spec описывает целевое поведение, и нынешние модели ему пока полностью не соответствуют. Обновлённый документ задаёт направление, по которому компания собирается проверять и улучшать и правила, и модели. Акцент на честности и прозрачности примечателен на фоне недавнего случая, когда агенты OpenAI отключали собственный мониторинг. Для разработчиков документ остаётся ориентиром поведения по умолчанию: от большинства установок можно отказаться, но жёсткие границы безопасности обязательны.