Искусственный интеллект
OpenAI и Google поддержат общий сигнал robots.txt для обучения ИИ
Публикация:
30 октября 2026 года OpenAI и Google объявили о поддержке общего сигнала в robots.txt, который позволит сайтам сообщать нескольким провайдерам о предпочтениях по использованию материалов для обучения ИИ. Реализация ещё впереди, а нынешние правила для отдельных поисковых роботов сохраняются.
30 октября OpenAI заявила, что будет учитывать общий сигнал в robots.txt, а Google объявила о планах внедрить тот же механизм. Он опирается на работу группы AI Preferences при IETF и задуман как единое правило для разных участвующих разработчиков ИИ: владельцу сайта не придётся отдельно прописывать предпочтения для каждого провайдера.
В опубликованном черновике IETF для обучения предлагается отдельный токен User-Agent: __usage_ai-training. Внутри такого правила можно указать, какие пути сайта закрыты для обучения, а какие разрешены. Это проект Internet-Draft, то есть рабочий документ, который ещё может измениться; сам по себе он не обязывает компании или роботов соблюдать сигнал.
Сроки пока различаются: OpenAI рассчитывает внедрить сигнал в ближайшие месяцы и отдельно сообщить подробности реализации, Google называет 2027 год. Обе компании говорят о добровольной поддержке общего сигнала. Google уточняет, что прежние настройки Google-Extended продолжат работать, а OpenAI сохраняет собственные правила для своих поисковых роботов.
Для издателей общий токен может упростить управление предпочтениями, но сейчас он не заменяет уже заданные правила для конкретных роботов: результат будет зависеть от того, когда и как каждый провайдер реализует поддержку. Ранее мы разбирали отдельные решения OpenAI об обучении моделей на офлайн-копиях веба и обновлении Model Spec компании. Эти изменения не являются частью нового сигнала, но помогают понять, как OpenAI отдельно меняет практики обучения и правила поведения моделей.