AI и дата-центры
IBM выпустила Granite с разметкой LLMON: модель отличает команды от данных
Публикация:
IBM выпустила две экспериментальные модели Granite 4.1, 3B и 8B, которые читают разметку LLMON: инструкции и данные в контексте разделены явно, и спрятанная в документе команда моделью не выполняется.

12 ноября IBM представила LLMON, язык разметки для больших языковых моделей, и две экспериментальные preview-модели Granite 4.1, обученные его читать и писать: granite-4.1-3b-LLMON-preview и granite-4.1-8b-LLMON-preview. LLMON расшифровывается как LLM Object Notation и произносится «лемон»: это XML-подобный язык, который явно размечает структуру и смысл частей контекста. Каждая инструкция, данные и требования получают свой блок с уникальным идентификатором, а блок исполнения внизу указывает, какую инструкцию запустить, на каких данных и куда положить ответ.
Разметка защищает от непрямых промпт-инъекций: вредоносная инструкция, спрятанная в документе, ответе инструмента или данных пользователя, должна игнорироваться, потому что она лежит в блоке данных без привязки к исполнению. На бенчмарке OPI модели LLMON избежали на 47% больше атак, чем лучшая протестированная frontier-модель, и на 95% больше, чем лучшая открытая модель. На части бенчмарков доля успешных атак падает почти до нуля, а общие способности моделей остаются на уровне Granite 4.1 Instruct. Замеры касаются статических инъекций: адаптивные атаки, которые разворачиваются на протяжении многих ходов диалога, IBM пока только изучает.
Модели собраны на базовых чекпоинтах Granite 4.1, а не на выпущенных instruct-версиях: поведение LLMON выучено при постобучении, а не наложено поверх готового чат-формата. Корпус переразметили в LLMON с блоками-приманками без привязки, затем прошли пять последовательных этапов GRPO и финальный этап DPO. Шесть разделителей установлены в токенизаторе как зарезервированные токены, а двухсимвольные идентификаторы блоков кодируются одним токеном. Для перехода с JSON есть конвертеры без потерь, а репозиторий на GitHub содержит инструменты и примеры рабочих процессов. Это экспериментальный превью для исследования и оценки, а не для продакшена. Обе модели распространяются по лицензии Apache 2.0. Похожий контроль границ уже встроен в кибермодель OpenAI: модель ищет уязвимости и не выходит за рамки, заданные исследователем. А пульт остановки исследовательских моделей OpenAI запускала отдельно.