AI и дата-центры
Baidu опубликовала веса ERNIE 5.5 Flash Base: 280 млрд параметров и контекст до миллиона токенов
Публикация:
Базовая версия ERNIE 5.5 Flash от Baidu: 280 млрд параметров, 14 млрд активных на токен, обучение на 33.5 трлн токенов и веса в FP8 и BF16 на Hugging Face.

5 ноября Baidu опубликовала веса ERNIE-5.5-Flash-Base, базовой версии языковой модели ERNIE 5.5 Flash. Это разреженная смесь экспертов с 280 млрд параметров, из которых на каждый токен работают 14 млрд. Модель обучали с нуля на 33.5 трлн токенов, а контекст при обучении доходит до 128 тыс. токенов и до 1 млн токенов при донастройке и инференсе. Веса лежат на Hugging Face в форматах FP8 и BF16, а постобученная версия с инструкциями выйдет позже.
По замерам самой Baidu модель обходит сопоставимые базовые модели в большинстве тестов. На HumanEval+ она набирает 82.3 против 69.5 у DeepSeek-V4-Flash-Base, а на LiveCodeBench, 40.1 против 31.9. На MMLU, 93.3, на MMLU-Pro, 78.4, на тесте рассуждений GPQA, 60.2. Все цифры пока только от самой Baidu, независимых замеров ещё не было.
Архитектура модели построена вокруг экономии: 43 слоя, 512 экспертов с маршрутизацией и один общий эксперт, а внимание устроено гибридно, из слоёв MLA и HCA. Веса распространяются по собственной лицензии Baidu ERNIE 5.5 Flash Base Model License Agreement v1.0, а её территория не включает Евросоюз, Великобританию и Южную Корею. Коммерческое использование бесплатно при годовой выручке связанных продуктов до 50 млн долларов, с атрибуцией и разовым уведомлением Baidu.
Это именно базовая модель, а не чат-бот: веса, это чекпоинт конца предобучения, без дообучения на инструкции и без рассуждений. Запускать её предлагают через SGLang и vLLM, а запросы идут через completions, а не через чат. Для команд, которые строят свои модели на открытом фундаменте, это готовая отправная точка, а для обычных пользователей пользы пока мало. Из нашей ленты по теме: открытая модель Kimi и языковая модель Tencent.