AI и дата-центры
Bielik 11B v3.1: польская открытая модель выучила 56 языков и получила режим рассуждений
Публикация:
SpeakLeash и ACK Cyfronet AGH выпустили Bielik 11B v3.1, обновлённую открытую языковую модель. Предобучение прошло на 500 млрд токенов, а число языков выросло с 32 до 56. Веса уже лежат на Hugging Face, а вместе с основной моделью вышли ускоритель DFlash и четыре модели Bielik-One для решений и оценок.

Новая версия продолжает Bielik 11B v3.0. Обучение шло в три этапа: предобучение на 500 млрд токенов, обучение на инструкциях на 26 млн примеров и обучение с подкреплением в 14 средах. Постобучение усилили: модель вызывает функции, выдаёт структурированный ответ и умеет рассуждать перед ответом, а усилие рассуждений переключается от none до max. По замерам SpeakLeash, результат вырос на 8 процентных пунктов на тесте чтения Belebele и на 5 пунктов на многоязычном INCLUDE.
Рядом с основной моделью SpeakLeash выпустила Bielik 11B v3.1 DFlash. Это вариант со спекулятивным декодированием: модель предлагает фрагменты ответа, а основная проверяет их, поэтому генерация идёт быстрее без потери качества. Отдельно вышло семейство Bielik-One из четырёх моделей для классификации и оценки: маршрутизация запросов, модерация, проверка документов и процедур, оценка ответов других систем.
Веса модели лежат на Hugging Face на условиях открытой науки, а лицензия Apache 2.0 допускает коммерческое использование. Модель уже работает в чате на chat.bielik.ai.