USB, кабели, питание и передача данных

AI и дата-центры

Bielik 11B v3.1: польская открытая модель выучила 56 языков и получила режим рассуждений

Публикация:

Редакция USB.RU

SpeakLeash и ACK Cyfronet AGH выпустили Bielik 11B v3.1, обновлённую открытую языковую модель. Предобучение прошло на 500 млрд токенов, а число языков выросло с 32 до 56. Веса уже лежат на Hugging Face, а вместе с основной моделью вышли ускоритель DFlash и четыре модели Bielik-One для решений и оценок.

Логотип Bielik
Bielik.

Новая версия продолжает Bielik 11B v3.0. Обучение шло в три этапа: предобучение на 500 млрд токенов, обучение на инструкциях на 26 млн примеров и обучение с подкреплением в 14 средах. Постобучение усилили: модель вызывает функции, выдаёт структурированный ответ и умеет рассуждать перед ответом, а усилие рассуждений переключается от none до max. По замерам SpeakLeash, результат вырос на 8 процентных пунктов на тесте чтения Belebele и на 5 пунктов на многоязычном INCLUDE.

Рядом с основной моделью SpeakLeash выпустила Bielik 11B v3.1 DFlash. Это вариант со спекулятивным декодированием: модель предлагает фрагменты ответа, а основная проверяет их, поэтому генерация идёт быстрее без потери качества. Отдельно вышло семейство Bielik-One из четырёх моделей для классификации и оценки: маршрутизация запросов, модерация, проверка документов и процедур, оценка ответов других систем.

Веса модели лежат на Hugging Face на условиях открытой науки, а лицензия Apache 2.0 допускает коммерческое использование. Модель уже работает в чате на chat.bielik.ai.

Все новости →

Ещё на USB.RU

Статьи →

Объяснения и инструкции

Справочники →

Термины и стандарты

Инструменты →

Проверки и практические материалы

Подготавливаем выбранный материал…

Продолжить чтение