AI и дата-центры
OVHcloud представила Olala mini 7A1B: первую собственную языковую модель, которая работает на обычном процессоре
Публикация:
Европейский облачный провайдер OVHcloud показал первое семейство собственных языковых моделей Olala. Младшая модель mini 7A1B запускается на видеокарте с 8 ГБ памяти и даже на обычном процессоре, а веса обещают выложить в открытый доступ по лицензии Apache 2.0.

OVHcloud 17 ноября анонсировала Olala, первое семейство собственных больших языковых моделей. Первую модель семейства, Olala mini 7A1B, обучили с нуля на новой архитектуре. Официальный показ пройдет 19 ноября на OVHcloud AI Summit.
Модель небольшая: всего 7 млрд параметров, а на каждый запрос работает только один миллиард, распределенный по 256 экспертам в слое. Гибридное внимание сочетает Differential-TPA и Mamba-3, формат BF16. Контекстное окно пока 32,000 токенов.
За счет того, что на запрос задействована лишь часть модели, она быстрее и требует меньше памяти: на видеокарте с 8 ГБ памяти выдает 160 токенов в секунду на RTX A4500, а без видеокарты, на обычном процессоре, 50 токенов в секунду.
Обучали модель на трех европейских государственных суперкомпьютерах, Jupiter, MeluXina и Jean Zay, с ускорителями GH200, A100 и H100. Поддержка эквивалентна 7 млн евро вычислительных часов. Вместе с весами OVHcloud отдает предобученную базовую модель, технический отчет и документацию по соответствию закону об ИИ. Лицензия Apache 2.0, веса появятся на Hugging Face.
Модель уже работает в продакшене: поисковик Qwant взял ее для быстрых ответов, ответы стали на 20% быстрее, а расходы на запуск упали в три раза по сравнению с прежней моделью. К концу года выйдет версия 1.1: контекстное окно вырастет до 128,000 токенов, улучшится математика. Дальше компания готовит версию 2.0 с моделями больше 100 млрд параметров для агентского ИИ в бизнесе, DevOps в облаке и кибербезопасности.
В нашей ленте о моделях: Alibaba открыла превью Qwen4-Max: миллион токенов контекста и всего две недели на проверку и Веса Inkling 2 Small теперь в открытом доступе: 594 млрд параметров под Apache 2.0.