AI и дата-центры
Meta выложила открытые веса Muse Spark Open: 816 млрд параметров
Публикация:
Мультимодальная MoE-модель на миллион токенов контекста вышла под лицензией с обязательным упоминанием.
Meta Platforms Inc. 15 октября выложила на Hugging Face открытые веса Muse Spark Open. Meta Platforms Inc. включена в перечень организаций, признанных в Российской Федерации экстремистскими; её деятельность по реализации Facebook и Instagram запрещена в РФ. Это мультимодальная смесь экспертов на 816 млрд параметров, из которых 42 млрд активны на каждый токен: 256 экспертов, восемь из них включаются при обработке токена. Модель принимает текст, изображения, видео и аудио и выдает текстовый ответ, окно контекста - 1 млн токенов. Meta называет её самой способной открытой моделью из США.
Лицензия Muse Model License требует заметно указать в продукте или документации фразу «Built with Muse Spark Open». Тем, кто продает доступ к модели как услугу и зарабатывает на этом больше $20 млн в год, понадобится отдельное соглашение с Meta. Для запуска в формате NVFP4 нужно 700 ГБ видеопамяти, в BF16 - 2 ТБ. Meta также показала модель на двух связанных Mac Studio с чипом M5 Ultra через фреймворк MLX: у каждой машины 512 ГБ унифицированной памяти, а пропускная способность 1,2 ТБ/с позволяет считывать нужный каждому токену фрагмент. Правда, 512-гигабайтного Mac Studio в продаже пока нет, он ожидается позже в октябре, а версия на 256 ГБ стоит больше $10 000.
Разработку ведет Meta Superintelligence Labs. В карте модели среди сценариев перечислены многошаговые рассуждения, агентские задачи от начала до конца, программные агенты, вызов инструментов, мультимодальные рассуждения, генерация синтетических данных и оценка других моделей.
Доступ через API дают Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter и Together AI, а сами веса также выложены на Amazon SageMaker AI, Google Cloud Model Garden и Microsoft Foundry Models. Независимый индекс интеллекта Artificial Analysis оценивает модель в 39 баллов: это лучший результат среди открытых моделей не из Китая, хотя семь китайских моделей набрали больше. Лидирует Xiaomi MiMo-V2.6-Pro с 46 баллами, а DeepSeek V4.1 Flash делит с новинкой отметку 39.