AI и дата-центры
iFlytek представила Spark X2.6: MoE 293B-A30B на национальных чипах и открытую X2.6-4B
Публикация:
На фестивале Global 1024 iFlytek показала Spark X2.6 - MoE-модель с архитектурой 293B-A30B и контекстом 1M, которую, по заявлению компании, обучили полностью на национальных вычислительных мощностях. Код малой X2.6-4B для устройств открыт.
22 октября на Global 1024 Developer Festival iFlytek представила Spark X2.6 - первую энд-клауд большую модель: нагрузка распределяется между устройством и облаком. Председатель компании Лю Цинфэн заявил, что X2.6 - единственная модель такого класса, обученная на национальных вычислительных мощностях, а остальные вендоры тренируются на картах NVIDIA; сам чип при этом не назван.
Архитектура - MoE 293B-A30B с контекстом 1M. Младшая X2.6-4B - модель для устройств с открытым кодом: по заявлению iFlytek, она делает шаг вперёд в агентных возможностях среди end-side моделей и заметно превосходит X2.5-4B по бенчмаркам. Карточка на Hugging Face называет её компактной моделью общего назначения для запуска на устройстве, соизмеримой по уровню с 9B-моделями.
Все громкие заявления - от самой iFlytek: независимой верификации «первого» обучения на национальных чипах нет, название чипа компания не раскрыла, а цифры эффективности обучения и инференса - вендорские.
API временно со скидкой: 0.9 юаня за вход, 0.08 юаня при попадании в кэш и 3.6 юаня за выход на миллион токенов; инференс X2.6-4B временно бесплатен. X2.5-4B с 1 сентября входит в четвёрку самых скачиваемых end-side моделей мира. Локальный запуск - через Ollama, vLLM, llama.cpp и LM Studio; для полного контекста в 1,048,576 токенов устройству нужно достаточно памяти.