AI и дата-центры
iFlytek Spark X2.6: код и агенты на полностью китайских чипах
Публикация:
На фестивале разработчиков 1024 iFlytek показала флагманскую модель Spark X2.6: архитектура MoE на 293B-A30B параметров, контекст до 1M токенов. Компания утверждает, что это первая модель такого класса для кода и агентных задач, полностью обученная на национальных чипах. Вместе с флагманом вышла открытая краевая модель X2.6-4B.
Ключевое заявление на презентации сделал глава iFlytek Лю Цинфэн. По его словам, Spark - единственная крупная модель, обученная полностью на китайских чипах, тогда как остальные крупные игроки тренируют модели на картах NVIDIA, и при этом у iFlytek самая компактная модель в этом классе. Заявленный прорыв касается именно кода и агентных способностей: по версии компании, X2.6 первым преодолел узкое место эффективности обучения длинных задач на отечественных ускорителях.
Техническая суть, как ее излагает iFlytek, упирается в ограничения китайских чипов. Компания говорит о технологии динамического параллельного обучения длинных задач, адаптированной под национальные платформы: она решает проблему низкой эффективности смешанного обучения, которую дает ограниченная пропускная способность памяти чипов. Для инференса на национальных кластерах заявлены две инновации: распределенный инференс на гетерогенных китайских чипах и собственная методика разработки, позволяющая не пересчитывать часть вычислений. Плюс встроенная защита и настраиваемые под сценарии политики безопасности.
Модель уже открыта для тестирования на сайте iFlytek Spark: это первая реализация архитектуры совместного использования облака и устройства, когда простые задачи решаются локально, а сложные - совместно. Цена инференса на период запуска: 0.9 юаня за миллион входных токенов, 0.08 юаня при попадании в кэш и 3.6 юаня за миллион выходных токенов. Параллельно выпущена открытая краевая модель X2.6-4B: по заявлению компании, она первой среди краевых моделей дала скачок агентных способностей, а против X2.5-4B заметно выросли все бенчмарки. У предшественника, X2.5-4B, с момента открытия весов 1 сентября загрузки вошли в число четырех самых скачиваемых краевых моделей мира. Инференс X2.6-4B на собственном фреймворке компании быстрее, чем на ollama, а цена инференса временно нулевая. Все цифры и заявления о первенстве - данные производителя с презентации; независимых измерений и технических отчетов пока нет.