AI и дата-центры
Xing 4: модель на 285 млрд параметров обучили на китайских чипах Ascend
Публикация:
Лаборатория Xingchen AGI Lab показала серию языковых моделей Xing 4: старшую модель на 285 млрд параметров обучили на 8,192 картах Ascend 910C вместо видеокарт NVIDIA, а младшую модель на 29 млрд параметров выложили в открытый доступ.

Xingchen AGI Lab, лаборатория China Telecom, 17 ноября опубликовала технический отчет о серии моделей Xing 4. Это продолжение линейки TeleChat: модели для рассуждений, кода и агентских задач, обученные на китайских чипах Ascend и фреймворке MindSpore. Главный пример в отчете, модель на 285 млрд параметров, активирует 17 млрд параметров на токен, поддерживает контекст в 1M токенов и прошла предобучение на 8,192 картах Ascend 910C из производственного кластера.
Младшую модель серии, Xing4.0-29B-A4B, авторы выложили в открытый доступ. Это смесь экспертов на 29 млрд параметров, на каждый токен работают только 4 млрд, а контекстное окно достигает 256K токенов. Модель целиком обучена на ускорителях Ascend с фреймворком MindSpore и сочетает MLA, MTP и гиперсвязи mHC.
В отчете много конкретных замеров. По данным авторов, новая схема внимания дает до 4.68 раза более быструю обработку входного текста, чем базовый вариант только с MLA, спекулятивное декодирование ускоряет генерацию в 2.67-3.77 раза, а отказ от конвейерного параллелизма добавляет 16.1% пропускной способности.
Для постобучения авторы представили TeleGym, единую платформу для агентских задач: она связывает выполнение, оценку и сбор траекторий с оптимизацией политики. Асинхронное выполнение, ограниченная передискретизация и частичные прогоны учитывают разную длительность задач и сохраняют непрерывность траекторий между обновлениями.
В нашей ленте о моделях: Tencent выпустила Hy4 flash: 224 млрд параметров для офисной работы по цене в несколько раз ниже флагмана и Модель Kimi K3 на 2.8 трлн параметров уместили в один сервер с воздушным охлаждением.