USB, кабели, питание и передача данных

AI и дата-центры

Xing 4: модель на 285 млрд параметров обучили на китайских чипах Ascend

Публикация:

Редакция USB.RU

Лаборатория Xingchen AGI Lab показала серию языковых моделей Xing 4: старшую модель на 285 млрд параметров обучили на 8,192 картах Ascend 910C вместо видеокарт NVIDIA, а младшую модель на 29 млрд параметров выложили в открытый доступ.

Архитектура Xing
Архитектура модели Xing. Изображение: Xingchen AGI Lab.

Xingchen AGI Lab, лаборатория China Telecom, 17 ноября опубликовала технический отчет о серии моделей Xing 4. Это продолжение линейки TeleChat: модели для рассуждений, кода и агентских задач, обученные на китайских чипах Ascend и фреймворке MindSpore. Главный пример в отчете, модель на 285 млрд параметров, активирует 17 млрд параметров на токен, поддерживает контекст в 1M токенов и прошла предобучение на 8,192 картах Ascend 910C из производственного кластера.

Младшую модель серии, Xing4.0-29B-A4B, авторы выложили в открытый доступ. Это смесь экспертов на 29 млрд параметров, на каждый токен работают только 4 млрд, а контекстное окно достигает 256K токенов. Модель целиком обучена на ускорителях Ascend с фреймворком MindSpore и сочетает MLA, MTP и гиперсвязи mHC.

В отчете много конкретных замеров. По данным авторов, новая схема внимания дает до 4.68 раза более быструю обработку входного текста, чем базовый вариант только с MLA, спекулятивное декодирование ускоряет генерацию в 2.67-3.77 раза, а отказ от конвейерного параллелизма добавляет 16.1% пропускной способности.

Для постобучения авторы представили TeleGym, единую платформу для агентских задач: она связывает выполнение, оценку и сбор траекторий с оптимизацией политики. Асинхронное выполнение, ограниченная передискретизация и частичные прогоны учитывают разную длительность задач и сохраняют непрерывность траекторий между обновлениями.

В нашей ленте о моделях: Tencent выпустила Hy4 flash: 224 млрд параметров для офисной работы по цене в несколько раз ниже флагмана и Модель Kimi K3 на 2.8 трлн параметров уместили в один сервер с воздушным охлаждением.

Все новости →

Ещё на USB.RU

Статьи →

Объяснения и инструкции

Справочники →

Термины и стандарты

Инструменты →

Проверки и практические материалы

Подготавливаем выбранный материал…

Продолжить чтение