USB, кабели, питание и передача данных

AI-инфраструктура

Kimi K3.1 Pro получила поддержку AMD Instinct через ATOM и vLLM

Публикация:

Редакция USB.RU

AMD заявила о поддержке Kimi K3.1 Pro с первого дня: ATOM запускает модель на Instinct MI350 Series, а vLLM — на Instinct MI355X. Компания описала конкретные программные стеки и тестовую конфигурацию.

Официальная заставка AMD о запуске Kimi K3.1 Pro на AMD GPU
Kimi K3.1 Pro на AMD Instinct. Изображение: AMD.

4 ноября AMD опубликовала техническое описание запуска Kimi K3.1 Pro на ускорителях Instinct. Для ATOM, собственного движка инференса AMD, компания заявляет поддержку модели с первого дня на Instinct MI350 Series через ROCm с ядрами AITER и FlyDSL.

Отдельно описана работа через vLLM на Instinct MI355X: AMD указывает использование выпущенного чекпойнта MXFP4 и черновой модели DSpark для спекулятивного декодирования. Это не общая совместимость со всеми GPU AMD, а поддержка на названном поколении ускорителей и в перечисленных стеках.

Для проверки ATOM AMD использовала конфигурацию из восьми Instinct MI355X в контейнере разработки ROCm с изменениями для Kimi K3.1. Компания предупреждает, что результаты зависят от аппаратуры, версий ПО, настроек и рабочей нагрузки и не являются гарантией производительности.

Поддержка расширяет выбор инфраструктуры для команд, разворачивающих открытую модель на ускорителях AMD, но требует проверить совместимость конкретной карты и программного стека. Ранее USB.RU рассказывал о модели Kimi и об обновлениях программного стека для GPU NVIDIA. Показатели в статье AMD — результаты её собственной тестовой конфигурации, а не независимый сравнительный тест.

Все новости →

Ещё на USB.RU

Статьи →

Объяснения и инструкции

Справочники →

Термины и стандарты

Инструменты →

Проверки и практические материалы

Подготавливаем выбранный материал…

Продолжить чтение