USB, кабели, питание и передача данных

ИИ-инфраструктура

NVIDIA описала, как снижает нагрузку на память при ИИ-инференсе

Публикация:

Редакция USB.RU

Компания связывает совместную настройку ускорителей, процессоров, сети, хранения и ПО с ростом пропускной способности на доллар. Для отдельных платформ она заявляет до 30-кратного преимущества на тесте SemiAnalysis AgentX; это результат и методика, представленные NVIDIA, а не независимая оценка USB.RU.

Иллюстрация платформы NVIDIA Vera Rubin NVL72 и её вычислительных модулей
Иллюстрация платформы Vera Rubin NVL72. Источник: NVIDIA.

В публикации от 5 ноября NVIDIA описала подход к нехватке памяти при запуске больших моделей и агентных систем. Вместо наращивания только HBM-памяти компания предлагает совместно настраивать GPU, CPU, сеть, накопители и программный стек, чтобы держать в самой быстрой памяти лишь наиболее востребованные данные.

Среди перечисленных приёмов — хранение весов в формате NVFP4, распределение модели между GPU в системе NVL72, перенос простаивающего контекста из HBM в более ёмкие уровни памяти и хранения, а также компактные RAG-векторы с индексом вне GPU. По описанию NVIDIA, её ПО Dynamo управляет переносом и повторным использованием KV-кэша, а процессор Vera помогает быстрее возвращать приостановленный контекст к ускорителям.

Для нагрузки SemiAnalysis AgentX DeepSeek V4 Pro NVIDIA заявляет, что GB300 NVL72 обеспечивает до 10 раз большую пропускную способность на доллар, чем H200, при целевом темпе 100 токенов в секунду на пользователя; объём HBM на GPU при этом примерно удваивается. На отметке 125 токенов в секунду на пользователя компания сравнивает Vera Rubin NVL72 с GB300 NVL72 и заявляет преимущество до 30 раз при росте HBM на GPU примерно на 3%. Это приведённые NVIDIA результаты конкретного теста, а не универсальная оценка для всех моделей и конфигураций.

Для операторов крупных ИИ-кластеров важен не один объём HBM, а стоимость полезных токенов при заданных энергопотреблении и времени ответа. Однако публикация не доказывает, что описанный эффект повторится на любой нагрузке: сравнение и его условия приведены NVIDIA. Дополнительный контекст — в материалах USB.RU о процессорах Vera и тестах агентной нагрузки и об экспериментальных агентах для эксплуатации GPU-кластеров.

Все новости →

Ещё на USB.RU

Статьи →

Объяснения и инструкции

Справочники →

Термины и стандарты

Инструменты →

Проверки и практические материалы

Подготавливаем выбранный материал…

Продолжить чтение