USB, кабели, питание и передача данных

Инфраструктура

NVIDIA выпустила рецепты Dynamo для четырёх корейских ИИ-моделей

Публикация:

Редакция USB.RU

Готовые конфигурации предназначены для развёртывания четырёх открытых моделей на ускорителях B200; оценку прироста производительности приводит сама NVIDIA.

Иллюстрация NVIDIA: серверные стойки и контур Южной Кореи с государственным флагом
Иллюстрация к публикации NVIDIA о корейских моделях и инфраструктуре ИИ. Источник: NVIDIA.

8 ноября NVIDIA опубликовала рецепты развёртывания, оптимизированные для Dynamo, для четырёх открытых моделей из Южной Кореи: A.X K2 от SK Telecom, K-EXAONE 2.0 от LG AI Research, Solar Open 2 от Upstage и Motif-3 от Motif Technologies.

NVIDIA Dynamo — открытая программная система для обслуживания инференса в распределённых многоузловых средах. Такие конфигурации нужны, когда модель размещают сразу на нескольких ускорителях и узлах: инфраструктуре приходится распределять запросы и обмен данными между ними.

Рецепты подготовлены для ускорителей NVIDIA B200. NVIDIA заявляет, что они дают до двукратного прироста производительности «из коробки» и упрощают настройку развёртывания. Это оценка производителя; в публикации нет независимого сравнения производительности.

Практическая польза относится прежде всего к командам, которые развёртывают одну из этих четырёх моделей на B200: им доступны готовые исходные конфигурации для Dynamo. Результат нельзя автоматически переносить на другие модели и ускорители. О типах GPU и NPU можно прочитать в справочнике по ИИ-ускорителям; сетевые соединения в стойках разобраны в гиде по интерконнектам ИИ-кластеров.

Иллюстрация NVIDIA: серверные стойки и контур Южной Кореи с государственным флагом
Иллюстрация к публикации NVIDIA о корейских моделях и инфраструктуре ИИ. Источник: NVIDIA.

Все новости →

Ещё на USB.RU

Статьи →

Объяснения и инструкции

Справочники →

Термины и стандарты

Инструменты →

Проверки и практические материалы

Подготавливаем выбранный материал…

Продолжить чтение