AI и дата-центры
NVIDIA Vera Rubin вышла в облако Oracle: стойки NVL72 и процессоры Vera стали общедоступны в OCI
Публикация:
Oracle и NVIDIA планируют расширить суперкластеры OCI с системами Vera Rubin NVL72 до мультигигаваттного масштаба.
NVIDIA и Oracle объявили о всеобщей доступности в Oracle Cloud Infrastructure систем Vera Rubin NVL72 и процессоров Vera. Одновременно компании заявили о планах расширить суперкластеры OCI на базе Vera Rubin NVL72 до мультигигаваттного масштаба: спрос на обучение, инференс и агентные приложения растет.
Суперкластеры OCI собирают из стоек NVL72, сети Oracle Acceleron и сети NVIDIA Spectrum-X Ethernet с коммутаторами Spectrum-6 и процессорами BlueField-4, а питание и охлаждение рассчитаны на гигаваттный класс. Каждая стойка соединяет 72 графических процессора через сеть NVLink, а общая сеть OCI масштабируется на сотни тысяч графических процессоров. За основу расширения берут уже работающую в OCI инфраструктуру на базе GB200 и GB300 NVL72.
Кроме стоек, OCI планирует представить HGX Rubin NVL8: конфигурацию на восемь графических процессоров Rubin с сетью NVLink в сервере на базе x86. Платформа получит два 64-ядерных процессора Intel Xeon 6, 4 ТБ памяти DDR5 и сеть RDMA на 6.4 Тбит/с. Такая конфигурация дает меньший, чем стойка, вариант развертывания для обучения, дообучения и инференса при сохранении совместимости с приложениями на x86.
Процессоры Vera в OCI адресованы работе агентов: между вызовами модели агенты вызывают инструменты, выполняют код и извлекают данные, и медленное выполнение этих операций заставляет графические процессоры ждать. В OCI отмечают высокую однопоточную производительность Vera и пропускную способность памяти, которые помогают быстрее выполнять вызовы инструментов и код, а Kubernetes Engine в OCI позволяет масштабировать процессоры и графические процессоры независимо. Сеть Acceleron при этом дает аппаратную изоляцию для рабочих нагрузок с кодом, сгенерированным ИИ. OpenAI входит в число заказчиков с ранним доступом к Vera в OCI: компания переводит Vera в промышленную эксплуатацию для выполнения кода и инструментов в агентных песочницах. О снижении характеристик Vera Rubin мы писали ранее: снижении характеристик Vera Rubin. Модульный дизайн DSX POD для ИИ-фабрик на платформе Vera Rubin мы тоже описывали: модульный дизайн DSX POD.