AI и дата-центры
NVIDIA открыла чертежи стоек Vera Rubin: MGX 1.2, коммутаторы Spectrum-6 и переход Meta
Публикация:
На саммите OCP NVIDIA отдала сообществу конструкции стоек и вычислительных лотков Vera Rubin, обновила открытую архитектуру MGX до версии 1.2 и объявила, что Meta переходит на её Ethernet-коммутаторы Spectrum-6 на 102,4 Тбит/с.
NVIDIA на саммите OCP Global Summit в Сан-Хосе 13 октября передала Open Compute Project конструкции стоек и вычислительных лотков платформы Vera Rubin через открытую архитектуру MGX. Обновлённая спецификация MGX 1.2 добавляет жидкостное охлаждение с blind-mate подключением на уровне стойки, шину питания с жидкостным охлаждением, нативную поддержку 19-дюймового оборудования и безвентиляторные вычислительные лотки с жидкостным охлаждением. Мощность стоек - до 250 кВт.
Отдельная спецификация описывает стойку на процессорах Vera для агентного ИИ: вызов инструментов, оркестрация и изолированное выполнение кода. NVIDIA также открыла исходный код компонентов программной платформы DSX AI Factory: Config Manager, Cluster Readiness Engine, Rack Management Service и Cluster API Provider for NVIDIA Infrastructure Controller.
Вместе с AMD, Google и Meta компания опубликовала открытую спецификацию Open Data Center Specification. Meta Platforms Inc. включена в перечень организаций, признанных в Российской Федерации экстремистскими; её деятельность по реализации Facebook и Instagram запрещена в РФ. Спецификация задаёт единый чертёж AI-фабрики от архитектуры питания до охлаждения и физической компоновки. Отдельная спецификация отказоустойчивости электросети от Google, Meta, Microsoft и NVIDIA требует, чтобы инфраструктура после сбоев в сети восстанавливала почти полную нагрузку менее чем за две секунды.
Meta переходит на Ethernet-коммутаторы NVIDIA Spectrum-6 на 102,4 Тбит/с для своих AI-фабрик на Vera Rubin. Spectrum-6 даёт вдвое большую коммутационную ёмкость и пропускную способность на линию, чем Spectrum-4, и строит безпотерьный Ethernet-фабрик на 200G на линию. Коммутатор Meta N-IceCube на Spectrum-6 встанет в её 100T-стойку IcePack с жидкостным охлаждением и будет работать под открытой сетевой ОС FBOSS.
Технология Spectrum-X Multiplane на коммутаторах Spectrum-6 и SuperNIC ConnectX-9 распределяет трафик GPU в железе по восьми независимым сетевым плоскостям: AI-фабрики масштабируются за 100 000 GPU с меньшим числом уровней коммутаторов. Google добавит поддержку транспорта Falcon в будущие SuperNIC ConnectX-10 и DPU BlueField. Компания Visionbay показала платформу K-1 - AI-фабрику на архитектуре 800 VDC, спроектированную под эпоху Vera Rubin совместно с Vertiv.