Meta переводит фабрики ИИ Vera Rubin на коммутаторы NVIDIA Spectrum-6: 102.4 Тбит/с Ethernet

Meta и NVIDIA объявили на OCP Global Summit, что Meta внедряет Ethernet-коммутаторы NVIDIA Spectrum-6 с пропускной способностью 102.4 Тбит/с для строительства более крупных и производительных фабрик ИИ NVIDIA Vera Rubin на открытой сети. Meta Platforms Inc. включена в перечень организаций, признанных в Российской Федерации экстремистскими; её деятельность по реализации Facebook и Instagram запрещена в РФ. Один из крупнейших гиперскейлеров переносит сетевой уровень своих фабрик ИИ на новое поколение Ethernet-коммутации NVIDIA.

Spectrum-6, по данным NVIDIA, дает вдвое большую коммутационную емкость и пропускную способность на линию, чем предыдущее поколение Spectrum-4. Это безпотерьный Ethernet-фабрик для ИИ на 200 Гбит/с на линию с высокой эффективной пропускной способностью и изоляцией производительности: трафик одной задачи не замедляет остальные. Коммутатор Meta под названием N-IceCube, построенный на Spectrum-6, встает в IcePack, жидкостно-охлаждаемую сетевую стойку Meta класса 100T, и работает под управлением Facebook Open Switching System (FBOSS), открытой сетевой операционной системы Meta, внесенной в проект OCP. FBOSS построен на Switch Abstraction Interface, открытом стандарте OCP, в разработке которого участвовала NVIDIA, поэтому Meta может запускать один и тот же программный стек на коммутаторах разных производителей.

В основе сотрудничества лежит технология Spectrum-X Multiplane: она аппаратно распределяет трафик GPU по восьми независимым сетевым плоскостям. По заявлению NVIDIA, это позволяет масштабировать фабрики ИИ за пределы 100,000 GPU с меньшим числом уровней коммутаторов и меньшими затратами на инфраструктуру. Несколько путей между GPU повышают загрузку сети и отказоустойчивость: при выходе компонента из строя трафик переходит на оставшиеся плоскости, и GPU продолжают работать, пусть и на сниженной пропускной способности.

Все цифры приводит NVIDIA в своем блоге по итогам OCP Global Summit; независимых измерений производительности Spectrum-6 пока не существует. Сроки поставок коммутаторов N-IceCube и масштабы развертывания Meta не раскрывает: речь идет о планах внедрения, а не о работающей инфраструктуре. Омар Балдонадо (Omar Baldonado), старший директор Meta по сетям дата-центров и ИИ, заявил, что перенос FBOSS на чипы Spectrum позволит компании запускать единый программный стек на всех фабриках, а N-IceCube вводит его в IcePack, жидкостно-охлаждаемую сетевую стойку 102.4T для scale-out, которая соединит будущие поколения ускорителей в парке компании.