AI и дата-центры
d-Matrix представила Squadron: кластеры ИИ-инференса до 1024 ускорителей Corsair
Публикация:
12 октября d-Matrix анонсировала Squadron: многорэковые системы для ИИ-инференса масштабируются до 16 стоек и 1024 ускорителей Corsair XPU и уже отгружаются приоритетным заказчикам.
12 октября d-Matrix анонсировала Squadron: линейку многорэковых систем для инференса ИИ-моделей в дата-центрах. Кластер масштабируется до 16 стоек SquadRack и объединяет до 1024 ускорителей Corsair XPU. Системы связаны фирменной сетью на контроллерах JetStream, за развёртывание отвечает софт Aviator.
Проект собран вместе с Arista, Broadcom и Supermicro. Кластер уже работает в собственном дата-центре d-Matrix в Аризоне на внутренних исследованиях, а поставки приоритетным заказчикам начались. Серверы Corsair и стойки SquadRack доступны для заказа. Кластеры с воздушным охлаждением построены на отраслевых стандартах, поэтому, по заявлению компании, встают в существующие дата-центры без жидкостного охлаждения и перестройки.
На открытии OCP Global Summit в Сан-Хосе глава d-Matrix Сид Шет показал на Squadron практический пример диз-агрегации Attention-FFN: вычислительные эксперты и FFN-слои выносились на стойки Corsair в связке с GPU-серверами. В компании утверждают, что такая связка выдавала 845 токенов в секунду на пользователя, а при 64 одновременных пользователях суммарная пропускная способность составила 20415 токенов в секунду.