d-Matrix показала AFD на OCP: задержка токена упала с 2.59ms до 1.28ms

Идея AFD опирается на разную природу вычислений в MoE-моделях: attention упирается в пропускную способность памяти, а экспертные FFN-слои в вычисления. d-Matrix разнесла их по разному железу: attention остался на H100 с ее HBM3 около 3.35TB/s, а эксперты уехали на Corsair, где внутричиповая SRAM дает заявленные 150TB/s, примерно в 45 раз больше. Обратная сторона: у H100 на борту 80GB памяти, а у каждой карты Corsair всего 4GB SRAM, поэтому веса экспертов раскладываются по 64 картам стойки SquadRack с суммарными 256GB.

Замеряли на GPT-OSS-20B: всего 20.9 миллиарда параметров, из них 19.12 миллиарда в 32 экспертных блоках, на токен активны около 3.6 миллиарда. Время на токен: 2.59ms на одиночной H100 против 1.28ms в связке, снижение на 50.6%. Отдельный замер пропускной способности дал 845 токенов в секунду на пользователя; в материалах компании есть и 20,415 токенов в секунду на 64 пользователях, но 845 на 64 это примерно 54,000, а не 20,415: похоже, цифры сняты в разных конфигурациях, и сводить их в один бенчмарк нельзя. Плюс заявленное 10-кратное ускорение обработки LM-head.

Ограничения в разборе TechTimes названы честно. AFD работает только для MoE-архитектур: для плотных трансформеров выгоды нет, это следует из академической работы Georgia Tech, Intel, Google и Google DeepMind. Стек проприетарный: нужны компилятор Aviator и сетевые карты JetStream с пропускной способностью 400Gbps на кластер, с обычным CUDA-тулчейном и RoCE они не взаимозаменяемы. Связка H100 и Corsair общается через 24 прохода без участия CPU на каждый прямой проход 24-слойной модели. Squadron уже отгружается приоритетным заказчикам, а XPU следующего поколения Raptor намечен на конец 2027 года.