AI и дата-центры
В Уппсале предложили раздавать веса моделей по оптике вместо копий в HBM
Публикация:
Исследователи Уппсальского университета предложили Optical Broadcast Memory: центральный сервер рассылает веса моделей по оптическому волокну, а ускорители забирают сигнал на лету, без копий в собственной памяти. В симуляции кластера из 80,000 ускорителей экономия HBM достигает 82%.

12 ноября исследователи Уппсальского университета выложили на arXiv статью об Optical Broadcast Memory, или OBM. Идея такая: веса языковых моделей одинаковы для всех запросов и не меняются во время работы, поэтому хранить их копией на каждом ускорителе незачем. Вместо этого центральный сервер непрерывно рассылает веса по оптическому волокну, а ускорители снимают нужный сигнал прямо из потока через приёмную оптику, встроенную в корпус чипа. Каждому ускорителю волокно отдаёт 3.2 ТБ/с, сравнимо с 3.35 ТБ/с у HBM3 в H100. Локальная память при этом остаётся только под KV-кэш и промежуточные данные.
Считали авторы кластер из 80,000 ускорителей: 10,000 шасси по 8 ускорителей. В базовом варианте каждый ускоритель несёт 128 ГБ HBM3e. Всего получается 10.24 ПБ памяти, и почти вся она занята копиями весов. OBM убирает эти копии, а для трёх моделей экономия получилась разной: Llama 3.1 405B теряет 4.05 ПБ, или 40% HBM, Llama 4 Maverick - 4.00 ПБ, или 39%, а DeepSeek V4 Pro - 8.44 ПБ, или 82%.
Скорость при этом почти не падает, а в одном случае даже растёт. У Llama 3.1 405B пропускная способность составила 0.96 от базовой, у Llama 4 Maverick - 0.97, у DeepSeek V4 Pro - 1.57. Энергия на токен тоже ниже базовой: у первых двух моделей 0.90, у DeepSeek 0.58. Правда, интервал между токенами у DeepSeek чуть вырос: с 39.9 до 41.4 миллисекунды.
Оценка касается только декодирования, стадии, которая выдаёт токены по одному, и не включает ни чтение входного запроса, ни обучение. Главный выигрыш, 1.57, сильно зависит от того, с чем сравнивать: если базовому ускорителю дать 192 ГБ памяти, пропускная способность DeepSeek падает до 0.96, а энергия на токен составляет 0.80 от базовой. Усилитель MC-PDFA, который должен усиливать сигнал сразу во всех жилах оптоволокна, пока существует только на бумаге: в расчётах использованы характеристики обычных одножильных усилителей. И ещё одна оговорка: когда 80% токенов приходятся на одного эксперта, ускоритель не успевает согласовывать приход весов с обработкой, а дублирование популярных экспертов авторы оставили на будущее. А в кольцевой схеме, от которой OBM отказывается, регенератор сигнала нужен каждые 450 км, после девяти отрезков волокна по 50 км.
OBM развивает прошлую работу той же группы, где веса крутились по замкнутому оптическому кольцу. Кольцо пришлось открыть: его длина росла вместе с моделью, а запас под переменную длину контекста закладывался один раз, при постройке. Новая схема вместо кольца использует открытую линию: магистраль и шину внутри каждого пода, с отводами сигнала и усилителями, а длина линии зависит уже от расстояния до устройств, а не от размера модели.