AI и дата-центры
Google представила TPU 8tx и TPU 8i Max: четыре системы восьмого поколения за один год
Публикация:
Google расширила линейку ускорителей восьмого поколения: TPU 8tx защищает данные на аппаратном уровне, а TPU 8i Max удваивает вычислительную мощность и память TPU 8i на одном корпусе.

В начале ноября Google представила две новые системы восьмого поколения TPU: TPU 8tx для конфиденциального инференса и TPU 8i Max для задач с огромными контекстными окнами. Вместе с апрельскими TPU 8t и TPU 8i это четыре новые системы за один год, впервые в истории линейки.
TPU 8tx построен на том же кремнии, что и TPU 8t, и работает в паре с хостами на процессорах AMD EPYC пятого поколения. Защита вшита в аппаратный уровень: данные и веса моделей остаются изолированными даже во время обработки. Сеть Boardfly, созданная для TPU 8i, снижает задержку до 2 раз по сравнению с TPU 8t при почти нулевой потере производительности.
TPU 8i Max объединяет два чипа TPU 8i в одном корпусе: вдвое больше вычислений, вдвое больше SRAM и вдвое выше пропускная способность HBM, чем у TPU 8i. При этом система занимает ту же стойку, что и раньше, поэтому на той же площади и при той же мощности дата-центр получает заметно больше вычислений.
Google называет TPU быстрорастущим бизнесом: сейчас у компании почти 100 заказчиков, среди них лаборатории, торговые фирмы, ретейлеры и университеты. В том же анонсе Google открыла исходный код TPU Sync: слой сокращает задержку передачи KV-кэша и время до первого токена более чем на 90%. Цены и сроки поставок Google в анонсе не назвала. Ускорители для дата-центров сейчас выходят один за другим: AMD готовит свои серверные ускорители, а Cornelis показала новый оптический интерконнект.