AI и дата-центры
DiffuSpace открыла диффузионную модель Clover-35B-A3B-Preview: текст блоками по 32 токена вместо токена за токеном
Публикация:
Первая модель DiffuSpace генерирует текст параллельными блоками, а не по одному токену, и на тестах компании обходит Qwen3.6-35B-A3B при скорости 680 токенов в секунду на одной GB300.
DiffuSpace выпустила Clover-35B-A3B-Preview, свою первую модель, 28 октября. Это текстовая диффузионная модель на смеси экспертов: всего 35 млрд параметров, из них активны около 3 млрд на токен, а контекст достигает 131,072 токенов.
Отличие от обычных языковых моделей в способе генерации: Clover начинает каждый блок с замаскированных токенов и заполняет параллельно те позиции, в которых уверена, а размер блока по умолчанию равен 32. Контекст модели составляет 128K токенов для запроса и ответа вместе.
В агентских тестах самой компании Clover набрала 73.6 на SWE-bench Verified и 51.7 на Terminal-Bench 2.1, обойдя LLaDA2.2 flash, Mercury 2.5 и Qwen3.6-35B-A3B того же размера. В общем тесте GPQA Diamond результат составил 83.8.
Скорость тоже измерена компанией: 680 токенов в секунду на одной GB300 и 515 токенов в секунду на H200 в агентских задачах, против 365 токенов в секунду у схемы с ускорением DFlash2. Веса модели открыты по лицензии Apache 2.0, для локального запуска в BF16 нужно около 69 ГБ памяти.