5 материалов

Справочники

AI-инфраструктура

Веса и квантование

Параметры модели занимают память. Меньшая разрядность снижает объём весов, но не описывает всю память запуска.

Условные 8 млрд параметров по 4 бита занимают 4 ГБ только для весов; KV-кэш, буферы и служебные данные требуют дополнительной памяти. — Идеальные упакованные веса: 8 млрд × 4 бита / 8 = 4 ГБ в десятичных единицах. Полная память для запуска больше.

Форматы: Например, 16, 8 или 4 бита
Дополнительно: Буферы и данные выполнения

Подробнее

Поместится ли AI-модель в память: сначала посчитайте веса, затем запас ↗Документация источника ↗

Подготавливаем выбранный материал…