Сколько видеопамяти нужно для локального запуска LLM: гид по VRAM, квантованию и KV-кэшу
Для запуска языковой модели оцените память для весов, KV-кэша и служебных данных. Требуемый объём зависит от модели, контекста и программы.
Содержательная правка руководства опубликована 28 октября 2026 года.
При запуске языковой модели память занимают веса, KV-кэш и служебные данные программы. Необходимый запас зависит от модели, контекста и программы запуска.
Веса: параметры умножить на байты
Размер весов можно приблизительно оценить по числу параметров и точности их хранения. Для модели с 7 миллиардами параметров AWS приводит оценку около 14 ГБ при FP16 и 3,5 ГБ при четырёхбитном представлении. Это оценка весов, а не всего потребления памяти. Оценка AWS.
Квантование уменьшает объём представления весов, но его влияние на качество и скорость зависит от метода, модели, оборудования и задачи. Hugging Face рекомендует проверять выбранный вариант на своей задаче.
KV-кэш: дополнительная память
При генерации KV-кэш сохраняет ранее вычисленные ключи и значения внимания. Его размер зависит от длины контекста, архитектуры модели, числа запросов и точности хранения. Как работает KV-кэш.
Некоторые программы поддерживают квантование KV-кэша для экономии памяти. Доступность и влияние на производительность зависят от реализации; выбранную конфигурацию следует проверить на своей задаче. Варианты кэша.
Служебный запас и практика
Помимо весов и KV-кэша, память расходуется на рабочие данные программы. Единого запаса для всех моделей и программ нет: проверяйте пиковое потребление для вашей конфигурации.
Для модели с 70 миллиардами параметров при условных 4 битах на параметр AWS оценивает объём одних весов примерно в 35 ГБ. Целиком такие веса не поместятся в 24 ГБ видеопамяти. При поддержке программы часть модели может размещаться в оперативной памяти; объём и скорость зависят от модели и конфигурации. llama.cpp описывает гибридный запуск на CPU и GPU.
На компьютерах Apple с unified memory процессор и графическая подсистема используют общую физическую память. Доступный для модели объём зависит от устройства и других работающих программ. Общая память Apple silicon.
Объём и скорость памяти
Объём видеопамяти определяет, какие данные могут в ней разместиться. Пропускная способность памяти влияет на скорость генерации, но итог зависит также от модели, оборудования и реализации; сравнивайте подходящие конфигурации на своей задаче. Роль пропускной способности памяти.