Калькулятор VRAM: влезет ли LLM в вашу видеокарту
Прикиньте, сколько видеопамяти нужно для локального запуска языковой модели: веса, KV-кэш и запас под параметры, квантование и контекст.
Три вещи занимают видеопамять при локальном запуске языковой модели: веса, KV-кэш и служебный запас фреймворка. Калькулятор ниже складывает все три по простой формуле.
Как пользоваться
- Введите число параметров модели в миллиардах (7, 13, 32, 70).
- Выберите квантование: чем меньше бит, тем меньше модель, но ниже качество. 4 бита - разумный минимум.
- Укажите длину контекста: длинные диалоги и документы раздувают KV-кэш.
- Введите объём видеопамяти вашей карты - калькулятор скажет, влезет ли модель, и покажет запас.
Что означают результаты
Веса - чистый размер параметров. KV-кэш - память под обработанные токены, растёт с контекстом; считается в FP16, потому что кэш обычно не квантуют вместе с весами - при Q4 он занимает заметно большую долю, чем кажется из размера весов. Служебный запас 2 ГБ - фреймворк, CUDA-контекст и буферы. Если запаса нет или он отрицательный, модель либо не стартует, либо будет выгружать слои в оперативную память и работать медленно.
Дисклеймер
Оценка приблизительная: точный размер KV-кэша зависит от архитектуры модели (число слоёв, GQA-групп), а скорость генерации - от пропускной способности памяти, а не только от объёма. Для MoE-моделей введите общее число параметров, если все веса размещаются в видеопамяти. Активные параметры определяют вычисления на токен, но не объём всех загруженных весов. Выгрузка экспертов в оперативную память и размещение на нескольких устройствах требуют отдельного расчёта; этот калькулятор их не моделирует.