Для условной модели с 8 миллиардами параметров представление по 4 бита даёт 4 миллиарда байтов на сами значения: 8 × 10⁹ × 4 / 8. Это около 4 ГБ, или 3,73 ГиБ. Такой расчёт не означает, что вся модель запустится в 4 ГБ свободной памяти.
Что находится за пределами оценки весов
Нужны данные формата квантования, служебные структуры, рабочие буферы и память контекста. Расход также зависит от реализации и числа одновременно обрабатываемых запросов. У некоторых архитектур распределение памяти отличается; одного числа параметров недостаточно.
Hugging Face описывает варианты квантования. Название «4-битная» нельзя трактовать как точное равенство всего файла произведению параметров на половину байта.
Какие сведения собрать до выбора
- Точную модель и редакцию весов.
- Формат и вариант квантования.
- Поддерживающую среду выполнения.
- Контекст и размер одновременно обрабатываемой группы запросов.
- Доступную память GPU или единой памяти.
- Допустимость размещения части данных в системной памяти.
Часть системы, выгруженная в RAM, меняет условия работы и возможную скорость. Ответ «да, с выгрузкой» без поддержки этого режима в выбранной среде преждевременен.
Проверять нужно рабочую задачу
Загрузка весов является только первым этапом. Длинный документ или другой размер контекста может изменить расход памяти. Для оценки полезнее короткая последовательность: загрузка, обычный вход, максимальный предполагаемый вход и повторная задача.
Объём памяти сам по себе не позволяет предсказать скорость. Две системы с одинаковой ёмкостью могут иметь разные вычислительные возможности и условия передачи данных.
Результат предварительной оценки
Запишите нижнюю арифметическую оценку весов, недостающие параметры и условия будущей проверки. При неполных данных корректный ответ: «запуск не установлен».
Продолжение: внешняя видеокарта для AI, расходы API-моделей.