5 материалов

Справочники

AI-инфраструктура

Выгрузка весов в CPU

Часть весов может храниться в оперативной памяти, а часть — на ускорителе. Формат хранения и режим выполнения зависят от реализации.

Веса A находятся в RAM компьютера, веса B — в VRAM видеокарты. Обмен через PCIe добавляет задержку; ускорение не гарантировано. — Offload распределяет разные части весов между RAM и VRAM. Доли показаны условно; обмен через PCIe влияет на скорость.

Память: Учитывайте отдельно RAM и память GPU
Проверка: Документация библиотеки и конфигурация

Подробнее

Поместится ли AI-модель в память: сначала посчитайте веса, затем запас ↗Документация источника ↗

Подготавливаем выбранный материал…