Локальные модели без облака: Ollama и LM Studio

Не всё нужно гнать в облако: приватные данные, офлайн-работа и просто желание не платить за каждый токен - поводы запускать модели дома. Два главных инструмента - Ollama и LM Studio.

Ollama: модели как команда в терминале

Философия Ollama - «docker для моделей»: одна команда ollama run llama3 скачивает веса и поднимает сервер с OpenAI-совместимым API. Модели хранятся в реестре с версиями, квантование выбирается суффиксом. Сильная сторона - скриптуемость: встраивается в пайплайны, работает на сервере без GUI. Слабая - для тонкой настройки и экспериментов интерфейс бедноват.

LM Studio: лаборатория с интерфейсом

LM Studio - десктопное приложение: каталог моделей, загрузка в один клик, чат для проб, сервер для API. Удобно подбирать модель и квантование глазами: видно, сколько памяти съест каждый вариант, прежде чем запускать. Для знакомства с локальными моделями - лучший старт.

Что тянет домашнее железо

Ориентиры: 8 ГБ VRAM - модели до 8B в 4-битном квантовании. 16 ГБ - 14B комфортно. 24 ГБ - 32B. 70B в 4 битах - от 48 ГБ. На unified memory (Apple Silicon) границы мягче: решает объём общей памяти. Скорость генерации упирается в пропускную способность памяти, а не в её объём - быстрая 16 ГБ карта может генерировать шустрее медленной 24 ГБ.

Когда локалка выигрывает у API

Приватность: данные не покидают машину - для юристов и медиков аргумент решающий. Экономика: при постоянной нагрузке своя карта окупается за месяцы против счетов за токены. Офлайн: самолёт, дача, бункер. Проигрывает: в пиковом качестве топовых облачных моделей и в мультимодальности - локальные флагманы отстают на поколение.

С чего начать

Поставьте LM Studio, скачайте 8B-модель в Q4, погоняйте свои задачи. Если понравилось - переходите на Ollama для постоянки. И честно замерьте: для скольких ваших задач хватает локальной модели, а где всё-таки нужен облачный флагман.