LiteLLM: свой шлюз между кодом и моделями

Если OpenRouter - это чужой посредник, то LiteLLM - свой. Self-hosted прокси, который превращает любой из сотни провайдеров в OpenAI-совместимый endpoint на вашей инфраструктуре. Код всегда говорит на одном диалекте, а за кулисами шлюз транслирует запросы кому скажете.

Зачем свой, когда есть чужой

Контроль. Логи остаются у вас - важно для regulated-отраслей и всех, кто не хочет светить промпты третьим лицам. Гибкость маршрутизации: правила вида «код - на дешёвую модель, рассуждения - на дорогую» задаются конфигом, а не кликами в чужом дашборде. Отказоустойчивость: фолбэки между провайдерами работают так же, как у агрегаторов, но политика - ваша. И учёт: шлюз считает траты по ключам, командам и проектам из коробки.

Что умеет из коробки

Трансляция форматов: Anthropic, Google, Bedrock, Azure - всё превращается в единый интерфейс. Балансировка и ретраи с экспоненциальной паузой. Кэширование одинаковых запросов - на повторяющихся промптах экономит заметно. Лимиты бюджета на ключ: junior-разработчик не сожжёт месячный бюджет за ночь. Плюс guardrails-хуки для модерации и PII-фильтров.

Граница применимости

Шлюз - это ещё один компонент, который надо деплоить, мониторить и обновлять. Для соло-разработчика с одним проектом это оверхед: проще взять готовый агрегатор. LiteLLM окупается, когда моделей много, команд несколько, а требования к данным и бюджету - взрослые. Типичный путь: старт на OpenRouter, переезд на свой LiteLLM, когда объёмы и compliance дозреют.

Ловушка «универсальности»

Единый интерфейс сглаживает различия моделей, но не убирает их: у каждой свои лимиты контекста, свои капризы в tool calling, свои цены на вход/выход. Шлюз не спасёт от необходимости знать, с чем работаете. Абстракция протекает - закладывайте это в архитектуру сразу.