Langfuse: чёрный ящик для LLM-приложения

LLM-фича ушла в прод. Дальше два вопроса, на которые текстовые логи не отвечают: что она там наговорила и сколько это стоило. Langfuse - open-source платформа (MIT-ядро, вышла из YC W23, в 2026-м её купила ClickHouse), которая пишет каждый вызов модели в структурированный трейс.

Как это работает

Инструментируете код SDK - Python или JS. Либо цепляете готовые интеграции: LangChain, LlamaIndex, OpenAI SDK, LiteLLM, Vercel AI SDK. Каждый вызов превращается в трейс с иерархией спанов: ретрив, вызовы инструментов, шаги агента. Внутри - модель, промпт, ответ, токены, задержка, стоимость. В веб-UI трейсы ищутся и фильтруются. Упал кейс - открываете его в LLM Playground и итерируете промпт прямо из трейса, без переключения контекста.

Отдельная сущность - промпты. Они версионируются отдельно от кода: правите текст в UI, выкатываете без редеплоя, гоняете A/B-тесты вариантов.

Трейсинг и промпты

Self-host за пять минут - главный аргумент. Docker Compose поднимает Postgres для метаданных и ClickHouse для аналитики; ядро под MIT, то есть честно бесплатное, без припрятанных фич за paywall. Второй сильный ход - связка "трейс - промпт - эвал": продовые трейсы одним кликом становятся элементами датасета, и на них считаются LLM-as-judge эвалы. Получается замкнутый цикл: наблюдаете, правите, измеряете. В облаке при этом щедрый бесплатный тариф - 50 тысяч событий в месяц.

Подводные камни

Трейсинг не бесплатен по производительности: в бенчмарках оверхед около 15%. На горячих путях - считайте. Self-host на scale превращается в операционную работу: база растёт быстро, без ретеншн-политики утонете в данных. Enterprise-фичи вроде SSO, RBAC и аудит-логов вынесены в отдельную коммерческую лицензию. Облако стартует с $29 в месяц, но счёт растёт вместе с объёмом событий - за лимитами следите. И держите в голове границу: Langfuse - только про LLM-слой. Мониторинг инфраструктуры (CPU, очереди, диски) ему не поручишь.

Кому подходит

Командам, которым нужна LLM-наблюдаемость без привязки к вендору и с опцией self-host - например, под требования data residency. А вот если хочется "всё в одном" вместе с инфраструктурным мониторингом - это не сюда. И если у вас сто вызовов в день, хватит обычных логов. Ставить Langfuse стоит, когда промпты меняются чаще раза в месяц, а счёт за API уже не помещается в голове.