Ответила ли та модель, за которую вы заплатили? Anthropic открыла FlashProve

Вы выбрали дорогую модель, получили хороший ответ, но как убедиться, что посредник не заменил её более дешёвой? По стилю текста надёжно установить это нельзя. Anthropic 2 ноября выпустила FlashProve, открытый исследовательский прототип, который позволяет проверить соответствие ответа конкретным весам модели, не раскрывая сами веса.

У этой проверки есть цена. В опубликованных измерениях построение доказательств требует примерно в 70-95 раз больше GPU-времени, чем обычный запуск модели. Это не готовый переключатель в Claude и не бесплатная страховка для каждого сообщения. Но у проверки происхождения AI-ответов появился доступный для изучения работающий прототип.

Проверяется модель, а не правдивость ответа

Сначала поставщик публикует криптографическое обязательство, которое привязывает его к одному набору весов. Затем к результату вычислений строится доказательство. Получатель может проверить его на CPU, не имея доступа к весам и не запуская у себя большую модель.

FlashProve использует zkSNARK: компактное криптографическое доказательство с нулевым разглашением. Оно позволяет проверить заявленное вычисление, не раскрывая секретные веса. Архитектура модели при этом не скрывается.

Такой механизм отвечает на узкий вопрос: мог ли проверяемый результат быть получен зафиксированной моделью при заданном входе. Он не устанавливает, правдив ли ответ, безопасен ли совет и качественно ли модель решила задачу. Ошибочный ответ тоже может иметь корректное доказательство происхождения.

Доказательство на H100, проверка на обычном процессоре

Anthropic проверяла систему на Llama 4 Maverick: модели с 400 млрд параметров, из которых на один токен используются около 17 млрд. Для опыта взяли публичную 4-битную версию весов и целочисленную арифметику. Рабочее окно ограничено 1024 токенами.

Сервер с одной H100 и 24 ядрами CPU строит доказательства для батча из 24 запросов примерно за 223 секунды. Компания указывает производительность около 110 токенов в секунду. Это скорость построения доказательств по уже готовому тексту, а не скорость генерации ответа пользователю.

Размер одного доказательства составляет 18,78 МБ. Его проверка занимает 17 секунд на 24 потоках CPU или 21 секунду на одном потоке. Дополнительно проверяющему нужен опубликованный материал обязательства объёмом около 6,5 МБ. Это заметно легче самостоятельного запуска большой модели, но к каждому ответу добавляются трафик и время ожидания.

Оценка накладных расходов в 70-95 раз получена в сравнении с vLLM, который запускал FP8-версию той же модели на восьми H100. Это не замер на двух полностью одинаковых конфигурациях. FlashProve проверяет вычисления после их выполнения, поэтому доказательство может прийти позже самого ответа.

Открытый код не означает готовый сервис

Выпуск включает код построения и проверки доказательств, описание протокола, технический отчёт и формализацию на Lean. Код, доказательства и документация опубликованы под Apache 2.0. В репозитории прямо указано: это исследовательский материал, он не сопровождается, а внешние изменения не принимаются.

Есть и граница формальных гарантий. Для протокола подготовлены машинно проверяемые утверждения на Lean и более медленный исполняемый проверяющий модуль на этом языке. Быстрый C++-модуль такой формальной гарантии не имеет: Anthropic сообщает, что в тестах он соглашался с Lean-версией. Соответствие исполняемого кода доказанному протоколу всё равно требует аудита.

Само доказательство относится к точной целочисленной модели и жадному декодированию, при котором выбирается наиболее вероятный следующий токен. Ответ обычной реализации с плавающей точкой или случайным выбором токенов может отличаться и не совпасть с доказываемым вычислением. Длинные диалоги за пределами текущего окна система также пока не покрывает.

Управление рисками AI не сводится к выбору модели: Microsoft предлагает отделять контроль агентов от самих моделей, а OpenAI повысила выплаты независимым исследователям уязвимостей. FlashProve добавляет другой слой: проверку того, какие именно веса участвовали в вычислении.

Прототип интересен там, где одной репутации поставщика недостаточно: при тестировании моделей, работе через посредника и независимом аудите. Чтобы превратить его в повседневную проверку AI-сервисов, предстоит снизить стоимость, расширить контекст и сократить разрыв между доказанным протоколом и быстрым кодом. Пока это инструмент исследования происхождения ответа, а не сертификат его качества.