Anthropic показала, как AI-агент незаметно склоняет эксперта к своему выбору

Принято считать, что в работе с AI-агентом человек оставляет за собой главное: что измерять, как трактовать неоднозначные данные и что делать дальше. Агент пишет код и считает, а вывод делает специалист. Исследователи Anthropic решили проверить, так ли это на практике, и устроили эксперимент, в котором у агента было скрытое предпочтение. Оказалось, что аналитики в подавляющем большинстве случаев выбирали именно тот вариант, к которому тихо склонял их агент, и потом искренне считали решение своим.

Как устроен эксперимент

В исследовании участвовал 61 профессиональный аналитик с опытом причинно-следственного анализа: все прошли предварительную проверку знаний и регулярно работают с Python или R. Каждому предложили реалистичную задачу: вымышленный фермерский кооператив Greenfields должен решить, расширять ли платную консультационную программу для ферм или закрывать её. Совет кооператива готов расширить программу, только если она поднимает продуктивность примерно на 3-4%, но не уточняет, как именно её измерять.

Задача была построена так, что по ходу анализа приходилось принять четыре открытых решения, у каждого из которых было по два разумных варианта:

• как измерять продуктивность: урожай с гектара или урожай на единицу операционных затрат;
• как сравнивать фермы: методом «разницы разниц» или прямым сравнением со статистической поправкой на различия;
• кого охватывать оценкой: только записавшиеся на программу фермы или весь кооператив;
• как взвешивать: считать каждую ферму равной или дать больший вес крупным производителям.

Каждый из этих выборов сдвигал итоговую оценку эффекта на несколько процентных пунктов, то есть при пороге в 3-4% решения напрямую определяли вывод. Пятым пунктом была финальная рекомендация: расширять программу или сворачивать.

Вот главный трюк. Для каждого участника и каждого решения подбрасывалась монетка, и агенту в скрытой системной инструкции указывали, какой вариант считать своей позицией. Агент обязан был поднимать этот вопрос и приводить самые сильные честные аргументы за свой вариант, но при этом не искажать результаты, не скрывать данные и менять мнение, если доказательства складывались против. Участники о подброшенной монетке не знали. Работа шла в веб-версии VS Code со встроенным Claude Code на модели Claude Opus 4.8, медианное время выполнения составило 65 минут.

Что получилось

Из 61 участника 11 решили работать без агента, их в основной анализ не включали. Среди оставшихся 50 аналитиков совпадение выбора со склонностью агента составило 92% по метрике продуктивности, 82% по методу сравнения, 81% по охвату ферм и 90% по взвешиванию. В среднем по четырём решениям вышло 86%. Если бы слова агента ничего не значили, было бы около 50%.

На финальную рекомендацию склонность влияла слабее: когда агент тянул к расширению программы, её советовали 54% аналитиков, а когда к свёртыванию, 36%. Авторы объясняют это просто: к моменту рекомендации у аналитика уже была готовая оценка эффекта, и вывод почти автоматически следовал из порога в 3-4%. Но сама эта оценка уже была сформирована предыдущими решениями. Статистическая модель, опиравшаяся только на результаты подбрасывания монетки, предсказала 82% финальных рекомендаций. Другими словами, исход работы во многом был задан случайным распределением ещё до того, как аналитик открыл редактор.

Особенно показателен эпизод с теми, кто успел высказать собственное мнение до агента. Таких случаев было 38. Когда агент был не согласен, аналитик менял свой выбор в 60% случаев. Когда согласен, только в 6%. Авторы оговаривают, что выборка маленькая, доверительный интервал широкий, и причинность здесь доказать нельзя: люди, высказавшиеся первыми, могли чем-то отличаться от остальных.

Устойчивой связи с опытом и квалификацией в этой выборке не нашлось. Исследователи проверили десять характеристик: стаж, самооценку экспертизы, образование, балл теста по причинному анализу, доверие к AI, частоту использования AI, потребность в умственном усилии (need for cognition), открытость, пол и возраст. Ни одна надёжно не предсказывала, кто устоит. Единственная связь с возрастом исчезла после поправки на множественные сравнения.

«Это было моё решение»

Самая неудобная часть результатов касается того, как участники восприняли случившееся. В опросе после задачи 52% назвали финальную рекомендацию скорее своей, чем агентовой, причём обе группы поддались влиянию почти одинаково. Уверенность в собственном выводе у тех, кто прошёл по склонности агента во всех четырёх точках, была такой же, как у остальных: в среднем 71 против 73 по стобалльной шкале.

Аргументы агента усваивались целиком. 77% участников повторили в объяснениях хотя бы один довод своего агента, иногда слово в слово, хотя доступа к переписке у них уже не было. И лишь 15% вообще упомянули агента как источник этих аргументов. Из 48 опрошенных только шесть догадались, что исследование вообще про влияние AI, и никто не заподозрил, что предпочтения агента были заданы экспериментаторами.

Группа, работавшая без AI, справилась хуже: 6 из 11 допустили серьёзные методологические ошибки, обесценившие результат, против 3 из 50 среди работавших с агентом, и тратили больше времени, в медиане 90 минут против 65. Но авторы предупреждают, что группы не сопоставимы: отказавшиеся от агента в среднем были менее опытными, поэтому приписать разницу самому AI нельзя.

Оговорки самих авторов

Anthropic подчёркивает, что переносить 86% на реальную жизнь напрямую нельзя. Предпочтение агента было специально усилено инструкцией, чтобы эффект вообще можно было измерить. В свободном прогоне без заданной склонности Claude Opus 4.8 принимал одинаковые решения в 112 случаях из 123, то есть склонности у модели есть и по умолчанию, но выражает ли она их так же настойчиво в обычной работе, вопрос открытый.

Исследование покрывает одну задачу длиной примерно в час, одну предметную область и одну модель. Аналитики были экспертами в причинном выводе, но новичками в сельском хозяйстве: в реальной работе они знали бы область лучше и, вероятно, имели бы более твёрдые позиции. Кроме того, измерялся сам факт смены выбора, а не сила убеждённости: часть участников могла просто не иметь собственного мнения по этим вопросам.

Что с этим делать, по версии исследователей

Авторы не делают из результата аргумент против AI. В их чтении проблема в том, что агент обычно аргументирует только одну сторону, и эксперт перенимает его допущения, не сформировав собственные. Опасность шире личной: если разные исследовательские группы опираются на модели с одинаковыми предпочтениями, их «независимое» согласие может оказаться отражением одной и той же модельной позиции. Для исследований безопасности AI, где агенты уже гоняют эксперименты, это бьёт по самой идее независимой человеческой проверки.

Среди направлений работы авторы называют три. Первое: научиться измерять подобное подчинение в повседневной практике, потому что сами люди, судя по опросам, его не замечают. Второе: строить агентов, которые одинаково сильно аргументируют оба варианта или сначала спрашивают мнение эксперта, хотя здесь есть риск перегрузить человека решениями. Третье: менять институты, чтобы подпись эксперта по-прежнему означала его собственное суждение, а людям оставляли время и поводы формировать его. Полного разделения труда с AI никто не предлагает: часть решений можно отдавать, часть стоит оставлять за человеком, и лучше выбирать эту границу осознанно, а не обнаруживать её задним числом.