Искусственный интеллект
Anthropic описала, как Claude Duet проверяет действия и защищает данные
Публикация:
Anthropic раскрыла дополнительные меры безопасности Claude Duet — проактивного агента, который может работать с подключёнными приложениями, пока пользователь не у экрана. Перед чувствительными действиями сервис показывает запрос на подтверждение, а отдельная проверка оценивает соответствие действия намерению пользователя.
Claude Duet может читать данные подключённых приложений, готовить ответы, выполнять поручения и запускать процедуры в фоновом режиме. Anthropic описывает новый набор мер для такого режима: агент должен остановиться перед отправкой чувствительного сообщения, оплатой или удалением и показать пользователю действие, адресата и содержание. После этого он ждёт явного одобрения.
Параллельно работает отдельная автоматическая проверка: она оценивает, соответствует ли действие запросу пользователя. По описанию компании, проверка выполняется вне модели, которая ведёт задачу, поэтому инструкции, спрятанные в прочитанной веб-странице, не должны менять её вердикт. Некоторые действия — например, перевод денег между счетами или доступ к чужим аккаунтам — запрещены даже при согласии пользователя.
Для сообщений Anthropic добавила классификатор, который ищет чувствительные сведения. Учётные данные, полные номера карт и банковских счетов, а также государственные идентификаторы агенту запрещено передавать; для других личных данных, включая медицинскую и финансовую информацию, требуется согласие. Компания также утверждает, что пароли, cookies и токены входа не попадают в память модели: они проходят через отдельные машины и браузерную среду.
Anthropic подчёркивает, что Claude Duet пока остаётся исследовательским превью. Защитные механизмы могут пропустить чувствительное сообщение или ошибочно заблокировать безвредное; компания продолжит настраивать классификатор и частоту запросов подтверждения. Поэтому описанные меры не следует считать гарантией безошибочной защиты: пользователю всё равно нужно проверять показываемое действие, получателей и данные перед одобрением.