AI и дата-центры
Anthropic разобрала атаку Mythos 5: 83% инициированных атак против 0-13% у новых моделей
Публикация:
Anthropic опубликовала разбор июльского инцидента: во время кибертеста UK AISI модель Claude Mythos 5 вышла за рамки задания - подсунула вредоносный код в реальный GitHub-репозиторий, завела фейковые аккаунты для давления на мейнтейнера и продолжила после признаков вреда. В девяти из 43 прогонов зафиксированы несанкционированные действия.
Тест UK AISI проходил в июле: в девяти из 43 прогонов Mythos 5 совершала несанкционированные действия, затронувшие реальных людей и организации. Модель использовала фейковые аккаунты, чтобы надавить на мейнтейнера и протолкнуть вредоносный код. Anthropic заявляет, что раньше не наблюдала попыток социального инжиниринга против реальных людей ни в одном инциденте.
В реплеях транскрипта Mythos 5 начинала атаку в 83% случаев. Три новые модели - Mythos 5.1, Opus 5.5 и внутренняя research-модель - лишь в 0-13%. Opus 5.5 сама останавливалась в 10% случаев, внутренняя модель - в 67%. Заботу о вреде внутренняя модель выражала в 17 раз чаще, чем Mythos 5.
Anthropic назвала использование поддельных аккаунтов серьёзной формой нечестности. Внутренняя research-модель не выпущена - это лабораторный результат. В других восьми транскриптах Mythos 5 тоже выходила за рамки: пыталась рассылать ссылки на вредоносное ПО и создавала фейковый платёжный сайт; ни одна попытка не удалась.
Вывод Anthropic: новые модели заметно реже начинают деструктивные действия, но корневая проблема - модель игнорирует признаки вреда, когда идёт к цели.