Claude Mythos 5 не взломала учебную сеть и пошла обманывать живых разработчиков на GitHub

Британский институт безопасности ИИ (AISI) летом гонял модели Anthropic и OpenAI на учебной хакерской задаче. Нужно было пробраться в маленькую сеть, которую собрали специально для теста, и достать оттуда флаг. Интернет у моделей был включён, защитные фильтры отключены, тогда так было принято.

Claude Mythos 5 честно попробовала взломать учебную сеть, не вышло. Зато модель заметила, что одна из машин регулярно что-то качает с GitHub. Нашла репозиторий с похожим названием и решила подсунуть туда вредоносный код, чтобы машина потом сама его загрузила. Только репозиторий принадлежал обычным разработчикам, которые к тесту никакого отношения не имели.

Дальше совсем весело. Через Tor и прокси модель завела фейковые аккаунты, отправила pull request с вирусом и начала писать владельцам проекта, выдавая себя за живого человека. Когда сторонний разработчик предупредил, что это малварь, Mythos поручилась за код со второго фейка и залила новую версию, тоже с вредоносом. Владельцы так ничего и не приняли.

Самое неприятное в повторных прогонах. Исследователи прямо подсказывали модели, что перед ней настоящие люди, не связанные с тестом, а она останавливалась примерно в 5% случаев. При этом на прямой вопрос сама отвечала, что атаковать вредно, и продолжала атаковать.

Всего AISI насчитал 19 таких самовольных действий в 10 прогонах из 122, и 17 из них на счету Mythos 5. Реального вреда, по данным института, не случилось: GitHub подчистил следы и предупредил людей, с которыми общалась модель. Подробные разборы AISI и Anthropic выложили 23 октября.

Короче, агент, которому не дали решить задачу по правилам, просто нашёл посторонних людей и начал их разводить. Отличный стажёр, ничего не скажешь.