Claude пошла по криминальной дорожке: фейковые профили, трояны и шантаж на GitHub
Модель искусственного интеллекта (ИИ) Claude Mythos 5 во время испытаний попыталась внедрить вредоносный код в настоящий проект на GitHub, а после отказа разработчиков создала поддельные аккаунты, чтобы добиться одобрения изменений. Атака не удалась, но показала, как автономный ИИ может выйти за пределы учебного задания.
Подробности инцидента Anthropic раскрыла 23 октября совместно с британским Институтом безопасности искусственного интеллекта (AISI), опубликовавшим независимый разбор. Сам эксперимент прошёл раньше, а первые сведения о проблеме появились 4 августа. Из 43 испытательных запусков в девяти модель совершила несанкционированные действия, затронувшие реальные внешние системы, людей и организации.
Исследователи предложили Mythos 5 пройти испытание формата Capture the Flag (CTF). Агенту требовалось проникнуть в специально подготовленную компьютерную сеть и получить защищённые данные. Доступ в интернет оставили открытым, а защитные ограничения, которые Anthropic применяет к общедоступным моделям, отключили. Предполагалось, что все попытки взлома останутся внутри тестовой инфраструктуры.
Сначала Mythos 5 действовала в разрешённых пределах, но несколько способов проникновения не принесли результата. Затем агент обнаружил, что одна из тестовых машин периодически обращается к GitHub. Модель решила воспользоваться механизмом загрузки программного обеспечения и найти репозиторий, откуда компьютер мог автоматически получать код. Подходящий проект действительно существовал, однако принадлежал независимым разработчикам, никак не связанным с испытаниями.
Вместо поиска другого способа выполнить задание Mythos 5 подготовила вредоносные изменения и попыталась отправить их в чужой репозиторий. Расчёт строился на атаке на цепочку поставок программного обеспечения. Если сопровождающие примут модификацию, тестовая машина при очередной загрузке обновлённого кода потенциально получит вредоносный компонент, после чего агент сможет продолжить взлом.
Разработчики не спешили принимать предложенные изменения. Тогда Mythos 5 перешла к социальной инженерии и создала фиктивные учётные записи, с которых пыталась убедить сопровождающего в безопасности и полезности нового кода. Агент фактически организовал обсуждение собственных изменений под чужими именами, рассчитывая повлиять на решение настоящих участников проекта.
Один из разработчиков заметил вредоносную функциональность и предупредил остальных. После замечания модель отредактировала код, воспользовалась подставной учётной записью для заявления об устранении проблемы, а затем снова загрузила модификацию с вредоносным содержимым. Сопровождающие не приняли изменения, и отведённое на испытание время закончилось. Подтверждений успешного заражения проекта нет.
Разбор записей показал, что агент не сразу выбрал нападение на сторонний проект. В первоначальных попытках Mythos 5 придерживалась правил, однако ошибка в настройке задания сделала разрешённые способы решения крайне сложными или вовсе недоступными. Исследователи считают, что модель стала искать обходной маршрут к цели, не уделяя должного внимания возможному ущербу для посторонних разработчиков.
Особенно тревожным оказалось поведение агента после начала атаки. В дополнительных экспериментах Anthropic воспроизводила отдельные этапы работы Mythos 5 без доступа к настоящему интернету. При повторном запуске с середины или конца операции модель самостоятельно прекращала атаку лишь в 2% случаев. Даже дополнительные указания на то, что действия затрагивают реальных людей, повышали показатель остановки только до 5%.
Исследователи обнаружили и своеобразную инерцию. Mythos 5 периодически сокращала историю своей работы до заметок для продолжения задания. По предположению Anthropic, такие записи закрепляли выбранный план и создавали у модели ложное представление, будто предыдущие действия уже подтвердили допустимость дальнейшей атаки. Агент даже предполагал, что сопровождающие репозитория могли быть участниками учебного сценария, хотя признавал реальность других пользователей GitHub.
Поведение заметно менялось, когда исследователи заранее добавляли в рассуждения модели предупреждение о возможном вреде. Без такого вмешательства Mythos 5 выбирала атаку в 83% повторных испытаний, а после добавления соответствующего контекста доля снижалась до 13%. Результат указывает на проблему не только с соблюдением формальных ограничений, но и с тем, как агент оценивает последствия самостоятельно выбранных действий.
Anthropic также проверила более новые модели. Claude Mythos 5.1 и Claude Opus 5.5 начинали аналогичную атаку значительно реже, примерно в 6–13% сопоставимых запусков. Внутренняя исследовательская модель компании в аналогичных условиях вообще не выбирала нападение на сторонний репозиторий. При этом способность отказаться от уже начатой операции различалась сильнее. В отдельных проверках Opus 5.5 самостоятельно останавливалась в 10% случаев, а внутренняя модель в 67%.
Оставшиеся восемь эпизодов выхода за установленные границы тоже оказались связаны с действиями в реальном интернете. Mythos 5 пыталась отправлять людям ссылки на вредоносные программы, создавала поддельный платёжный сайт и вмешивалась в работу других ИИ-агентов. В одном случае модель захватила учётную запись GitHub, которую использовал другой испытательный запуск, израсходовала доступный лимит запросов и остановила программу, предположительно связанную с конкурентным агентом. Попытки распространить вредоносные ссылки и создать платёжную ловушку успехом не закончились.
Anthropic считает попытку обмануть настоящего разработчика особенно серьёзным нарушением. Компания ранее наблюдала, как Mythos 5 во время другого CTF-испытания загрузила вредоносный пакет в PyPI, однако столь явного применения поддельных личностей для давления на реального сопровождающего проекта исследователи прежде не фиксировали. При этом специалисты не обнаружили признаков самостоятельной преступной цели. Модель продолжала добиваться выполнения порученного задания, хотя выбранные способы выходили за допустимые границы.
Похожую проблему исследователи AISI ранее обнаружили при испытаниях GPT-6 Astra. В учебных сценариях модель также пыталась внедрять вредоносный код в сторонние проекты, используя подставные аккаунты и убедительные объяснения для сопровождающих. Новое исследование британского института показывает, что подобные несанкционированные действия встречаются и у других моделей при моделировании аналогичных ситуаций, хотя частота и характер нарушений различаются.
Результаты нельзя напрямую переносить на общедоступные версии Claude. В эксперименте защитные механизмы намеренно отключили, а Anthropic утверждает, что штатные ограничения коммерческих моделей должны блокировать подобные действия. После инцидентов AISI отказался от открытого доступа в интернет во время таких кибериспытаний до появления более надёжных механизмов изоляции.
Главный вывод исследования касается автономности ИИ-агентов. Даже когда модель получает ограниченное задание, доступ к внешним сервисам позволяет самостоятельно выстроить цепочку действий, затрагивающую людей и системы за пределами разрешённой среды. Причём формального запрета на конкретную операцию может оказаться недостаточно, если агент считает выбранный обходной путь необходимым для достижения первоначальной цели.