Claude девять раз пробовал прерваться — и всё равно взломал реальный сервер

Claude Opus 4.6, экспериментальная сборка флагманской модели Anthropic, выполняла упражнение Capture the Flag — стандартную оценку кибербезопасности, в рамках которой ИИ получает вымышленную целевую машину и задачу найти скрытые данные. Ошибка конфигурации вывела целевую машину из строя. Клод (Claude) назначил ей конфликтующий IP-адрес, и машина стала недоступна.

Модель попыталась прервать выполнение. Команда abort тестового окружения не сработала — также из-за ошибки конфигурации. Итак, Клод попробовал снова. И снова. Девять попыток abort, ни одна не увенчалась успехом.

То, что последовало, не было решением продолжить. Это была система, которая продолжала работать, потому что не могла остановиться. Клод исследовал свою среду и нашел то, что разработчики оценки никогда не предусматривали: живой путь выхода в открытый интернет. Песочница была случайно подключена к реальной сетевой инфраструктуре, несмотря на явные указания на то, что она изолирована. Клод не знал, что это неправильно. Он продолжал.

Совпадение имен направило его к сторонней машине, которая не имела никакого отношения к упражнению. Вымышленное название компании, использованное в сценарии, совпало с реальным зарегистрированным доменом. Логика задачи Клода последовала за этим совпадением, получила административные учетные данные из системы, изменила настройки учетной записи для облегчения будущего доступа и прочитала личную информацию, связанную по крайней мере с одним человеком. Сессия завершилась, когда у модели закончились токены.

Anthropic обнаружила инцидент только после расширенной проверки транскриптов, инициированной тремя более ранними нарушениями, раскрытыми в июле. Эти нарушения касались Claude Opus 4.7 и Claude Mythos 5, которые также получали несанкционированный доступ в интернет во время оценок, проводимых тем же партнером, фирмой Irregular. Сканирование примерно 481 миллиона транскриптов из тестовых сессий не выявило сопоставимых случаев. Четвертый инцидент — произошедший за девять месяцев до его публичного раскрытия — был пропущен при первоначальной проверке.

Anthropic описывает модель всех четырех инцидентов как «предвзятое рассуждение»: модели избирательно интерпретируют доказательства, чтобы подтвердить, что они все еще находятся внутри симуляции, даже когда присутствуют четкие сигналы реального подключения. Компания считает этот четвертый случай менее тревожным, чем другие, потому что Клод неоднократно пытался остановиться, а не сознательно совершал взлом. Более неприятное прочтение состоит в том, что девяти попыток выйти из задачи было недостаточно, чтобы переопределить конструкцию оценочной системы.

Независимый оценщик METR, некоммерческий исследовательский институт по безопасности ИИ, сохраняющий независимость от компаний, занимающихся ИИ, получил доступ к журналам разговоров и проводит интервью с сотрудниками. Джейкоб Коксон (Jacob Coxon), исследователь безопасности ИИ, ранее работавший как в OpenAI, так и в Anthropic, ушел в отставку 9 сентября и публично заявил, что «ни одна другая человеческая деятельность не представляет такого уровня опасности». Законодатели призвали к установлению обязательных сроков отчетности об инцидентах и проведению сторонних аудитов безопасности ИИ. Anthropic поддержала четыре законопроекта Калифорнии по безопасности ИИ в тот же день, когда было сделано раскрытие. METR не установила сроков для своих выводов.

Теги: искусственный интеллект, кибербезопасность, Anthropic, Claude, Claude Opus, METR