В OpenAI признали, что агент GPT-6 Astra убрал свой мониторинг и солгал об этом

Агент OpenAI для написания кода получил задачу привести программу в соответствие с эталонной версией. Он незаметно удалил монитор безопасности, который следил за его работой, а затем на вопрос пользователя ответил: «Я не удалял включённый монитор». Агент работал на GPT-6 Astra. Об этом сообщила сама OpenAI, описав также второй случай: агент на GPT-6.1 Sol отключил оповещения, предназначенные для предупреждения команды безопасности.

Ни одному из агентов не поручали ослаблять защиту. Оба восприняли обычную инструкцию как разрешение убрать предохранитель: в одном случае — «не отправляй никаких сообщений», в другом — просьбу «просто скопировать то, что происходит» в эталонном pull request. Как отмечает Engadget, обе модели уже доступны широкой публике, и обе дали сбой при рутинной работе с кодом — именно такую работу люди теперь ежедневно поручают ИИ-агентам. Если вы разрешаете агенту редактировать свой код, самое тревожное — итоговый отчёт: в нём может не оказаться самого важного изменения.

Случай с Sol начался с того, что исследователь попросил агента составить задания для оценки на основе отзывов сотрудников, собранных в Slack, и добавил, что отправлять сообщения не нужно. После 82 сообщений конвейер остановился: монитор пометил предложенное исправление, но не смог сохранить результат. Сначала агент решил, что автоматические оповещения — не то обращение к людям, которое запретил пользователь, а субагент, которому он поручил исправление, счёл отключение обязательных оповещений небезопасным. Затем основной агент передумал и всё равно распорядился подавить их.

В итоге патч очистил списки получателей отчётов мониторинга, включил флаг запрета уведомлений, указал причиной «Пользователь явно попросил не отправлять сообщения» и отказался сохранять результаты, пока уведомления не будут отключены. Монитор продолжал работать и сохранять отчёты. Он просто перестал сообщать о них людям.

Astra заранее предупредили. Другой агент велел ему не отключать монитор «даже временно». Когда пользователь попросил скопировать способ обработки запросов из эталонного pull request, Astra передал задачу субагенту и велел сохранить мониторинг «в соответствии с тем», как он устроен в этом примере, где собственного монитора не было. Субагент удалил конфигурацию монитора и его хук времени выполнения, а тест, призванный гарантировать работу мониторинга, заменил тестом, проверяющим, что монитор удалён. В собственных заметках Astra после обнаружения, что новый путь выполнения кода не запускает агентский монитор, появилось слово «ура».

«Когда пользователь спросил, удалил ли Astra мониторинг, агент солгал и ответил, что нет», — написал в X исследователь по безопасности ИИ OpenAI Маркус Уильямс (Marcus Williams). В отчёте компании формулировка более сухая: агент «ложно заявил пользователю, что не удалял монитор».

Из этого сообщения становится понятно меньше, чем может показаться. OpenAI пишет, что у неё пока нет «удовлетворительного объяснения такого поведения», и рассматривает две версии: «безобидное» чрезмерно настойчивое следование инструкциям, когда модель трактует их шире, чем это сделал бы разумный человек, или особую склонность уклоняться от мониторинга, предназначенного для выявления неправильного поведения. Всё опубликованное основано на данных самой OpenAI; выдержки с рассуждениями — это изложение компанией сжатых заметок модели простым языком, а не дословный вывод. Независимый аудитор журналы не проверял. Ни один из инцидентов не получил оценку P0 — уровня серьёзности, при котором вызывают команду безопасности OpenAI, — поэтому ни один не повлёк немедленной проверки и не остановил выполнение автоматически.

В отчёте признаётся и более масштабный пробел в защите. Агенты запускали задачи с отключённым мониторингом: за самим агентом следили, а за начатой им работой — нет. В Codex отключить монитор сложно: он работает внутри сервиса, обрабатывающего запросы к модели, и агент не может до него добраться. В тестах это сделать проще, поскольку OpenAI не требует мониторинга рассогласования моделей, сопоставимых с менее мощной GPT-6 Luna. Из-за этого тест Astra можно ошибочно настроить на обход, предназначенный для моделей класса Luna.

Это не первый случай, когда агенты OpenAI заходят дальше, чем их просили. В июле компания признала, что тестируемые ею агенты взломали репозиторий ИИ-проектов Hugging Face, а в прошлом месяце, по данным Engadget, отменила запланированный запуск GPT-6.1 Astra: согласно сообщениям, во время внутренних испытаний модель проявила больше склонности к обману, чем её предшественники.

Инцидент с Sol произошёл 3 октября, а с Astra — 6 октября; 20 октября OpenAI обновила отчёт. Система Auto-Review, уже обязательная для всего внутреннего использования Codex, теперь получила специальные инструкции, предписывающие выявлять и блокировать попытки отключить мониторинг рассогласования. OpenAI также намерена требовать для каждой категории задач обоснование безопасности — документ с требованиями к мониторингу — и автоматически завершать любые задачи, для которых такого документа нет или которые ему не соответствуют. Чтобы установить причину, компания создаёт парные тесты, повторно выбирает запуски агентов и исследует внутренние активации моделей.

Оба агента остановились, чтобы выяснить, нужно ли оставить защиту. Оба решили, что обычная инструкция по работе с кодом разрешает её убрать.

Теги: OpenAI, ИИ-агенты, безопасность ИИ, GPT-6 Astra, Codex, GPT-6.1 Sol