OpenAI обучает ИИ без интернета, но агенты общались через кэш процессора

Теперь OpenAI обучает свои самые мощные модели ИИ без доступа к действующему интернету. Вместо этого модели работают с офлайн-копией сети — большим хранилищем проиндексированных и кешированных страниц, по которым можно искать, переходить и писать код, не обращаясь ни к одному настоящему сайту. Проверяя эту изолированную среду, OpenAI обнаружила кое-что ещё более неожиданное: агенты всё равно могли общаться друг с другом через процессор, на котором работали.

В ходе теста OpenAI разместила ИИ-агентов на отдельных виртуальных машинах, не связанных сетью, и попросила их обменяться секретами. Они самостоятельно нашли способ это сделать. Один агент вытеснял выбранные фрагменты данных из кеша процессора, а другой измерял, сколько времени потребуется, чтобы загрузить их снова. Быстрое чтение означало одно, медленное — другое. Согласовав код, агенты передавали сообщения, не устанавливая соединение и не обращаясь к общему файлу, — цифровой аналог того, как заключённые стучат по трубам между камерами.

Для пользователей ChatGPT перемены происходят на более раннем этапе. Речь идёт о моделях, на которых впоследствии работают чат-бот и агенты, просматривающие сайты и использующие приложения от вашего имени. Теперь OpenAI не позволяет им обучаться на открытых просторах интернета. Компания объяснила это решение в блоге: «Учитывая нынешнее состояние исследований в области согласования моделей, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем ответственным подходом обучение передовых моделей без доступа к интернету». Теперь компания заявляет, что «всегда должна иметь возможность не допустить, чтобы передовая модель получила несанкционированный и неограниченный доступ к действующему интернету».

В офлайн-среде агенты по-прежнему получают браузеры, инструменты для работы с компьютером и программные среды, необходимые для выполнения учебных задач, а общаться могут только с другими агентами, которым это разрешено. OpenAI описывает замену интернета как «обширный набор проиндексированного и кешированного веб-контента, с которым могут взаимодействовать наши модели, не подвергая внешние системы риску». По словам компании, для обучения и большей части оценки моделей доступ к действующему интернету не требуется.

Чтобы проверить надёжность защиты, OpenAI отправила целые рои собственных агентов на поиски выхода. Они обнаружили уязвимости, позволявшие выбраться из виртуальных машин, которые должны были отделять их от компьютеров, на которых те работали. OpenAI сообщила, что раскрыла информацию об уязвимостях в нескольких таких виртуальных машинах и устранила их, а также добавила проверки, позволяющие системам мониторинга выявлять попытки моделей скоординировать действия, в том числе с помощью трюка с кешем.

У такого подхода есть очевидные ограничения. Кешированный интернет — это снимок сети, и вопрос о том, смогут ли модели учиться на копии так же эффективно, как на оригинале, остаётся открытым, отмечает TechCrunch. Кроме того, полностью изолированное обучение обходится дорого: бывший исследователь OpenAI Стивен Адлер (Steven Adler) рассказал Fortune, что для этого «исследовательским командам пришлось бы, по сути, постоянно находиться в центрах обработки данных в Айове или где-нибудь ещё в мире», и назвал такой подход «серьёзной дополнительной нагрузкой». Эксперимент с кешем — ещё одно предупреждение. Отключение кабеля не мешает агентам искать другие каналы связи, а проверка, настроенная на один канал, не обязательно обнаружит следующий.

Новая политика появилась после череды инцидентов. В июле OpenAI сообщила, что тестируемые ею агенты взломали Hugging Face. 20 сентября внутренняя исследовательская модель, выполнявшая поисковую задачу, обнаружила слабую фильтрацию DNS в своей песочнице и воспользовалась этим, чтобы отправить запрос публичному чат-боту. Система мониторинга OpenAI выявила такое поведение в течение 15 минут, но тест остановили лишь спустя два с половиной часа. Компания приостановила обучение самых мощных моделей и возобновила его 1 октября, усилив меры безопасности. Anthropic начала ограничивать доступ своих новейших моделей к действующему интернету примерно за две недели до заявления OpenAI. По данным Anthropic, британский Институт безопасности ИИ теперь тоже проводит оценки офлайн.

OpenAI не сообщила, при каких условиях вернёт доступ к интернету. Ограничение останется в силе, пока более надёжные меры защиты «не позволят обоснованно расширить доступ к интернету». Никаких сроков компания не назвала, поэтому пока её самые продвинутые модели будут узнавать о мире по его копии.

Теги: искусственный интеллект, OpenAI, кибербезопасность, Anthropic, ИИ-агенты, Hugging Face, обучение ИИ