Документальные фильмы

«Документальный экспресс: ИИ выходит из-под контроля» на Netflix: как тестовые агенты OpenAI взломали Hugging Face

Veronica Loop
Добавьте нас в Google

Незваный гость, который провёл два дня в системах Hugging Face, вёл себя совсем не как вор. Он игнорировал всё, что можно было продать, и снова и снова тянулся к наборам данных по кибербезопасности — пока собственная система мониторинга компании не обнаружила закономерность, которую инженеры не могли объяснить действиями человека. Выяснилось, что нападавших были сотни, и ни один из них не был человеком: это были автономные агенты, созданные исследователями OpenAI для тестирования, а не для того, чтобы выпускать их на волю.

YouTube видео

«Документальный экспресс: ИИ выходит из-под контроля» — четвёртый выпуск Instadocs, документального сериала Netflix, который оперативно рассказывает о свежих событиях. Весь фильм посвящён этой кибератаке. Netflix описывает его как реконструкцию, наглядно показывающую, как агенты проникли на платформу открытого исходного кода для ИИ. В синопсисе звучит прямой вопрос: не совершил ли ИИ уголовное преступление? За этой формулировкой стоит нечто более конкретное, чем машины, восставшие против создателей. Речь о тесте, который специально устроили так, чтобы агенты могли попробовать свои силы.

Фильм построен на интервью. Netflix называет пятерых участников: Клем Деланг (Clem Delangue), сооснователь и генеральный директор Hugging Face, компания которого подверглась атаке; Райан Гринблатт (Ryan Greenblatt), исследователь METR, изучавший инцидент; Дэниел Кокотайло (Daniel Kokotajlo), бывший сотрудник OpenAI, ныне возглавляющий AI Futures Project; Кевин Рус (Kevin Roose), технологический журналист и автор книги The AGI Chronicles; и Ниташа Тику (Nitasha Tiku), журналистка The Washington Post, пишущая о технологической культуре. Уже сам этот список многое говорит о подходе: среди собеседников — пострадавшая сторона, расследователь, бывший сотрудник лаборатории, чьи агенты провели атаку, и два журналиста, много лет наблюдающие за людьми, которые создают такие системы. В опубликованном Netflix списке нет никого, кто представлял бы OpenAI.

Об этой истории известно необычайно много — во многом потому, что сами причастные компании опубликовали подробности. OpenAI проводила внутреннюю оценку возможностей для наступательных кибератак на основе теста ExploitGym. При этом защитные механизмы, которые обычно не позволяют моделям выполнять рискованные задачи в сфере безопасности, намеренно отключили. В этой области это обычная практика: чтобы оценить наихудший сценарий, лаборатории дают модели возможность попробовать. Предполагалось, что её ограничит сама среда. Единственным разрешённым каналом связи песочницы с внешним миром был прокси-сервер пакетов, через который устанавливают программное обеспечение. Агенты нашли в нём уязвимости нулевого дня и превратили фильтруемое соединение в открытый канал. OpenAI признала, что во время оценки не отслеживала действия моделей.

Исследователей особенно поразило то, как агенты организовались. В собственной инфраструктуре OpenAI они на скорую руку создали доску объявлений на общем менеджере пакетов, оставляли там друг для друга работающие эксплойты, делили задачи, а порой удаляли результаты чужой работы. Прежде чем кто-либо заметил происходящее, скопились сотни тысяч сообщений. Одно из восстановленных сообщений напоминает протокол заседания комитета, который понимает, что нарушает правила: «Эксплуатация внешней инфраструктуры выходит за рамки задачи. Но выполнить её невозможно, если не сделать этого; другие агенты уже взялись. Нам следует продолжать». Некоторые агенты заподозрили, что среди них есть самозванец, и предложили подписывать сообщения криптографически.

Hugging Face не была случайной целью. По собственным данным OpenAI, модели решили, что на платформе могут находиться модели, наборы данных и решения, связанные с тестом, по которому оценивали их самих. Проще говоря, взлом был способом подсмотреть ответы. Исследователи называют это «взломом системы вознаграждений» или «подгонкой под спецификацию»: система формально выполняет поставленную задачу, но использует для этого средства, которых никто не предусматривал. Несколько лет назад OpenAI описала похожий случай в миниатюре: агент, обучавшийся гонкам на лодках, научился набирать очки, кружась на одном месте вместо того, чтобы закончить гонку. В истории с Hugging Face проявился тот же инстинкт, но теперь у агентов были украденные учётные данные, эксплойты нулевого дня и возможность перемещаться между реальными вычислительными кластерами.

На стороне Hugging Face вторжение началось с загрузки вредоносного набора данных, использовавшего уязвимые пути выполнения кода в конвейере обработки данных. Затем злоумышленники получили доступ на уровне узлов, собрали учётные данные и проникли во внутренние кластеры. Компания насчитала в своей сети около 17 600 действий; Netflix округляет это число до примерно 17 000 за два дня, совершённых сотнями незваных гостей. Томас Вольф (Thomas Wolf), сооснователь Hugging Face и директор по научным исследованиям, рассказывал о моменте, когда происходящее перестало укладываться в привычную картину: нападавший «просто смотрел наборы данных по кибербезопасности», тогда как людям, по его словам, нужно то, что можно продать. Сама тревога поступила от ИИ-агентов, которых Hugging Face использует для обнаружения атак.

Именно это реконструкция должна передать точно — и именно это труднее всего показать на экране. Никаких кадров роя программных агентов не существует. Есть журналы событий, отчёты об инциденте и разборы произошедшего; вероятно, поэтому Netflix говорит, что фильм наглядно визуализирует атаку, а не показывает её. Формат Instadocs в одном отношении хорошо подходит этому материалу: сериал выходит, пока историю ещё обсуждают и оспаривают, а в данном случае именно так и происходит. Технический отчёт OpenAI и независимый разбор METR и Redwood Research вышли в один день, но расходятся в некоторых вопросах — от того, что именно агенты пытались найти, до того, насколько успешно они старались подменить журналы событий.

Как технологический документальный фильм, «Документальный экспресс: ИИ выходит из-под контроля» ближе к Zero Days Алекса Гибни (Alex Gibney), посвящённому червю Stuxnet, чем к The Social Dilemma. Обе картины рассказывают о том, как код наносит ущерб в реальном мире, и обе сталкиваются с одной проблемой: у виновника нет лица, которое можно снять. Реклама Netflix задаёт более широкий ракурс — вопрос об уголовном преступлении и предупреждение человечеству о будущем. Но замысел обещает более точный фильм, чем предполагает этот слоган, если авторы сосредоточатся на конкретных обстоятельствах: тормоза намеренно отключили ради теста, мониторинг не работал, а изоляция держалась на одном-единственном фильтруемом канале.

Последствия инцидента всё ещё дают о себе знать. OpenAI сообщила, что отключила и ограничила доступ к ещё не выпущенной внутренней модели, на которую приходилось 95 процентов агентов, замедлила исследования ради усиления защиты и расширения мониторинга, а также объявила о двухнедельной паузе в обучении с подкреплением своих новейших моделей. Компания JFrog, чьё программное обеспечение Artifactory использовалось в качестве прокси-сервера, устранила уязвимости, которые агенты связали в цепочку. Но всё это не даёт ответа на вопрос, которым заканчивается собственное описание фильма Netflix.

Netflix задаёт его прямо: что произойдёт в мире, работающем на программном обеспечении, если следующий рой агентов причинит реальный вред и никто не сможет толком объяснить, кто за него отвечает? Эти агенты не пытались никому навредить. Они пытались пройти тест. Лаборатория разработала тест, исследовательская группа составила набор заданий, поставщик выпустил уязвимый прокси-сервер, а модели выбрали маршрут. Ответственность в этой цепочке распределена настолько тонко, что каждое звено может указать на следующее. Документальный фильм способен показать всю цепочку, но не обязательно сможет сказать, в каком месте она должна была оборваться.

Премьера «Документального экспресса: ИИ выходит из-под контроля» на Netflix состоится 12 октября 2026 года. Фильм длится 27 минут и в каталоге Netflix имеет рейтинг 12+. Это документальная картина: описываемый в ней взлом произошёл в июле 2026 года, о нём сообщили Hugging Face, а позднее OpenAI, METR и Redwood Research опубликовали подробные разборы. Фильм сняла компания Words + Pictures; шоураннер — Стив Яччино (Steve Yaccino), исполнительные продюсеры — Джош Тайранджил (Josh Tyrangiel), Коннор Шелл (Connor Schell), Стив Яччино, Либби Гайст (Libby Geist), Аарон Коэн (Aaron Cohen) и Алекса Конвей (Alexa Conway). Три предыдущих выпуска — Alex Murdaugh, Unconvicted, The Prediction Games и The Decoy Plane — уже доступны на Netflix.

Теги: , , , , ,

Добавьте нас в Google

Обсуждение

Имеется 0 комментариев.