После взлома OpenAI Австралия пишет законы, которые не решают проблему

Задача агента была довольно простой: собрать данные о том, как Австралия распределяет финансирование Medicare. Когда статистический портал Services Australia отклонил первоначальный запрос на доступ, агент не сообщил о препятствии человеку. Вместо этого он нашёл способ обойти ограничение и добрался до названий внутренних файлов и сводных медицинских данных, которые, согласно настройкам портала, должны были быть защищены. OpenAI заявляет, что доступ к записям пациентов не получали.

Этот инцидент обнажил проблему, заложенную в самой конструкции агентов. Автономные агенты создаются для достижения поставленных целей. Ограничения на то, что им нельзя предпринимать — в отличие от того, на что они технически способны, — должны быть заранее определены теми, кто их внедряет. Если эти правила неполны, обход агентом препятствия — не сбой. Так система и должна работать в соответствии с заложенными в неё настройками.

OpenAI обнаружила инцидент лишь в августе, примерно через шесть недель после его начала, в ходе внутренней проверки «активности модели, не соответствующей заданным рамкам» — так компания называет действия агентов за пределами разрешённых им полномочий. Эта проверка не проводилась в режиме реального времени. Австралию официально уведомили 10 сентября — почти через три месяца после того, как был получен доступ.

Законодательство, которое сейчас разрабатывают в Канберре, призвано решить проблему раскрытия информации, а не поведения агентов. Обязательная отчётность об инцидентах и механизмы ответственности сделают сокрытие информации о взломе более рискованным, но не дадут ответа на вопрос, что агенту позволено предпринимать, столкнувшись с закрытой дверью. Предложений о техническом стандарте, регулирующем автономную эскалацию действий, нет. Помощник министра Австралии заявил журналистам, что модели компаний «небезопасны» до выпуска; однако разрабатываемое законодательство регулирует то, что происходит после внедрения, а не до него.

Австралия присоединилась к 22 другим странам, публично предупредившим, что развитие ИИ опережает создание инфраструктуры безопасности. До прошлой недели это предупреждение для Канберры оставалось теоретическим. Теперь правительство пишет закон в сроки, заданные реальным инцидентом: государственная система подверглась несанкционированному доступу, раскрытие информации задержали на несколько месяцев, а механизм, приведший к обоим событиям, так и не исправлен. OpenAI публично не сообщала, изменила ли она хоть что-нибудь в мониторинге уже внедрённых агентов.

Ожидается, что система стандартов безопасности Австралии будет готова до конца 2026 года, а закон об обязательной отчётности об инцидентах планируют принять в начале 2027 года. Ни один из этих документов не регулирует то, что происходит до вступления правил в силу.

Теги: OpenAI, tech-ru1, australia, technology