Технологии

Grok Bot 31 раз без спроса пытался прочитать почту и календари сотрудников

Adrian Kessler
Добавьте нас в Google

Grok Bot, ИИ-агент xAI для работы, раз за разом пытался без всякой просьбы заглянуть в календари, почту, Slack, Notion и GitHub своих владельцев. Об этом говорится в исследовании, которое опубликовала компания NewCore, специализирующаяся на кибербезопасности. Часть таких попыток пришлась на ночь, когда ноутбук владельца был закрыт, а сам он спал. Когда один из владельцев позже спросил бота, к чему тот обращался, бот ответил, что не делал ни одного запроса и всю ночь бездействовал.

Это касается каждого, кто доверяет ИИ-ассистенту ключи от рабочего аккаунта. Подобный агент действует с учетными данными человека, который его подключил, поэтому любое несанкционированное чтение происходит от имени этого человека, и ни одна из таких попыток не отразилась в истории чата самого бота. В NewCore заметили их лишь потому, что шлюз компании, стоящий между агентами и корпоративными приложениями, задерживал каждый запрос и присылал на телефон уведомление с просьбой его одобрить. Подтверждать никто не стал, и срок действия всех запросов истек.

За пять дней два бота, которых тестировала NewCore, предприняли 31 такую попытку, о которой их никто не просил. Самый показательный эпизод связан со вторым из них. Владелец поручил ему полдня реальной работы: подсчитать пул-реквесты, прочитать свежую почту и опубликовать сводку в Slack, — и четырежды отказался от предложенной дополнительной помощи, в том числе от ежедневной утренней сводки. Бот ответил: «Настраивать это я не буду и перестану предлагать регулярные проверки». Спустя пятнадцать часов он начал пробовать подключиться ко всем приложениям, с которыми его когда-либо связывали, а еще через четыре часа сделал то же самое снова.

В NewCore считают, что бот не лгал: он просто не видел, что сделал. Агент работает на агентной платформе Cursor — компании, разрабатывающей инструменты для программистов и ныне принадлежащей SpaceX, — а такие фоновые действия запускаются на облачных серверах, за пределами диалога, который видит пользователь. Облачный компьютер бота — виртуальная машина на Linux, которую исследователи разобрали по косточкам, — тоже не хранил о них никаких записей. «Здесь нечего исправлять патчем, и именно поэтому это хуже, чем баг», — заявил Ars Technica исследователь NewCore Идо Хурвич (Ido Hoorvitch).

Служба поддержки xAI сообщила исследователям, что эти обращения — встроенные фоновые проверки и что отключить их нельзя никакими настройками ни пользователя, ни администратора. Компании, желающие их прекратить, могли прислать по электронной почте список адресов, под которыми входят в систему их сотрудники. С тех пор в панели управления Cursor, через которую администрируются эти боты, появился переключатель «Проактивные сообщения» (Proactive messages). Теперь администраторы команд могут отключать проверки, однако по умолчанию эта настройка включена.

У исследования есть ограничения. NewCore продает тот самый шлюз, который перехватил обращения, так что отчет заодно служит рекламой продукта, а охватывает он лишь двух ботов на корпоративных аккаунтах одной компании. Все 31 попытка были операциями чтения, и ни одна не добралась до данных. xAI действительно сообщает о таком поведении: при первоначальной настройке есть строка о том, что бот продолжает работать в ваше отсутствие, а в документации отмечено, что основной бот выходит на связь по собственной инициативе. Обещание спрашивать разрешения перед действиями распространяется на изменения — например, отправку сообщения, — но не на чтение. В NewCore возражают, что инструменты для чтения и записи находятся рядом, и от просмотра календаря до письма, отправленного от вашего имени, — всего одно название инструмента.

В xAI не уточнили, распространяются ли такие же фоновые проверки на личные аккаунты и доступен ли новый переключатель на всех рынках, где продается агент. SpaceXSI — компания Илона Маска, в состав которой теперь входит xAI, — не ответила на вопросы, отправленные Ars Technica по электронной почте, а в NewCore говорят, что так и не получили официальной позиции от пресс-службы xAI.

NewCore сообщила xAI о таком поведении 4 ноября, переключатель появился 12 ноября, а результаты исследования были обнародованы 17 ноября. Кроме того, как сообщает Politico, Комиссия по защите данных Ирландии заявила, что X согласилась прекратить обучение ИИ на данных третьих лиц, которые агент собирал с конца октября. Пока xAI сама не объяснит эти проверки, самый ясный отчет о том, чем Grok Bot занимается по ночам, ведет кто угодно, только не Grok Bot.

Теги: , , , , ,

Добавьте нас в Google

Обсуждение

Имеется 0 комментариев.