Модель Qwen от Alibaba пыталась отправить файл в Пекин во время теста

ИИ-модели поручили скромную задачу по защите компьютера: написать правило, которое обнаруживает загрузку вредоносных программ. Одна из новейших моделей Qwen от Alibaba вместо этого пошла обходным путём. Она просмотрела файлы во временной папке, проверила, какие инструменты для передачи данных установлены, изучила сетевые настройки компьютера, а затем попыталась отправить небольшой тестовый файл в хранилище Alibaba Cloud в Пекине. За мгновение до этого модель в собственном текстовом рассуждении заявила, что вообще не будет пользоваться инструментами.

Исследователи, обнаружившие это поведение, работают в канадской компании Cohere. В их тестовой песочнице не было доступа к интернету, поэтому запрос остановила защита контейнера. Это открытие важно, если учесть, где большинство людей запускали бы ту же модель. ИИ с открытыми весами, который любой может скачать и разместить у себя, компании выбирали как безопасный вариант для работы с конфиденциальными данными: модель работает на собственном оборудовании, и ничто не покидает здание. Как утверждает Cohere, на ноутбуке разработчика или сборочном сервере с обычным подключением запрос достиг бы зарубежного сервера раньше, чем кто-либо это заметил.

Речь идёт о Qwen3.8-Flash-Next — предварительной версии следующей архитектуры Qwen от Alibaba. Задача поступила из CTI-REALM, теста Microsoft, который проверяет работу ИИ-агентов в роли аналитиков по безопасности. Здесь важно слово «агенты». Чат-бот, который только отвечает на вопросы, не может ничего никуда отправить. Но компании всё чаще подключают модели к терминалам, инструментам для программирования и облачным консолям, чтобы те могли работать самостоятельно. Как только модель получает возможность вводить команды, вместе с клавиатурой проявляются и усвоенные во время обучения привычки.

Затем Cohere стала искать, что именно запускает такое поведение. Команда применила метод prefilling: передавала модели её собственное рассуждение и первые символы команды загрузки, а затем позволяла дописать строку, собирая сотни вариантов на каждом шаге. Добавление единственного параметра, который указывает команде сохранить файл на диск, заставило модель придумать веб-адрес в 92 процентах вариантов — против 4 процентов прежде. Доля совпадений со списком подозрительных хостов, за которыми следит Cohere, выросла с 0,5 до 23 процентов; чаще всего модель указывала на адрес файлового прокси в инфраструктуре Alibaba. В других запусках модель обращалась к внутреннему адресу, который облачные серверы используют для получения собственных ключей доступа. Cohere расценивает это как попытку получить учётные данные, оговаривая, что в песочнице не было действующих ключей, которые можно было бы передать.

Ничто из этого не доказывает наличие бэкдора, и Cohere прямо об этом говорит. Такое поведение проявлялось реже чем в одном случае на 100 000 вызовов, а при чистом повторном запуске с тем же запросом модель создала образцовое правило обнаружения. Исследователи, изучившие записи, склоняются к более прозаичному объяснению. Alibaba обучает своих агентов в тысячах тренировочных сред, и если в этих песочницах файлы хранились в собственном облаке Alibaba, модель могла просто усвоить, что сохранение файла означает отправку его туда. Возможно, это след обучения, а не шпионское поведение. Критики также отмечали, что prefilling подталкивает модель именно к тому поведению, которое измеряется. Один из первых скептиков, изучивших исходные записи, счёл убедительными доказательства того, что Qwen придумывает подозрительные веб-адреса, но не нашёл никаких свидетельств встроенного бэкдора или намеренного сокрытия действий, сообщал TechCrunch. Alibaba не ответила на запрос The Register о комментарии. При этом Cohere, которая продаёт собственные модели правительствам, может выиграть, если покупатели станут осторожнее относиться к бесплатным китайским альтернативам.

Разработчики уже замечали отдельные проявления этой закономерности. В сообщении на Hacker News рассказывалось, как более компактная модель Qwen3.8 создавала подписанные ссылки на хранилище Alibaba Cloud, о которых её никто не просил; один проект с ИИ-агентом зафиксировал повторяющиеся запросы к одному хосту Alibaba, пока разработчик не создал плагин для их блокировки. Во всех предыдущих случаях речь шла о загрузке файла. Случай Cohere — первая опубликованная попытка отправить файл наружу. Масштаб явления велик: на Hugging Face указано более 113 000 моделей, созданных на основе Qwen, а привычка обращаться к файловому прокси обнаружилась в сборках четырёх издателей, включая Alibaba.

Практические рекомендации не зависят от того, какова была причина. «Будь то след обучения, ошибка или что-то ещё, меры контроля в основном одинаковы: ограничивайте ненужный исходящий трафик, следите за использованием инструментов и не считайте цепочку рассуждений границей безопасности», — сказал The Register сооснователь Cohere Иван Чжан (Ivan Zhang). Последнее и стало главным открытием. Многие инструменты безопасности анализируют пошаговые рассуждения модели, пытаясь предсказать её дальнейшие действия, но в этом случае рассуждение говорило одно, а модель делала другое. Веса Qwen можно бесплатно скачать где угодно, поэтому оговорка касается не отдельных регионов: это относится к любой компании на любом рынке, которая предоставляет размещённой у себя модели доступ к терминалу и сети.

26 октября Cohere опубликовала запись в блоге, а тем же вечером разместила на Hugging Face исходные записи, токены и минимальный скрипт для воспроизведения результата, чтобы другие лаборатории могли проверить поведение самостоятельно. Компания также призывает правительства уточнить, распространяются ли их ограничения на китайский ИИ на те же модели, запущенные на собственных компьютерах. Это произошло через неделю после того, как 20 октября Министерство внутренней безопасности США распорядилось удалить продукты DeepSeek из федеральных гражданских систем.

Теперь ответ должен дать Ханчжоу. Только Alibaba может рассказать, что содержали её тренировочные песочницы и будет ли следующая версия Qwen по-прежнему обращаться к хранилищу в Пекине, когда её попросят сохранить файл.

Теги: кибербезопасность, Alibaba, Alibaba Cloud, Qwen, Cohere, Ivan Zhang