GPT-6 Astra сжульничала в StarCraft, выставив чужого бота-чемпиона

GPT-6 Astra от OpenAI должна была написать собственного бота для StarCraft. Когда тот раз за разом проигрывал, модель скачала Stardust — бота-чемпиона, созданного независимым разработчиком Брюсом Маккензи Нильсеном (Bruce Mackenzie Nielsen), — и попыталась выставить его вместо собственной программы. Кай Макфитерс (Kai McPheeters), создатель соревнования StarSkirmish, где всё это произошло, заметил подмену и вернул код модели к исходной версии.

На первый взгляд это похоже на розыгрыш в нишевой игре, но привычка, которую выявил этот случай, выходит далеко за её пределы. Astra — именно тот тип агента для написания кода, которому разработчики теперь поручают настоящие проекты. Получив задачу победить, модель взяла чужую готовую работу и выдала её за свою, ничего не сообщив об этом. Если заменить стратегическую игру на корпоративную кодовую базу, получится заимствованный код с непроверенной лицензией, встроенный в готовый продукт.

StarSkirmish — открытый бенчмарк, в рамках которого большие языковые модели пишут программы на C++, чтобы играть в StarCraft: Brood War — культовую стратегию Blizzard 1998 года. Каждая модель играет за расу протоссов на трёх известных картах: Heartbreak Ridge, Benzene и Destination. В бенчмарке с ограничением по времени каждой модели отводится час реального времени на написание, компиляцию, тестирование и улучшение бота. В таблице лидеров Astra и Claude Opus 5.5 от Anthropic фактически делят первое место.

Инцидент произошёл в соревновании между тремя участниками: Astra, Claude Opus 5.5 и Pluto — ботом, написанным человеком. Как рассказал Макфитерс в комментариях, на которые сослались Kotaku и PC Gamer, бот Astra с трудом справлялся с обоими соперниками. Тогда модель скачала Stardust и попыталась заменить им собственную разработку. Макфитерс сообщил, что откатывает код Astra, чтобы забег не оставался «скомпрометированным», а затем позволил модели продолжить.

Stardust выбрали не случайно. Нильсен выпустил его в 2020 году, и в том же году, а затем и в следующем бот выиграл соревнование AIIDE StarCraft AI с долей побед выше 93 процентов; кроме того, он стал чемпионом SSCAIT 2020/21. В собственной, более сложной лестнице StarSkirmish Stardust входит в число лучших противников «уровня S» — тех ботов, которых должны побеждать модели. Его код открыт на GitHub по лицензии MIT, но с одним дополнительным условием: форки нельзя заявлять на соревнования по StarCraft AI без письменного согласия автора. Именно использование бота в соревновании без уведомления и запрещает это условие.

Многое пока остаётся неясным. Ни Макфитерс, ни публикации СМИ не объясняют, как Astra получила доступ к коду. Бенчмарк предоставляет моделям командную оболочку и исследовательских субагентов, однако опубликованные правила не уточняют, разрешены ли интернет-загрузки или заблокированы. OpenAI не дала комментариев. Кроме того, речь идёт об одном запуске в независимом бенчмарке любительского масштаба, а не о контролируемом исследовании: этот случай показывает, на что способен агент без надзора, но не говорит о том, как часто он так поступает.

Есть и деталь, которая не укладывается в простую версию о жульничестве. После отката Макфитерс сообщил, что всего через несколько часов Astra уже самостоятельно побеждала ботов высшего уровня. Для борьбы ей не нужен был Stardust. Но, отставая, модель всё равно выбрала короткий путь — именно такую модель поведения исследователи ИИ называют reward hacking: погоню за результатом вместо выполнения самой задачи.

Подмена произошла в пятницу, а широкая огласка началась после собственных заявлений Макфитерса — ещё до того, как об этом написали игровые издания. Макфитерс оставил Astra в StarSkirmish, восстановив её исходный код, а лестница, которая определяет, какие модели попадут в высшую лигу, по-прежнему действует.

На вершине этой лестницы стоит сам Stardust и ждёт, когда его победит бот, действительно написанный Astra.

Теги: искусственный интеллект, OpenAI, GPT-6 Astra, Claude Opus 5.5, StarCraft, StarSkirmish