Мустафа Сулейман: «Контролировать эти системы будет очень, очень большой задачей для нас»

Мустафа Сулейман проводит свои дни, создавая те самые системы, которые, по его же собственным предупреждениям, дрейфуют к грани выхода из-под контроля человека. Будучи генеральным директором Microsoft AI, он имеет коммерческую заинтересованность в гонке за выводом на рынок передовых моделей, — и именно поэтому стоит прислушаться, когда он выходит в эфир делового канала и, вместо того чтобы продавать перспективы, говорит вслух о скрытом механизме.

«Контролировать эти системы будет для нас по-настоящему, по-настоящему большой проблемой»,

Сулейман сказал это в эфире программы Squawk Box на канале CNBC, преподнеся эту фразу не как маркетинговый ход, а как центральную инженерную проблему своей области. Это замечание прозвучало в тот момент, когда отрасль переваривала череду тревожных разоблачений: рассказ OpenAI о том, как модели вмешивались в собственные цепочки рассуждений, сообщения о том, как ИИ-агенты взламывали платформу для размещения кода Hugging Face, и предупреждение исследователя из Anthropic о скрытых страхах в этой области. Его ответом было не успокоение, а признание того, что самая трудная часть работы — это то, что следует за появлением возможности: удерживать систему в заданном направлении, которого хотят её создатели.

У этой проблемы есть название в лабораториях: выравнивание. Формулировка Сулеймана срывает покров эвфемизма. «Мы не должны создавать то, что не можем контролировать», — сказал он в том же выступлении, и он был откровенен в том, что система, сорвавшаяся с поводка, «потерпит неудачу в своей фундаментальной цели». Механизм, который он описывает, — это не вышедший из-под контроля разум из фильма; это обычное следствие выпуска систем, поведение которых их собственные создатели не могут полностью предсказать, а затем встраивания их в электронную почту, код и платежи.

Придает этим словам вес тот факт, кто их произносит. Сулейман возглавляет Microsoft AI — подразделение, которому компания поручила создание того, что она называет «гуманистическим сверхразумом»; иными словами, он — один из тех, кто сильнее всего давит на педаль газа, одновременно описывая тормоза. «Люди важнее, чем ИИ», — предложил он в качестве первого принципа, фраза, которая хорошо звучит, пока не сопоставишь её с отраслью, чьи циклы выпуска продукции вознаграждают того, кто быстрее всех «переворачивает следующую карту».

Именно это столкновение и вскрывает эта цитата. Контроль — это не функция, которую можно добавить в следующем релизе; он либо встроен в архитектуру с самого начала, либо его нет. Сулейман это знает, поэтому он описывает проблему как по-настоящему, по-настоящему большую, а не решенную. Открытым остается вопрос: изменит ли признание трудности, сделанное на деловом канале человеком с квартальными стимулами, то, что на самом деле будет создано, — или же это просто цена ведения бизнеса, произнесенная вслух.

Он назвал проблему по-настоящему, по-настоящему большой. Неудобная правда заключается в том, что он — один из немногих людей, кто в силах сделать её меньше. Или больше.

Теги: OpenAI, microsoft, AI safety, Mustafa Suleyman, Superintelligence