Нейт Соарес: исследователь ИИ, который перестал копить на пенсию

Нейт Соарес

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

Родился	1989
Род занятий	Исследователь искусственного интеллекта

У Нейта Соареса до сих пор открыт пенсионный счёт, который он завёл, работая в Google. Уже около десяти лет он не вносит туда деньги. Дело не в беспечности: президент Machine Intelligence Research Institute считает, что сверхчеловеческий искусственный интеллект, скорее всего, уничтожит всех до того, как он состарится настолько, чтобы воспользоваться накоплениями. Теперь он говорит об этом публично с ровным спокойствием инженера, зачитывающего результаты испытаний. «Я не из тех, кто боится, что ИИ вызовет массовую безработицу, — сказал он одному из интервьюеров осенью. — Я из тех, кто боится, что ИИ убьёт всех людей». В основе его работы — вопрос, который он отказывается считать решённым: можно ли убедить тех, кто создаёт эту технологию, остановиться, если сам ожидаешь худшего.

Трудно отмахнуться от его слов ещё и потому, что известно, откуда он пришёл. Соарес не философ, который поздно увлёкся компьютерами. Он изучал информатику и экономику в Университете Джорджа Вашингтона, затем писал программное обеспечение для федерального правительства: сначала работал научным сотрудником в Национальном институте стандартов и технологий, а потом — подрядчиком Министерства обороны, разрабатывая инструменты для Национального университета обороны. После этого были Microsoft и Google — те самые компании, деятельность которых он теперь призывает ограничить.

В 2014 году, в середине двадцатых лет (он родился в 1989-м), Соарес ушёл из Google в небольшую некоммерческую организацию в Беркли, штат Калифорния. Там годами задавались вопросом, который большинство представителей отрасли считало научной фантастикой: как заставить разум, превосходящий твой собственный, делать именно то, что ты имел в виду? Став научным сотрудником MIRI, он был ведущим автором технической исследовательской программы института, написанной вместе с Беней Фалленстайном и позднее опубликованной под названием «Agent Foundations for Aligning Machine Intelligence with Human Interests». В январе 2015 года на эту программу ссылались в работе «Research Priorities for Robust and Beneficial Artificial Intelligence» Стюарта Рассела, Дэниела Дьюи и Макса Тегмарка. Она вышла вместе с открытым письмом, призывавшим исследователей ИИ уделять общественной пользе своих систем не меньше внимания, чем их возможностям.

В тот же период появилась работа, благодаря которой в профессиональном лексиконе закрепился один из ключевых терминов. Статья «Corrigibility», написанная Соаресом вместе с Фалленстайном, Элиэзером Юдковским и Стюартом Армстронгом и представленная на семинаре AAAI в начале 2015 года, разбирала проблему, которая кажется простой лишь на первый взгляд: система, достаточно развитая, чтобы приносить пользу, может оказаться достаточно развитой и для того, чтобы сопротивляться попыткам её исправить или отключить. По словам Соареса и Юдковского, именно в этой статье впервые появился термин «проблема согласования ИИ» — теперь его используют даже лаборатории, чьи планы они критикуют.

Позднее, в 2015 году, Соарес сменил Люка Мюльхаузера на посту исполнительного директора MIRI и оставался на этой должности восемь лет. При нём институт занимался не созданием продуктов, а абстрактной математикой: теорией принятия решений, логической неопределённостью и формальным вопросом о том, как агенту рассуждать о самом себе. Вместе со Скоттом Гаррабрантом и другими авторами он написал «A Formal Approach to the Problem of Logical Non-Omniscience», а также «Cheating Death in Damascus» — статью о теории принятия решений, подготовленную совместно с Бенджамином Левинстайном и опубликованную в The Journal of Philosophy в 2020 году. В 2017-м Соарес вернулся в Google, чтобы выступить с докладом о нерешённых проблемах согласования и объяснить, почему они сложнее, чем принято считать в отрасли. В своём блоге Minding Our Way он также опубликовал Replacing Guilt — цикл эссе о мотивации, который теперь можно купить в виде книги. В некоторых кругах благодаря ему Соарес стал известен скорее советами о том, как работать, чем рассуждениями о машинах.

Перелом наступил в 2023 году. MIRI объявил, что отходит от исследований в области согласования и переключается на работу с политиками и общественностью, продолжая при этом поддерживать некоторые технические исследования. Соарес покинул пост исполнительного директора и стал президентом института, а генеральным директором назначили Мало Бургона. В 2025 году Соарес рассказал The Atlantic, что сосредоточился на просвещении общественности: развитие ИИ идёт слишком быстро, чтобы успеть создать необходимые меры защиты.

Результатом этого поворота стала книга If Anyone Builds It, Everyone Dies, написанная Соаресом вместе с Юдковским и опубликованная издательством Little, Brown в сентябре 2025 года. Её аргумент сформулирован прямо в названии. Сверхинтеллект, созданный «с использованием чего-либо хотя бы отдалённо похожего на современные методы», с большой вероятностью приведёт к вымиранию человечества; исследования по согласованию ещё очень далеки от готовности, а остановить разработчиков, стремящихся обогнать друг друга в создании систем, которые авторы считают катастрофически опасными, может только международное регулирование. В октябре 2025 года книга вошла в список бестселлеров The New York Times. Затем вышло испанское издание от Planeta, а в апреле 2026 года Hayakawa Shobo опубликовало перевод на японский язык.

Реакция на книгу выявила слабое место в аргументации. Самые резкие возражения прозвучали от людей, разделяющих тревогу авторов. Уилл Макаскилл, один из основателей движения эффективного альтруизма, назвал книгу разочарованием и заявил, что она опирается на слабые доводы, построенные вокруг аналогии с эволюцией, и на невысказанное предположение, будто развитие ИИ будет совершать скачки, а не идти постепенно. Рецензия Клары Коллиер в Asterisk вышла под заголовком, который выразил разочарование сочувствующих автору читателей: «More Was Possible». Есть и неудобный вопрос, на котором Соарес редко останавливается. MIRI годами пытался решить проблему согласования, а затем пришёл к выводу, что сделать это вовремя не удастся. Это можно счесть интеллектуальной честностью — или признанием того, что собственная исследовательская программа института провалилась. Свою уверенность Соарес объясняет шахматной аналогией: он может быть уверен, что Магнус Карлсен его победит, даже не зная, какой фигурой тот поставит мат. Для критиков в этом и заключается проблема: прогноз о финале без объяснения того, какими ходами к нему придут.

Ничто из этого его не смягчило. В октябре 2026 года в подкасте The Most Interesting Thing in AI, который ведёт Николас Томпсон, Соарес заявил, что вероятность того, что человечество не проживёт ещё и десяти лет, превышает 50 процентов, и объяснил, почему не трогает свой счёт 401(k). В том же разговоре он настаивал, что исход не предрешён. «Я делаю всё, что в моих силах, чтобы этого не допустить. Я не считаю это неизбежным», — сказал он и вспомнил эссе К. С. Льюиса «On Living in an Atomic Age». Льюис писал: если бомба всё же упадёт, пусть она застанет людей за разумными, обычными делами, а не в панике. Соарес сформулировал свою версию так: «Пусть она застанет нас за тем, как мы призываем наши правительства заключить договоры о нераспространении ядерного оружия».

Эту работу он и выбрал для себя. Соарес остаётся президентом MIRI и тратит время на интервью, выступления и брифинги, стараясь превратить тревогу, которую пока разделяет лишь узкий круг исследователей, в международное соглашение об остановке гонки за сверхинтеллектом. Пенсионный счёт в Google по-прежнему открыт. Просто теперь Соарес на него не рассчитывает.

Теги: искусственный интеллект, Google, безопасность ИИ, Eliezer Yudkowsky, Machine Intelligence Research Institute, Nate Soares