Элиезер Юдковский, автор фанфика, превративший страх перед ИИ в бестселлер

Элиезер Юдковский

Photo: Not credited by the source (published in the If Anyone Builds It, Everyone Dies media kit) / CC0, via Wikimedia Commons

Родился	11 сентября 1979 г. Чикаго, США
Род занятий	Писатель и исследователь ИИ

Когда, по сообщениям СМИ, Сэм Альтман рассказывал сотрудникам OpenAI, чем может закончиться гонка за сверхинтеллектом, один из трёх сценариев носил чьё-то имя. «План Элиезера» предполагает, что одна лаборатория первой создаст самоулучшающийся ИИ и воспользуется преимуществом, чтобы лишить всех соперников доступа к вычислительным мощностям. Альтман упомянул этот вариант лишь затем, чтобы назвать его ужасным. Разошедшаяся вместе с этой историей фраза о том, как «сжечь все GPU конкурентов», перекликается с примером, который сам Элиезер Юдковский приводил в эссе об ИИ-рисках: он предлагал «сжечь все GPU», тут же добавляя: «Я не думаю, что именно этого вы на самом деле захотели бы от мощного ОИИ».

Сам факт, что генеральный директор назвал стратегию его именем, показывает, насколько широко разошлись идеи Юдковского, — и почти весь этот путь они проделали благодаря текстам. Юдковский — исследователь ИИ без учёной степени и прежде всего чрезвычайно плодовитый автор: сотни эссе в блогах, огромный роман по вселенной «Гарри Поттера» и бестселлер, название которого не оставляет сомнений.

Он родился в Чикаго 11 сентября 1979 года и вырос в ортодоксальной еврейской семье, придерживавшейся современного направления; теперь он светский человек. Из-за хронических проблем со здоровьем он бросил среднюю школу и так и не поступил ни в старшую школу, ни в колледж. В 2000 году, в двадцать лет, он основал Институт сингулярности искусственного интеллекта при поддержке Брайана и Сабины Аткинс, намереваясь ускорить появление ИИ. Вскоре Юдковский забеспокоился о том, что сам помогал создавать, и к 2005 году институт уже изучал, как справляться с рисками, которые несут машины умнее своих создателей. В 2013 году организация стала Институтом исследований машинного интеллекта (Machine Intelligence Research Institute, MIRI) и обосновалась в Беркли.

Всерьёз писать он начал в ноябре 2006 года, когда вместе с экономистом Робином Хэнсоном стал одним из главных авторов Overcoming Bias — коллективного блога о человеческой рациональности. В феврале 2009 года его публикации легли в основу LessWrong — коллективного блога, посвящённого «совершенствованию искусства человеческой рациональности». Со временем он превратился в главную онлайн-площадку движения, называющего себя рационалистическим. В своих эссе, известных просто как «The Sequences», Юдковский разбирал когнитивные искажения, теорему Байеса и способы, которыми умные люди обманывают сами себя. В 2015 году MIRI собрал более 300 таких текстов в книгу Rationality: From AI to Zombies, а в 2017-м выпустил Inadequate Equilibria — небольшую книгу о том, почему общества не решают проблемы, которые вполне можно устранить. Стюарт Рассел и Питер Норвиг обсуждают его предложения в своём стандартном учебнике по ИИ, а Ник Бостром ссылается на него в Superintelligence: Paths, Dangers, Strategies.

Затем появился роман. Гарри Поттер и методы рационального мышления — фанаты называют его HPMOR — публиковался по главам на FanFiction.Net с 28 февраля 2010-го по 14 марта 2015 года: всего 122 главы и более 660 000 слов. В основе сюжета — одно изменение канона. Петунья Эванс выходит замуж за оксфордского профессора Майкла Верреса, и осиротевший Гарри растёт на домашнем обучении, изучая естественные науки. Поэтому мальчик, прибывший в Хогвартс, проверяет магию научным методом и не может смириться с несостыковками в мире волшебников. В Когтевране он дружит с Драко Малфоем, Гермионой Грейнджер и профессором Квирреллом. За шутками скрывается всё более мрачный сюжет, но на самом деле роман — о том, как мыслить.

Читатели разделились на два лагеря. В 2011 году The Atlantic описал переполох на фанатских форумах из-за «кощунственного — или блестящего — обращения с каноном» и процитировал писателя-фантаста Дэвида Брина, назвавшего роман «замечательной серией — тонкой, драматичной и будоражащей». Учёный-юрист Уильям Боуд в The Washington Post пошёл ещё дальше: «лучшая книга о Гарри Поттере из когда-либо написанных, хотя её автор — не Дж. К. Роулинг». Аманда Силберлинг из TechCrunch сочла её «невыносимо нудной». Юдковский отказался от предложения убрать из текста элементы Роулинг и издать историю как самостоятельный роман — по такому пути Fifty Shades of Grey прошёл от фанфика по Twilight. «HPMOR неразрывно связан с оригинальными романами о Гарри Поттере и может быть понят только на их фоне», — сказал он.

Парадокс его карьеры в том, что человек, которого чаще всего связывают с предупреждениями об опасности ИИ, одновременно увлёк людей его созданием. В феврале 2023 года Альтман написал, что Юдковский «заинтересовал многих из нас ОИИ», помог привлечь финансирование для DeepMind и «сыграл ключевую роль в решении основать openai». Той же весной Юдковский опубликовал в журнале Time колонку с призывом бессрочно и всемирно остановить масштабное обучение ИИ, а позднее Time включил его в список 100 самых влиятельных людей в сфере ИИ за 2023 год.

Самая прямолинейная его книга вышла 16 сентября 2025 года. Написанная вместе с коллегой по MIRI Нейтом Соаресом и опубликованная издательством Little, Brown, If Anyone Builds It, Everyone Dies доказывает, что современные системы ИИ не создают вручную, а выращивают: их обучают, формируя миллиарды числовых весов, которые не могут прочитать даже сами разработчики. Поэтому никто не способен надёжно задать цели системе, которая в итоге станет умнее нас. По словам авторов, человечество проиграет сверхинтеллекту так же, как люди проигрывают шахматному движку Stockfish, а единственный безопасный выход — согласованно остановить разработку. Книга попала в списки бестселлеров The New York Times в категориях твёрдого переплёта и нон-фикшна в целом.

Отзывы критиков разошлись не меньше, чем мнения читателей романа. В The Guardian Дэвид Шариатмадари назвал книгу «столь же ясной, сколь трудно принять её выводы». Иэн Лесли в The Observer похвалил её за «ясность, энергию и едва сдерживаемое ликование». Стивен Марше сравнил её с руководством по саентологии в The New York Times, а Адам Бекер в The Atlantic высказался ещё резче: «Они просто неправы».

Теперь спор переместился на экран. Юдковский — один из участников документального фильма Дэниела Роэра The AI Doc: Or How I Became an Apocaloptimist, посвящённого тому, каково становиться отцом в эпоху ИИ; наряду с ним в картине выступают Йошуа Бенжио и Тимнит Гебру. Фильм появился на Netflix 15 сентября 2026 года. Мальчик-волшебник, который проводит контролируемые эксперименты, и соавтор, желающий остановить эксперимент, — один и тот же писатель. Он по-прежнему предлагает читателям проследить цепочку рассуждений до конца, каким бы неуютным ни оказалось последнее звено.

Теги: искусственный интеллект, писатели, LessWrong, Machine Intelligence Research Institute, Nate Soares, Гарри Поттер и методы рационального мышления