Глава OpenAI Сэм Альтман назвал три финала гонки ИИ, два из них звучали ещё в 2023 году

Генеральный директор OpenAI Сэм Альтман представил сотрудникам карту возможных исходов гонки за сверхинтеллект — и примечательнее всего в ней то, как мало нового. Из трёх сценариев, которые он изложил коллегам, два почти совпадают с идеями, письменно сформулированными его компанией несколько лет назад. Ни одна из них так и не воплотилась в жизнь. Третий сценарий — тот, что попал в заголовки, — Альтман упомянул лишь для того, чтобы сразу его отвергнуть.

Если не зацикливаться на названиях, каждый вариант сводится к одному и тому же вопросу: кто будет контролировать вычислительные мощности, на которых работают передовые модели. Из пересказа слов самого Альтмана также становится понятно, почему решение этого вопроса постоянно откладывают.

Что Сэм Альтман рассказал сотрудникам OpenAI о будущем ИИ

О внутренней презентации первой сообщила The Information со ссылкой на знакомых с ней людей; позднее эту тему подхватили The Decoder, Forbes и Latin Times. Все публикации опираются на анонимные источники. Первый вариант — международная организация по образцу Международного агентства по атомной энергии, которая устанавливала бы стандарты безопасности для разработчиков передовых моделей и следила за их соблюдением: инспектировала системы, требовала аудита, контролировала использование вычислительных мощностей и энергии. Два собеседника The Information сообщили, что Альтман, судя по всему, поддержал эту идею.

Второй вариант он назвал «планом Демиса» — в честь сооснователя Google DeepMind Демиса Хассабиса, который около десяти лет назад предложил создать для ИИ организацию по образцу CERN. В версии Альтмана ведущие лаборатории объединяются в одну структуру или работают под её эгидой, а та предоставляет модели странам, готовым сотрудничать.

Третий вариант — «план Элиэзера», названный в честь теоретика безопасности ИИ Элиэзера Юдковски. Один разработчик первым создаёт самоулучшающийся ИИ и использует возникшую благодаря этому экономическую мощь, чтобы лишить всех конкурентов вычислительных ресурсов. В выражении, разошедшемся по СМИ, он должен был бы «расплавить графические процессоры всех остальных». «Очевидно, я считаю этот вариант ужасным», — как сообщается, сказал Альтман, добавив, что включил его «для полноты картины».

Большую часть этого списка OpenAI уже составила в 2023 году

Международный надзорный орган — самый давний пункт в этом списке. В публикации за подписью Альтмана, президента OpenAI Грега Брокмана и занимавшего тогда пост главного научного сотрудника Ильи Суцкевера компания утверждала, что в конечном счёте миру, вероятно, «понадобится нечто вроде МАГАТЭ для работы над сверхинтеллектом» — орган, который мог бы «инспектировать системы, требовать аудита» и ограничивать развёртывание моделей, превысивших заданный порог возможностей или вычислительных мощностей.

В той же публикации описывались ещё два возможных пути. Крупные государства, говорилось там, «могли бы запустить проект, частью которого стали бы многие из нынешних инициатив», — вариант, близкий к объединению лабораторий, которое Альтман теперь связывает с Хассабисом. Или же участники отрасли «могли бы коллективно договориться», что «темпы роста возможностей передовых систем ИИ не должны превышать определённый показатель в год».

Иными словами, речь шла об ограничении скорости. По данным The Decoder, Альтман во внутренних обсуждениях жаловался, что жизнеспособных предложений об ограничении темпов развития ИИ слишком мало. Его компания опубликовала одно из них. Но так и не появилось никого, у кого были бы полномочия обеспечить его соблюдение.

Почему надзорный орган остался на бумаге: OpenAI говорит, что не может сбавить темп

Причину назвали на том же собрании. Как сообщается, Альтман сказал сотрудникам, что первые два плана требуют масштабной координации, а OpenAI сейчас не может позволить себе уступить позиции: и она, и Anthropic движутся к выходу на биржу. Crypto Briefing сформулировало логику инвесторов предельно прямо: компании, готовящиеся к размещению акций, укрепляют свои преимущества, а не передают их консорциуму.

Для создания МАГАТЭ в сфере ИИ Вашингтон и Пекин должны были бы согласиться допустить инспекторов в свои самые закрытые лаборатории. Пока же, отмечает Forbes, даже предложение США о том, чтобы две страны уведомляли друг друга об опасных инцидентах, связанных с ИИ, остаётся лишь наброском, а не соглашением.

Вместо МАГАТЭ лаборатории создают аналог FINRA

Реально продвигающийся проект в области регулирования не совпадает ни с одним из трёх вариантов Альтмана. OpenAI, Google и Anthropic работают над отраслевой саморегулируемой организацией Standards Authority for Frontier AI, созданной по образцу FINRA — частной структуры, контролирующей деятельность брокеров в США. По описанию Latin Times, она должна разработать систему тестирования до выпуска моделей, сообщать об инцидентах и аккредитовывать аудиторов, но не получит полномочий обеспечивать обязательное исполнение правил. При этом три лаборатории до сих пор не договорились, кто должен тестировать новые модели. Марк Цукерберг из Meta и Дженсен Хуанг из Nvidia утверждают, что подобные правила в основном защищают уже существующих игроков рынка, а в США уже подан антимонопольный иск, в котором координация лабораторий по вопросам безопасности названа картельным сговором.

Стоит внимательнее присмотреться и к самим названиям сценариев. Изначальный образ Юдковски — «сжечь все графические процессоры» — был мысленным экспериментом о том, насколько масштабным должен быть шаг, чтобы система с согласованными целями остановила безрассудную гонку; сам он писал, что не хотел бы, чтобы это действительно произошло. «План Элиэзера» в изложении Альтмана превращает этот аварийный тормоз в способ добиться монополии. Согласно пересказу The Decoder, один из источников сообщил, что реплику восприняли как выпад в адрес конкурента — с учётом связей Юдковски с Anthropic.

По данным The Information, в течение года OpenAI планирует определиться, какой путь выбрать. Отраслевая организация по разработке стандартов рассчитывает начать работу в конце 2026-го или в начале 2027 года.

Пока OpenAI не сделала выбор, она продолжает двигаться по единственному пути, которого в списке не было: самой гонке.

Теги: OpenAI, Sam Altman, Demis Hassabis, AI regulation, Eliezer Yudkowsky