Король Карл III предупредил создателей ИИ об «экзистенциальной опасности» их технологии

«Те, кто создал эти технологии, теперь всё чаще предупреждают, что ИИ рискует развить более тёмные способности — возможно, даже отнимать жизнь». Фраза, которую выбрал король Карл, не была предостережением о хакерах или враждебных государствах. Это было зеркало, поднесённое к тем, кто строит эти системы, и предупреждение внутри него он приписал им самим.

Это та половина речи, которую большинство репортажей обошло стороной. Строка, которая разлетелась, была более мягкой из того же выступления — об «экзистенциальных опасностях попадания таких технологий в плохие руки». «Плохие руки» — удобная рамка, если вы тот, кто поставляет инструмент. Она выносит опасность вовне, в некого злодея, злоупотребляющего нейтральным инструментом, а не в сам инструмент или компании, соревнующиеся в том, чтобы сделать его ещё мощнее. Карл отказался оставлять всё на этом.

Вместо этого он направил риск обратно к его источнику. Создатели — это те, кто сейчас бьёт тревогу, сказал он — и затем задал вопрос залу с острым подтекстом: «Неужели нам не нужны достаточные средства контроля, пока не стало слишком поздно?»

Вес этого предложения лежит на одном слове. Контроль — это то единственное, что такое собрание на самом деле не может передать. У него нет законодательной власти, оно не устанавливает ограничений, которым компания обязана подчиняться, и не несёт никаких санкций за их игнорирование. В итоге было достигнуто соглашение о стремлении к «общим принципам» — фраза, описывающая стремление, а не механизм. Руководители, по всем отзывам, были благодарны за беседу. Благодарность — это не гарантия безопасности.

Здесь есть институциональная инверсия, которую легко не заметить за церемонией. Монарх не имеет рычагов влияния на Nvidia, OpenAI, Anthropic или Google DeepMind. Он не может лицензировать модель, проверять тренировочный процесс или замедлять запуск. Люди, которые могут это делать — законодатели, регуляторы конкуренции, министр, который на самом деле сидел в зале, — не были теми, кто созывал встречу. Фигура с символической властью и без полномочий принуждения просила людей, обладающих всей властью в мире, свободной от принуждения, пожалуйста, контролировать себя самих. Это примерно та схема, которую индустрия предпочитала всё это время.

Прочитанная таким образом, встреча оказала строителям тихую услугу. Она позволила истории стать историей о «плохих руках» — рамкой, в которой технология в порядке, и только её злоупотребление является проблемой. Она превратила предупреждение о внутренне присущей способности — о машине, развивающей «более тёмные способности» по собственной траектории, — в знакомые дебаты о злоумышленниках. И она обернула всё это в легитимность Короны, которая, какой бы искренней она ни была, не может принудить к соблюдению ни одной строчки из тех мер защиты, к которым призывала.

Встреча прошла в замке Дамфрис-хаус (Dumfries House), восстановленном грузинском поместье короля в Эйршире, Шотландия. В зале присутствовали генеральный директор Nvidia Дженсен Хуанг (Jensen Huang), основатель Google DeepMind Демис Хассабис (Demis Hassabis), финансовый директор OpenAI Сара Фрайар (Sarah Friar), глава отдела глобальных связей Anthropic Тино Куэльяр (Tino Cuéllar), министр Великобритании по искусственному интеллекту Канишка Нараян (Kanishka Narayan) и отец Паоло Бенанти (Paolo Benanti), советник Ватикана по этике технологий. Карл также осторожно отметил потенциал ИИ — особенно в медицине — и поднял вопрос о его воздействии на окружающую среду. Он попросил гостей сохранять технологию «твёрдо на службе человечества, общества и природы». Никаких обязательных обязательств они с собой не унесли.

Итак, самые влиятельные люди в этой области услышали от главы государства, что их продукт способен сам по себе отнимать жизнь — и вышли с предпочитаемой ими рамкой нетронутой и с королевской аудиторией в качестве трофея. Средства контроля, о которых просил король, остались ровно там же, где были до его речи: в руках тех, к кому он обращался, и ничьих больше.

Теги: OpenAI, AI safety, AI risks, King Charles