Технологии

Anthropic задействовала свои правила безопасности против самоулучшающегося ИИ

Adrian Kessler
Добавьте нас в Google

Anthropic официально пришла к выводу, что искусственный интеллект уже настолько ускоряет собственные исследования, что компания пересекла установленную ею же границу. В дополненном проспекте IPO создатель Claude сообщает, что достиг порогового уровня возможностей в области исследований и разработок ИИ, определённого в Responsible Scaling Policy — внутреннем своде правил, который устанавливает, какие меры безопасности и надзора необходимы моделям компании. В документе этот порог описан как начало рекурсивного самоусовершенствования — момента, когда системы ИИ начинают ускорять работу над созданием более совершенного ИИ.

Необычность этого вывода в том, на чём он не основан. Anthropic пишет, что пришла к нему «исходя из наших ожиданий относительно будущих моделей и общих темпов прогресса, а не из того, что мы наблюдали у нынешних моделей». Ни одна из доступных сейчас моделей Claude, как показано, эту границу не пересекла. Компания действует на основании собственного прогноза и сообщает об этом инвесторам до начала торгов своими акциями.

В качестве подтверждения Anthropic приводит внутренние данные. В проспекте говорится, что за один из недавних месяцев Claude написал более 90% кода в кодовой базе компании, а объём кода, который каждый инженер вносит за день, вырос более чем в 45 раз. Anthropic также отмечает, что её модели «пишут значительную и растущую долю нашего кода и всё чаще участвуют в исследованиях, в том числе в исследованиях безопасности».

В политике предусмотрены два способа достичь этого порога. Первый — создать модель, способную полностью заменить всех штатных научных сотрудников и инженеров Anthropic при сопоставимых затратах. Второй — добиться «резкого ускорения» прогресса в области ИИ: согласно определению в документе, это примерно два года прогресса за один, вероятно, благодаря автоматизации исследований. Поскольку для выполнения второго критерия достаточно, чтобы компания могла «наблюдать или ожидать» такого скачка, для его достижения хватает прогноза.

Пересечение порога обязывает Anthropic принять более строгие меры защиты. Политика предусматривает масштабные проекты по обеспечению безопасности, призванные противостоять самым хорошо оснащённым злоумышленникам в мире, а также режим «всё под наблюдением»: каждое критически важное действие при разработке ИИ должно фиксироваться и анализироваться искусственным интеллектом на предмет угроз, в том числе исходящих от инсайдеров — людей или машин. Внутренняя команда red team также должна обнаружить больше способов взломать защиту моделей, чем все внешние исследователи, участвующие в программах вознаграждения за найденные уязвимости, вместе взятые. В проспекте говорится, что компания уже отложила более чем на месяц предварительное обучение новой передовой модели, чтобы усилить защиту от кражи весов модели, и рассматривает возможность ввести правила, по которым некоторые исследовательские решения должны будут получать одобрение человека, пока Claude берёт на себя всё больше такой работы.

Для тех, кто использует Claude на работе или в Claude Code, практическим следствием могут стать более редкие выпуски обновлений. В письме основателей, опубликованном вместе с материалами IPO, говорится, что Anthropic порой может решить «продвигаться медленнее, чем могла бы, чтобы сделать наши системы безопаснее, даже если это поставит нас в менее выгодное положение по сравнению с конкурентами». Сегодня в приложениях ничего не изменится.

Этот вывод — самооценка в рамках добровольной политики, которую Anthropic разработала сама и может пересматривать; независимый аудитор его не подтверждал. В самой политике признаётся, что этот порог «оказалось трудно перевести в практические критерии», а в документах компании оговаривается, что многие свидетельства относятся к запаздывающим показателям — значит, реальное ускорение могут заметить лишь постфактум. Раскрытие рисков в проспекте также призвано защитить компанию от будущих судебных исков, а в более ранней версии того же документа, как сообщал Gizmodo, говорилось лишь, что Anthropic «может вскоре соответствовать» этим критериям.

Anthropic сообщает, что продолжает анализировать исходные данные и опубликует дополнительные отчёты о том, что означает достижение этого порога. Ожидается, что цену акций установят 18 ноября, а 19 ноября они начнут торговаться на Nasdaq под тикером ANT; предполагаемый диапазон цены — от 70 до 78 долларов за акцию. Пока единственное подтверждение того, что граница пересечена, — собственный прогноз Anthropic.

Теги: , , , , ,

Добавьте нас в Google

Обсуждение

Имеется 0 комментариев.