Генеральный директор Google Сундар Пичаи: доля кода, написанного ИИ в Google, больше ничего не значит

Глава Google перестал считать. Когда Сундара Пичаи спросили, какая доля кода компании теперь пишется с помощью ИИ, он ответил, что вопрос уже не имеет смысла: ИИ участвует в создании всего кода. В том же разговоре он преуменьшил вероятность события, к которому готовится значительная часть индустрии: появления ИИ, который будет создавать всё более совершенные версии самого себя без участия человека.

Оба утверждения могут оказаться верными. Проблема в том, кто их проверяет. Показатель, от которого отказался Пичаи, был единственной цифрой, по которой сторонние наблюдатели могли сравнивать Google с другими компаниями. Теперь ему на смену пришли другие метрики, а доводы в пользу более спокойного взгляда на самоулучшающийся ИИ основаны на измерениях, которые Google проводит сам.

Что Сундар Пичаи рассказал об ИИ и коде Google

Пичаи беседовал с Алексом Канторовицем в подкасте Big Technology Podcast. Запись сделали в штаб-квартире Google в Маунтин-Вью, а сам Канторовиц также опубликовал разговор в формате вопросов и ответов. Когда Канторовиц напомнил о прежнем заявлении, что ИИ создаёт четверть кода Google, и спросил, какова нынешняя доля, Пичаи назвал этот вопрос «бессмысленным»: теперь ИИ «глубоко влияет» на каждую часть кода, над которой работает Google.

Рекомендуем прочитатьOpenAI снова остановила свои самые мощные модели после побега ИИ-агента

Вместо этого он привёл данные о Gemini 4 Argon, новейшей модели Google, которую компания предоставила своим инженерам. За четыре недели после запуска, по словам Пичаи, число CL — внутреннее название компании для отправок кода на рассмотрение — выросло на 30%, а количество откатов, то есть изменений, которые приходится отменять после выпуска, сократилось на треть. «Теперь мы отслеживаем это с помощью новых метрик», — сказал он.

Прежняя метрика исчезла не сама собой. В апрельской публикации в блоге Google сообщила, что доля кода, созданного ИИ, в новых разработках достигла 75% — против 25% в 2024 году и 50% предыдущей осенью, писали Semafor и ETV Bharat. Тогда Semafor отметил, что некоторые из этих заявлений почти невозможно проверить, и сравнил их с показателями Snap — 65% — и планами Meta выйти на сопоставимый уровень.

Почему Пичаи считает, что до самоулучшающегося ИИ ещё далеко

Говоря о рекурсивном самоулучшении (RSI), Пичаи представил свой ответ как уточнение слов сооснователя Google. По его словам, Сергей Брин называл RSI важным фактором развития Argon, однако «до конечного состояния RSI нам ещё очень далеко». Затем Пичаи описал нынешнее положение дел в Google: «Правильнее сказать, что циклы RSI существуют наряду с исследователями ИИ на разных этапах разработки моделей. Я бы сказал, что у исследователей ИИ уже почти есть агенты-помощники, которые в некоторой степени автоматизированно взаимодействуют друг с другом, чтобы создавать эти модели».

За несколько дней до этого Брин высказался решительнее. На круглом столе, посвящённом Argon, запись которого опубликовала Google, он сказал, что компания «начинает выходить на эту беговую дорожку RSI» и что «теперь наши исследователи и модель работают рука об руку над созданием следующей версии модели», сообщило издание Business Insider. В опубликованном в этом месяце докладе Gladstone AI говорится, что большинство опрошенных исследователей из Anthropic, OpenAI и Google DeepMind ожидают начала RSI в ближайшие три-двенадцать месяцев.

Доклад Google о безопасности подтверждает слова Пичаи — по результатам собственных тестов Google

На бумаге данные говорят в пользу Пичаи. В докладе Google DeepMind о безопасности Argon говорится, что «значимого сквозного ускорения исследований и разработок в сфере ИИ — как за счёт ИИ, так и другими способами — не наблюдается», а соответствующий риск оценивается как «в настоящее время низкий», сообщает TNW. По данным доклада, ИИ-агенты «создают большую часть производственного кода и исправлений ошибок, однако перед отправкой изменения кода по-прежнему проверяют люди». Доля запросов на изменение кода, полностью выполненных агентами, выросла с 7,5% в апреле до 11,9% в сентябре; примерно в 88% случаев по-прежнему требуется неоднократное руководство со стороны человека или код, написанный человеком.

Эти выводы основаны на инструментах самой Google. Порог автоматизации исследований в области ИИ проверяют с помощью внутреннего теста из 74 задач, который недоступен никому за пределами компании. В анализе, опубликованном на LessWrong, обращают внимание на фразу из самого доклада: среди первоначальных задач, проверенных Google, «примерно в четверти были ошибки, из-за которых ни одна отправка не могла пройти проверку». Поскольку многие запуски завершились по тайм-ауту, в докладе не приводится точечная оценка для Argon: модель решила примерно половину задач в тех запусках, которые завершились. Google утверждает, что её вывод остаётся в силе, даже если считать, что все незавершённые запуски завершились бы успешно.

Именно проверка человеком служит главным предохранителем в аргументации о безопасности. На 30% больше отправок кода — это на 30% больше изменений для тех, кто должен этот предохранитель удерживать. При этом метрики, выбранные Пичаи, учитывают объём работы и откаты, но не то, насколько тщательно проверяли каждое изменение.

Решение, предложенное самим Пичаи: независимые аудиторы

Пичаи не стал отмахиваться от опасений. По его словам, в исследованиях согласования ИИ с человеческими ценностями «по-прежнему есть очевидные пробелы», и «беспокоиться вполне разумно». Следующим шагом, считает он, должны стать общеотраслевые стандарты, «в том числе возможность проводить оценку с привлечением независимых экспертов», по аналогии со стандартами бухгалтерского учёта и внешними аудиторами. При этом «регулирование в конечном итоге тоже сыграет свою роль».

Если оценивать ситуацию по этому критерию, оба заявления этой недели пока остаются непроверенными. Google подсчитывает собственные списки изменений, оценивает собственные откаты и выставляет баллы собственному исследовательскому тесту.

Процент, который Пичаи назвал бессмысленным, был грубым показателем, зато его мог сравнить с цифрой Snap кто угодно. Новые данные можно увидеть только изнутри Google.

Теги: Google, Gemini, Сундар Пичаи, программирование с ИИ, Сергей Брин

Похожее

Уровень идентичности, которого у интернета никогда не было, строится сейчас — под давлением синтетического мира

Демис Хассабис о том, кто должен оплачивать безопасность ИИ: «Финансирование должно быть значительным и в основном поступать от индустрии»

Утечка GTA VI — не взлом, а бизнес-модель с манифестом

Claude проник в системы OpenAI за считаные дни — и главные вопросы теперь к Anthropic

Microsoft устранила 570 уязвимостей Windows за один месяц. Большинство из них обнаружил ИИ

В OpenAI признали, что агент GPT-6 Astra убрал свой мониторинг и солгал об этом