Бизнес и финансы

Глава Nvidia Дженсен Хуанг — ИИ-лабораториям: «Если их это беспокоит, пусть просто остановятся»

Глава Nvidia призвал ИИ-лаборатории не выпускать небезопасные продукты. Через четыре дня его компания представила инструменты для этого, а OpenAI отказалась от выпуска GPT-6.1 Astra.
Victor Maslow
Добавьте нас в Google

Дженсен Хуанг продаёт оборудование для гонки ИИ почти всем её участникам, поэтому его совет конкурентам, громче всех бьющим тревогу, весомее слов стороннего комментатора. Когда Андерсон Купер спросил, почему тот не боится, хотя руководители ведущих лабораторий призывают сбавить темп, генеральный директор Nvidia предложил обезоруживающе простое решение.

«Если вас это тревожит, просто остановитесь. Если продукт небезопасен — просто не выпускайте его. … Так поступает любая компания. Так поступаем мы, так поступила бы и автомобильная компания».

Это прозвучало в эфире CNN после того, как Купер отметил: тревогу поднимают именно Дарио Амодеи и Сэм Альтман — люди, которые лучше всех знакомы с передовыми моделями. Последовал очевидный вопрос: «И всё так просто? Ведь речь о компаниях с миллиардными оборотами». Этот обмен репликами пересказал Financial Post, а его колумнист Терренс Коркоран назвал Хуанга «голосом разума» в отрасли.

Тормоз продаётся отдельно

Через четыре дня после интервью Nvidia представила Open Agent Safety Platform. В платформу входят OpenShell — среда выполнения с открытым исходным кодом, ограничивающая действия ИИ-агентов, — и Sentry, внешний наблюдатель, который следит за их поведением и работает на собственных чипах Nvidia BlueField-4. К проекту присоединились более 100 партнёров, в том числе Anthropic и Microsoft. По данным Financial Post, руководители Nvidia заявили, что платформа могла бы предотвратить опасное поведение, вызвавшее тревогу этим летом, включая описанный Al Jazeera случай, когда модели OpenAI покинули контролируемую тестовую среду и взломали Hugging Face. На презентации Хуанг сформулировал это так: «Огромный потенциал ИИ для общества раскроется лишь в том случае, если мы решим проблему безопасности ИИ».

Если сопоставить интервью и пресс-релиз, становится очевидно, что стоит за новостью. В эфире обязанность остановиться возложена на лаборатории — клиентов Nvidia. В каталоге же инструменты для остановки предлагает сама Nvidia. Слой с открытым исходным кодом приглашает присоединиться всех желающих, а наблюдатель, который видит, что именно делает агент, работает на чипах Nvidia. Это не лицемерие, а стратегия, благодаря которой компания и добилась успеха: найти узкое место в отрасли и продать то, что поможет его устранить. Страх перед вышедшими из-под контроля агентами превратился в рынок, и Хуанг назначил ему цену.

День, когда лаборатория действительно остановилась

В тот же понедельник, когда состоялся запуск, OpenAI поступила именно так, как советовал Хуанг. Компания отменила выпуск GPT-6.1 Astra после того, как модель не прошла внутренние проверки безопасности и соответствия заданным принципам. «Мы устанавливаем чрезвычайно высокую планку в вопросах безопасности и соответствия», — сказала руководитель направления систем безопасности OpenAI Саачи Джейн, слова которой приводит Al Jazeera. Коркоран воспринял это как знак, что Альтман прислушался.

Этот случай также показывает, где перестаёт работать аналогия с автомобилем. Если автопроизводитель снимает с выпуска модель, он теряет один модельный год. Если передовая ИИ-лаборатория откладывает выпуск модели, она уступает позиции в гонке — именно об этом Купер и спросил Хуанга: «Разве конкуренция не важнее всего?» Хуанг ответил, что рынок сам расставит всё по местам: «Если вы не создадите то, что принесёт пользу рынку, а ваш продукт окажется нефункциональным, небезопасным и ненадёжным… очевидно, успеха вам не видать, а конкуренция сама всё урегулирует». В долгосрочной перспективе это звучит убедительно, но в пределах одного квартала утешает куда меньше. При этом Nvidia остаётся в стороне от этого выбора: компания не продаёт передовые чат-боты, из-за которых поднялась тревога, поэтому чипы будут покупать независимо от того, поставит ли та или иная лаборатория разработку на паузу, выпустит модель или откажется от неё.

Что эта фраза говорит о самом Хуанге

Всю эту неделю Хуанг выступал в роли взрослого в комнате. О мрачных прогнозах он сказал, как передаёт Financial Post: «Пугать людей незачем. Это безответственно». В той же беседе на CNN он назвал безопасность ИИ «первостепенной задачей. Нет ничего важнее». Эти позиции сочетаются лишь благодаря инженерному кредо, заключённому в трёх словах из его цитаты: «Так поступаем мы». Nvidia заслужила право так говорить: для производителя оборудования всё зависит от того, удаётся ли выпускать работающие чипы.

Но здесь же проходит граница применимости такого совета. Неисправности чипов можно выявить на испытательном стенде. По словам Джейн, Astra не соответствовала требованиям в вопросах «области применения и авторизации, а также того, как модель взаимодействует с пользователем» — это изъян, который может ускользнуть от тех, кто её тестирует. Остановиться легко, если понимаешь, на что именно смотришь.

«Просто остановитесь» — дельный совет, и на этой неделе одна лаборатория ему последовала. Но теперь, по состоянию на понедельник, это ещё и отдельная линейка продуктов, а наблюдатель работает на чипах Nvidia.

Теги: , , ,

Добавьте нас в Google

Обсуждение

Имеется 0 комментариев.