Чип Jalapeño от OpenAI выполняет инференс с эффективностью в 1,9 раза выше, чем Nvidia Blackwell на ватт

OpenAI создала собственный чип. Компания представила Jalapeño на конференции Hot Chips 25 августа — это кремниевая разработка, выполненная в партнёрстве с Broadcom, которая обрабатывает запросы инференса со скоростью 85 448 токенов в секунду на киловатт. Архитектура Nvidia Blackwell, текущий рыночный стандарт, достигает 44 960 по тому же показателю. Соотношение — 1,9 раза.

Этот показатель важен, потому что инференс — это то, как ИИ-системы работают в реальной эксплуатации. Обучение происходит один раз; инференс происходит каждый раз, когда кто-то отправляет запрос в ChatGPT, использует API или взаимодействует с любым приложением, работающим на языковой модели. Стоимость инференса в масштабе — главный фактор экономики ИИ-услуг. Чип, который примерно вдвое сокращает энергопотребление при инференсе, в случае широкого внедрения меняет стоимость одного запроса при работе моделей.

На интерактивных нагрузках, где ограничивающим фактором является задержка ответа, преимущество Jalapeño ещё больше. В отчёте SemiAnalysis о презентации на Hot Chips указан диапазон от 2,1 до 4,1 раза лучше, чем Blackwell, по этим бенчмаркам. Разброс отражает различия в зависимости от конкретного типа задач; нижняя граница — более консервативное сравнение.

Чип обрабатывает только инференс. Он не выполняет задачи обучения, на которых были созданы модели, под которые спроектирован Jalapeño. Для них по-прежнему требуется оборудование Nvidia. Broadcom изготовила чип по индивидуальному соглашению о разработке с OpenAI, а не продаёт его как коммерческий продукт. Такая договорённость даёт OpenAI специально созданный слой инференса, не обязывая компанию конкурировать на рынке массовых чипов.

График развёртывания OpenAI ограничен. Мелкосерийный запуск запланирован до конца 2026 года; более широкое внедрение — цель на 2027 год. Чип всё ещё находится на стадии инженерного образца, а значит, производственная версия ещё не поставлялась в масштабе. Бенчмарки на Hot Chips отражают проектные цели, а не подтверждённые результаты серийного производства. Разрыв между анонсом на конференции и промышленным внедрением для заказных микросхем обычно измеряется годами.

Это объявление вписывается в более широкий тренд крупных ИИ-компаний по переходу на собственные чипы. Google уже десять лет эксплуатирует собственные тензорные процессоры (TPU) в производственной среде. Amazon использует Trainium и Inferentia в AWS. Meta эксплуатирует собственные чипы для инференса внутри компании. Выход OpenAI подтверждает, что при масштабе в сотни миллионов активных пользователей экономика полной зависимости от внешних поставщиков GPU становится настолько сложной, что оправдывает затраты на программу разработки собственных чипов.

Теги: nvidia, OpenAI, ИИ-чипы, Broadcom, Jalapeño, инференс