Три года разговор об ИИ крутился вокруг того, кто построит самую большую модель. Менее эффектный вопрос — сколько стоит держать эту модель в рабочем состоянии, чтобы она отвечала миллионы раз в день и не падала, — и есть то место, через которое сегодня утекают деньги. llm-d, открытый проект для инференса, запущенный Red Hat, IBM, Google Cloud, CoreWeave и Nvidia, вышел в версии 1.0, и его предложение нацелено именно на эту утечку.

Механизм стоит описать прямо. ИИ-агент не задаёт один вопрос и не уходит. Он держит длинные сессии, перечитывает одни и те же документы и запускает параллельных помощников, которые нагружают железо непредсказуемыми всплесками. В такой схеме работа с контекстом может обходиться дороже, чем генерация ответа. По словам Шади Сабы, вице-президента по инженерии ИИ/МО в CoreWeave, каждая команда, обслуживающая модели в больших масштабах, упирается в «контекст, управление которым часто стоит дороже самого результата». Ответ llm-d — маршрутизация: каждый запрос отправляется на сервер, у которого его контекст уже лежит в кеше, вместо того чтобы пересчитывать всё с нуля.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

Версия 1.0 — это не столько новые трюки, сколько уверенность, что существующие можно гонять месяцами. Проект уже умел маршрутизировать с учётом кеша, выгружать KV-кеш и разносить фазы prefill и decode по разным машинам поверх серверов моделей вроде vLLM и SGLang. Новый выпуск добавляет управление приоритетами и справедливым распределением, чтобы чувствительные к задержкам запросы и агенты с всплесковой нагрузкой делили один парк GPU, не душа друг друга, высокодоступный маршрутизатор для обновлений без простоя, стабильный API конфигурации v1 и маршрутизацию с учётом сессий, которая держит многоходовые диалоги рядом с их закешированным состоянием.

Цифры производительности в анонсе взяты из демонстраций самих участников проекта, поэтому их стоит читать как заявления, а не как аудит. В одной из них исследователи запустили GLM 5.2 — модель с открытыми весами примерно на 753 млрд параметров — на широко распространённых GPU Nvidia и на пике получили более 6,6 млн выходных токенов в минуту при 3000 одновременных агентов для программирования; по текущим ценам аренды в облаке, утверждают они, стоимость токена оказалась в пять–десять раз ниже, чем у сопоставимого коммерческого API. IBM Research сообщает о снижении стоимости инференса в 11,5 раза по сравнению с полностью проприетарной конфигурацией в проекте по проектированию чипов для квантовой коррекции ошибок при доле попаданий в кеш около 98%.

Показательнее другое — кто уже на него опирается. JetBrains говорит, что llm-d обслуживает значительную часть трафика Junie Lite, бесплатного тарифа её агента для программирования; DigitalOcean запускает на нём свой бессерверный инференс, а Mistral и Roblox рассказывают, что строят на проекте свои слои обслуживания. Google Cloud интегрирует версию 1.0 в Google Kubernetes Engine по всей линейке TPU и GPU Nvidia, а AMD переносит её на свои ускорители Instinct.

Проект основан в 2025 году, сейчас им управляет Cloud Native Computing Foundation, а в разработке участвуют более 500 человек из более чем 25 организаций. Версия 1.0 представлена 20 октября 2026 года в Сан-Хосе и уже доступна как открытое ПО.

Следствие — смещение баланса сил. Если дорогое в ИИ — это обслуживание, а не обучение, то тот, кто контролирует слой обслуживания, контролирует и счёт. llm-d — попытка сделать так, чтобы этот слой оставался общим и открытым, а не был заперт в API одного поставщика.

Теги: nvidia, ИИ-агенты, IBM, CoreWeave, Red Hat, большие языковые модели