Технологии

Илон Маск объяснил задержку Grok 4.8 тем, что xAI переписала весь софт с нуля на C/C++

Новый Grok задерживается, потому что xAI отказалась от инструментов с открытым исходным кодом, на которых обучались и развертывались модели. Маск называет результат «пока не невероятным» и делает ставку на то, что переработка окупится в Grok 5.
Adrian Kessler
Добавьте нас в Google

В последнем сообщении Илона Маска (Elon Musk) о Grok интереснее всего не язык программирования. Важнее признание, которое скрывается за этой новостью: выход следующей модели задерживается, потому что команда отказалась от открытого программного обеспечения, на котором обучала модели и запускала их, и написала собственные инструменты.

Если воспринимать пост как анонс скорого запуска, он звучит обнадёживающе: обучение завершено, результаты оценок растут, мягкий запуск — до конца недели. Но если смотреть на него как на историю о системах, речь идёт о куда большем. xAI, теперь входящая в SpaceX, решила, что общедоступные фреймворки её сдерживают, и делает ставку на эту модель и следующую за ней, стремясь контролировать каждый программный слой между исследователями и графическими процессорами.

«Мы отказались от JAX/SGLang и переписали с нуля весь стек обучения с подкреплением и инференса на C/C++, поэтому понадобилось дополнительное время», — написал Маск в X, отвечая пользователю, который спросил, когда ждать Grok 4.8. JAX — численная библиотека на Python, с помощью которой xAI обучала модели; SGLang — фреймворк с открытым исходным кодом для запуска больших языковых моделей. Предварительное обучение завершено, сообщил он: «Пришлось немало поработать над очисткой данных SFT» — набора для контролируемой тонкой настройки. «Теперь 4.8 проходит этап RL, и результаты оценок начинают расти».

Эта фраза объясняет задержку, о которой сам Маск заговорил раньше. В середине сентября он представил модель как «модель на 2,5 триллиона параметров, обученную на нашем новом программном стеке C++», которая «завершит обучение на этой неделе и перейдёт к обучению с подкреплением». Примерно тогда же, как сообщал Analytics India Magazine, он назвал часть, отвечающую за обучение с подкреплением, «всё ещё отчасти устаревшей нагромождённой системой из множества сторонних программных решений», которую нужно исправить «со временем». К концу октября он написал: «Знаю, что всё затянулось дольше, чем ожидалось, но Grok 4.8 не разочарует». Выяснилось, что причиной задержки и стала эта доработка. Код предварительного обучения уже был новым; прежде чем двигаться дальше, пришлось перестроить и часть, которая учит модель правильно себя вести, и ту, что отвечает на запросы пользователей.

«Переписывание на C++», о котором пишут в заголовках, на деле в основном означает C. На вопрос о языке Маск ответил: «C с небольшим количеством C++, но совсем немного». По его словам, основа стека — программное обеспечение, написанное инженерами SpaceX для Starlink («В SpaceX мы сами пишем заголовочные файлы и сами рассчитываем время», — добавил он). В сентябре Маск также говорил, что код предварительного обучения написала команда Starlink и что он «не был написан ИИ», поскольку «ИИ пока недостаточно хорош для создания высокопроизводительного программного обеспечения — но это изменится».

Обоснование этой стратегии публично звучит ещё с весны. В конце мая Маск заявил, что SpaceX почти завершила работу над собственной системой обучения на C, которая «точно соответствует» кластеру из 220 000 чипов Nvidia GB300, и оценил потенциальный прирост скорости по сравнению с JAX при крупных запусках обучения более чем на порядок. В конце июня он пообещал «по-настоящему колоссальный прирост» примерно через три месяца, когда весь стек обучения и инференса будет переписан, а «большинство программных слоёв полностью удалят». Если сравнивать с этим графиком, переписывание завершилось примерно на шесть недель позже срока. Ни одно из заявлений о приросте скорости за пределами компании не проверялось.

Контроль над стеком даёт и преимущества, и риски. Отказ от JAX и SGLang избавляет xAI от чужих абстракций и графиков выпуска обновлений, а инженеры могут напрямую адаптировать программное обеспечение под конкретное оборудование. Но теперь за каждую ошибку в цикле обучения и в системе обслуживания моделей отвечает сама xAI — в коде, которым до запуска для пользователей не пользовалось внешнее сообщество.

Маск также решительно снижает ожидания. «Grok 4.8 будет совершенно не похож на 4.7 — и, к счастью», — написал он, публично раскритиковав модель, выпущенную xAI 21 сентября. «Пока она не поражает воображение, но на этот раз фундамент заложен правильно, поэтому я ожидаю, что со временем из неё получится нечто особенное». Менее чем через час его спросили, как 4.8 будет выглядеть на фоне Opus 5.5 от Anthropic. «Не так хорошо. Opus 5.5 — шедевр», — ответил он. Настоящее обещание Маска относится к более отдалённой перспективе: «Grok 5 должен превзойти Opus 5.5, и, возможно, это случится через два-три месяца».

Остального пока нет. На страницах новостей xAI и в документации для разработчиков, согласно сайтам-мониторам, которые их отслеживают, модель не упоминается; нет ни карточки модели, ни результатов тестов, ни цены, ни записи в каталоге API. Цифра в 2,5 триллиона параметров известна только со слов Маска — как и результаты оценок, которые, по его словам, растут. Мягкий запуск для пользователей Grok Bot состоится «позже на этой неделе», но конкретный день не назван; в октябре Маск говорил, что на большинство таких запросов будет отвечать «молниеносная версия Grok 4.8».

Поэтому запуск на этой неделе станет скорее проверкой инфраструктуры, чем самой модели. Если она справится с реальным потоком запросов Grok Bot, переписанный стек станет платформой, на которой будут обучать Grok 5. Если же модель даст сбой, свалить вину на сторонний фреймворк уже не получится.

Теги: , , , ,

Добавьте нас в Google

Обсуждение

Имеется 0 комментариев.