Новая физика интеллекта: Термодинамические вычисления и конец цифрового детерминизма

Технологическая цивилизация столкнулась с экзистенциальным парадоксом. В то время как спрос на искусственный интеллект (ИИ) растет экспоненциально, подстегиваемый распространением больших языковых моделей (LLM) и генеративных систем, физическая инфраструктура, обеспечивающая этот прогресс, стремительно приближается к непреодолимым термодинамическим пределам. Господствующий нарратив закона Мура — постоянное удвоение количества транзисторов и эффективности — начал давать трещины. И дело не в неспособности к дальнейшей миниатюризации, а в фундаментальных ограничениях, связанных с рассеиванием тепла и энергопотреблением. В этом критическом контексте на сцену выходят термодинамические вычисления — смена парадигмы, обещающая не только смягчить энергетический кризис, но и переопределить саму природу обработки информации.

Тирания Ватта в эпоху генеративного ИИ

Нынешняя компьютерная архитектура, основанная на модели фон Неймана и детерминированной булевой логике, упирается в то, что эксперты называют «Энергетической стеной». Обучение и инференс (вывод) передовых моделей ИИ зависят почти исключительно от графических процессоров (GPU), таких как вездесущий NVIDIA H100. Один такой модуль обладает тепловой мощностью (TDP) в 700 Вт, а при объединении в системы HGX H100 потребление превышает 2000 Вт на стойку. Такая плотность мощности превращает современные центры обработки данных (ЦОД) в цифровые печи, требующие массивной инфраструктуры охлаждения и потребляющие воду и электричество в промышленных масштабах.

More Articles

Сны поездов: Или как пережить тишину (и Netflix)

Музей MOWAA откладывает дебютную выставку на фоне местных протестов и диалога

Злая: Часть 2 – Алхимия дружбы и новое изобретение страны Оз

Макроэкономические данные подтверждают неизбежность этого кризиса. Goldman Sachs прогнозирует, что к концу десятилетия глобальный спрос на энергию со стороны ЦОДов вырастет на 165%. В свою очередь, Международное энергетическое агентство (МЭА) оценивает, что к 2026 году потребление электроэнергии центрами обработки данных может удвоиться, достигнув 1000 ТВт·ч — цифра, сопоставимая с общим энергопотреблением всей Японии. Этот рост не линейн, он следует за экспоненциальной кривой сложности моделей ИИ, создавая неустойчивую ситуацию, когда 92% руководителей ЦОДов уже называют ограничения электросетей главным препятствием для масштабирования.

Врожденная неэффективность детерминизма

Фундаментальная проблема кроется не только в количестве вычислений, но и в их физическом качестве. Современные цифровые вычисления работают в режиме подавления шума. Чтобы гарантировать, что бит однозначно является 0 или 1, транзисторы должны работать при напряжениях, значительно превышающих естественный «тепловой шум» электронов. Эта постоянная борьба с энтропией — попытка поддерживать идеальный порядок в хаотичной физической среде — влечет за собой непомерные энергетические затраты.

Каждая логическая операция в цифровом процессоре подразумевает зарядку и разрядку конденсаторов, а также перемещение электронов через резисторы, что генерирует остаточное тепло. Это тепло не вносит вклада в вычисления, а представляет собой энергию, потраченную впустую на «трение», необходимое для навязывания детерминизма. Как отмечают исследователи, традиционные системы «платят энергией» за подавление стохастичности (случайности). Более того, физическое разделение памяти и процессорного блока (узкое место фон Неймана) означает, что львиная доля энергии тратится просто на перемещение данных из одного места в другое, а не на их обработку.

Термодинамическая альтернатива

Столкнувшись с этим сценарием, термодинамические вычисления предлагают радикальный пересмотр операционных принципов. Вместо того чтобы тратить энергию на борьбу с тепловым шумом, эта дисциплина стремится использовать его как вычислительный ресурс. Она опирается на предпосылку, что природа вычисляет эффективно посредством процессов релаксации к тепловому равновесию. Согласовав компьютерную архитектуру с фундаментальной физикой информации, становится возможным выполнять сложные задачи — в частности, вероятностное сэмплирование, необходимое для генеративного ИИ, — с эффективностью, на порядки превосходящую возможности цифровых транзисторов.

Этот подход не является чисто теоретическим. Такие компании, как Extropic и Normal Computing, уже начали производить оборудование, воплощающее эти принципы, и обещают эффективность, в 10 000 раз превышающую показатели современных технологий. В данном отчете подробно анализируется состояние этой технологии, ее физические основы, ключевые игроки, а также геополитические и экономические последствия перехода к вычислениям, основанным на физике.

Физические основы: От детерминированного бита к стохастическому p-биту

Чтобы понять масштаб инноваций, которые представляют собой термодинамические вычисления, необходимо спуститься на физический уровень работы схем. Разница между обычным чипом и термодинамическим блоком сэмплирования (TSU) — это разница не в степени, а в онтологическом классе.

Неравновесная термодинамика и вычисления

Общей теорией, лежащей в основе этих достижений, является неравновесная статистическая физика, часто называемая стохастической термодинамикой. Эта область предоставляет инструменты для анализа систем, находящихся далеко от теплового равновесия, таких как компьютеры. Классические вычисления следуют принципу Ландауэра, который устанавливает теоретический нижний предел энергии, необходимой для стирания бита информации, что сопровождается рассеиванием тепла в окружающую среду. Однако термодинамические вычисления работают по другой динамике.

Термодинамические устройства проектируются так, чтобы эволюционировать в соответствии с динамикой Ланжевена. Это означает, что физическая система естественным образом «ищет» свое состояние с минимальной энергией. Если закодировать математическую задачу в энергетический ландшафт устройства, система решит ее, просто релаксируя (расслабляясь) к состоянию теплового равновесия. В этой парадигме вычисление — это не серия принудительных логических шагов, а естественный физический процесс, аналогичный тому, как капля воды находит самый быстрый путь вниз с горы или как белок сворачивается в свою оптимальную конфигурацию.

Вероятностный бит (p-бит)

Фундаментальной единицей этой новой архитектуры является p-бит (вероятностный бит). В отличие от цифрового бита, который статичен, пока не получит команду на изменение, p-бит непрерывно флуктуирует между 0 и 1 в наносекундном масштабе, подгоняемый окружающим тепловым шумом. Однако эта флуктуация не полностью случайна; ее можно сместить (biased) с помощью управляющих напряжений так, чтобы p-бит проводил, например, 80% времени в состоянии 1 и 20% в состоянии 0.

Такое поведение имитирует распределения вероятностей. Соединяя множество p-битов между собой, создается схема, представляющая сложное совместное распределение вероятностей. Считывая состояние схемы в любой момент времени, мы получаем валидную выборку (сэмпл) этого распределения. Это критически важно, поскольку современный генеративный ИИ фундаментально связан с вероятностями: предсказанием наиболее вероятного следующего слова или генерацией наиболее правдоподобного пикселя в изображении.

Нативное сэмплирование против цифровой симуляции

Преимущество в эффективности «в 10 000 раз», о котором заявляет Extropic, проистекает из этого структурного различия. В цифровом (детерминированном) GPU генерация случайной выборки из сложного распределения требует запуска алгоритмов генераторов псевдослучайных чисел (PRNG), которые потребляют тысячи тактовых циклов и миллионы переключений транзисторов. GPU вынужден симулировать случайность с помощью сложной детерминированной арифметики.

В отличие от этого, термодинамический чип генерирует выборку нативно. Он не симулирует шум; шум и есть двигатель вычислений. Физика берет на себя тяжелую работу по генерации случайности, устраняя необходимость в сложных арифметико-логических устройствах (ALU) для этой конкретной задачи. По сути, это аналоговые вычисления с использованием шума, где физическая среда выполняет математическую операцию мгновенно.

Extropic: Архитектура и стратегия неопределенности

Компания Extropic, базирующаяся в США, позиционирует себя как коммерческий авангард этой технологии. Основанная Гийомом Вердоном (бывшим физиком Google, известным в цифровой сфере как «Beff Jezos», лидером движения эффективного акселерационизма или e/acc) и Тревором МакКортом, компания перешла от теории к производству реального кремния.

Чип X0: Валидация вероятностного кремния

Первой осязаемой вехой Extropic стал чип X0. Это тестовый прототип, созданный для подтверждения того, что вероятностные схемы могут быть изготовлены с использованием стандартных полупроводниковых процессов и работать при комнатной температуре. В отличие от квантовых компьютеров, требующих температур, близких к абсолютному нулю, X0 использует тепло окружающей среды как источник энтропии.

В X0 размещено семейство схем, предназначенных для генерации выборок из примитивных распределений вероятностей. Его основная функция заключалась в подтверждении точности моделей шума Extropic: демонстрации того, что транзистор можно спроектировать так, чтобы он «шумел» предсказуемым и контролируемым образом. Это значительное достижение, поскольку полупроводниковая промышленность потратила 60 лет на оптимизацию процессов для устранения шума; контролируемое возвращение шума требует глубокого владения физикой материалов.

Платформа разработки XTR-0

Чтобы позволить исследователям и разработчикам взаимодействовать с этой новой физикой, Extropic запустила платформу XTR-0. Эта система не является автономным компьютером, а представляет собой гибридную архитектуру. Физически она состоит из трапециевидной материнской платы, на которой размещены обычный процессор (CPU) и ПЛИС (FPGA), соединенные с двумя дочерними платами, содержащими термодинамические чипы X0.

Функция XTR-0 — служить мостом. CPU управляет общим рабочим процессом и детерминированной логикой, в то время как FPGA действует как высокоскоростной переводчик, отправляющий инструкции и параметры на чипы X0 и получающий сгенерированные вероятностные выборки. Эта архитектура признает прагматичную реальность: термодинамические компьютеры не заменят цифровые в таких задачах, как запуск операционной системы или обработка электронных таблиц. Их роль — роль специализированных ускорителей, аналогично тому, как GPU ускоряют графику, но предназначенных исключительно для вероятностных нагрузок ИИ.

Чип Z1 и видение масштаба

Конечная цель Extropic — не X0, а будущий чип Z1. Прогнозируется, что это устройство вместит сотни тысяч или миллионы взаимосвязанных p-битов, что позволит запускать глубокие генеративные модели ИИ полностью на термодинамическом субстрате. Симуляции, проведенные компанией, предполагают, что этот чип сможет выполнять задачи генерации изображений или текста, потребляя в 10 000 раз меньше энергии, чем эквивалентный GPU.

Архитектура Z1 основана на массивной локальной связности. В отличие от GPU, где данные перемещаются на большие расстояния по чипу (потребляя энергию), в дизайне Extropic память и вычисления переплетены. P-биты взаимодействуют только со своими непосредственными соседями, создавая сеть локальных взаимодействий, которые в совокупности решают глобальные задачи. Это устраняет значительную часть энергетических затрат, связанных с перемещением данных.

Нативные алгоритмы: Термодинамическая модель шумоподавления (DTM)

Революционному оборудованию требуется революционное программное обеспечение. Попытка запустить стандартные алгоритмы глубокого обучения (основанные на детерминированном перемножении матриц) на термодинамическом чипе была бы неэффективной. Поэтому Extropic разработала новый класс нативных алгоритмов.

Энергетические модели (EBM)

Теоретической основой программного обеспечения Extropic являются Энергетические модели (Energy-Based Models — EBM). В машинном обучении EBM учится ассоциировать низкую «энергию» с данными, которые выглядят реалистично (например, изображение кошки), и высокую энергию с шумом или некорректными данными. Генерация данных с помощью EBM включает поиск конфигураций с низкой энергией.

Теоретически EBM существуют уже десятилетия, но они уступили место глубоким нейронным сетям, поскольку их обучение и использование на цифровых компьютерах происходит крайне медленно. Они требуют процесса, называемого сэмплированием Гиббса, который является вычислительно неподъемным для CPU или GPU. Однако чип Extropic выполняет сэмплирование Гиббса нативно и почти мгновенно. То, что является слабостью для цифрового кремния, становится фундаментальной силой кремния термодинамического.

Denoising Thermodynamic Model (DTM)

Флагманский алгоритм Extropic — это Термодинамическая модель шумоподавления (DTM). Она работает аналогично современным диффузионным моделям (таким как те, что лежат в основе Midjourney или Stable Diffusion), которые начинают с чистого шума и постепенно улучшают его до получения четкого изображения.

Однако, в то время как диффузионная модель на GPU должна математически рассчитывать шаг за шагом, как удалить шум, DTM использует физику чипа для выполнения трансформации. Термодинамическое оборудование позволяет «зашумленному» состоянию физически эволюционировать в «упорядоченное» состояние (финальное изображение), следуя законам термодинамики. Симуляции показывают, что этот подход не только быстрее, но и требует на порядки меньше энергии, поскольку процесс «шумоподавления» выполняется естественной тенденцией системы к равновесию, а не триллионами операций с плавающей запятой.

Конкурентная экосистема: Различные подходы к физическим вычислениям

Хотя Extropic привлекла внимание СМИ смелыми заявлениями и киберпанк-эстетикой, она не единственный игрок в этом пространстве. Гонка за термодинамическими и вероятностными вычислениями включает других искушенных конкурентов, таких как Normal Computing, каждый из которых придерживается своей технической и рыночной философии.

Normal Computing: Надежность через стохастичность

Компания Normal Computing, базирующаяся в Нью-Йорке и основанная бывшими инженерами Google Brain и Alphabet X, подходит к проблеме под несколько иным углом. В то время как Extropic фокусируется на скорости и грубой эффективности для генерации (акселерационизм), Normal делает значительный упор на надежность, безопасность и количественную оценку неопределенности в критически важных системах.

Их технология основана на Стохастическом процессорном блоке (SPU). Как и Extropic, они используют тепловой шум, но их математическая база сосредоточена на конкретных стохастических процессах, таких как процесс Орнштейна-Уленбека (OU). Процесс OU — это стохастический процесс с возвратом к среднему значению, полезный для моделирования систем, которые флуктуируют, но имеют тенденцию возвращаться к стабильному центру.

Normal Computing достигла значительных вех, таких как «tape-out» (передача проекта в производство) своего чипа CN101. Этот чип призван продемонстрировать жизнеспособность термодинамической архитектуры в реальном кремнии. Их дорожная карта включает будущие чипы CN201 и CN301, предназначенные для масштабирования диффузионных моделей высокого разрешения и видео к 2027–2028 годам.

Ключевое отличие: Extropic, похоже, оптимизирует систему для максимальной энтропии и генеративной креативности при низких затратах энергии (идеально для искусства, текста, генерации идей). Normal Computing, судя по всему, оптимизирует для «объяснимого ИИ» и надежности, используя вероятностное оборудование, чтобы ИИ «знал, чего он не знает», и для управления рисками в корпоративных или промышленных приложениях.

Нейроморфные vs. Термодинамические вычисления

Крайне важно отличать термодинамические вычисления от нейроморфных (представленных такими чипами, как TrueNorth от IBM или Loihi от Intel). Нейроморфные вычисления пытаются имитировать биологическую архитектуру мозга (нейроны, синапсы, спайки напряжения), часто используя детерминированные цифровые или аналоговые схемы.

Термодинамические вычисления, с другой стороны, имитируют физику мозга. Биологический мозг работает во влажной и шумной среде при температуре 37°C, используя тепловой шум для облегчения химических реакций и передачи сигналов. Он не борется с шумом; он его использует. Extropic и Normal Computing утверждают, что имитация физики (термодинамика) — это более прямой путь к эффективности, чем имитация только лишь структуры (нейроморфика).

Глубокий анализ эффективности: Деконструкция показателя «10 000x»

Заявление об улучшении эффективности в 10 000 раз является экстраординарным и требует тщательной технической проверки. Откуда именно берется эта цифра и реалистична ли она в производственных условиях?

Физика экономии

Экономия энергии происходит из трех основных источников:

1. Устранение перемещения данных: В GPU чтение весов модели из памяти VRAM потребляет больше энергии, чем само вычисление. В TSU от Extropic веса модели физически закодированы в соединениях между p-битами. Вычисления происходят там же, где находятся данные.
2. Пассивное вычисление: В цифровой схеме тактовый генератор принудительно вызывает переходы состояний миллионы раз в секунду, потребляя активную энергию в каждом цикле. В термодинамической схеме система пассивно эволюционирует к решению. Энергия в значительной степени поставляется теплом окружающей среды (тепловым шумом), которое является «бесплатным».
3. Эффективность сэмплирования: Как уже обсуждалось, генерация статистической выборки цифровым способом требует тысяч операций. В термодинамике это одиночная операция. Если задача требует взятия миллионов сэмплов (как в генерации видео), преимущество накапливается линейно, достигая порядков величины.

Сравнение реального потребления

Чтобы представить это в перспективе, рассмотрим обучение и инференс моделей типа LLaMA. Meta обучила LLaMA 3, используя 16 000 графических процессоров H100. Если предположить консервативное среднее потребление, затраты энергии исчисляются сотнями гигаватт-часов. На этапе инференса (ежедневного использования), если миллионы пользователей обращаются к модели, совокупное потребление превышает потребление при обучении.

Если термодинамический чип сможет выполнять тот же инференс, потребляя милливатты вместо сотен ватт, экономическая целесообразность ИИ радикально изменится. Это позволит запускать модели уровня GPT-4 на смартфоне без разрядки батареи за считанные минуты или развертывать интеллектуальные датчики в сельском хозяйстве, работающие годами от крошечной батарейки.

Ограничения и оговорки

Однако цифра 10 000x получена из симуляций конкретных бенчмарков, оптимизированных для этого оборудования. В смешанных рабочих нагрузках, где требуются детерминированная логика, предварительная обработка данных и связь с CPU, глобальная эффективность системы (закон Амдала) будет ниже. Кроме того, аналоговая точность по своей природе ограничена. Для финансовых расчетов, требующих точной 64-битной точности, термодинамические вычисления не подходят. Их ниша — вероятностный инференс, а не точная бухгалтерия.

Ландшафт эффективности: Техническое сравнение

Проблемы производства и масштабируемости: «Долина смерти» для аппаратного обеспечения

История вычислительной техники полна многообещающих технологий (мемристоры, оптические вычисления, спинтроника), которые потерпели неудачу при попытке масштабирования. Термодинамические вычисления сталкиваются со значительными барьерами на пути из лаборатории.

Вариативность техпроцессов и калибровка

Самая большая проблема для Extropic и Normal Computing — это однородность. В современном производстве чипов (узлы 5 нм или 3 нм) существуют микроскопические вариации между транзисторами. В цифровом мире это управляется запасами надежности. В аналоговом/термодинамическом мире, где «шум» — это сигнал, вариация в размере транзистора меняет его профиль вероятности.

Если каждый p-бит имеет немного разное смещение (bias) из-за производственных дефектов, чип не будет представлять правильное распределение вероятностей. Калибровка миллионов индивидуальных p-битов для компенсации этих вариаций может потребовать массивных цифровых схем управления, что съест часть экономии энергии и пространства. Extropic утверждает, что решила эту проблему с помощью надежных схемных решений, но настоящая проверка придет с массовым производством чипа Z1.

Интеграция в экосистему программного обеспечения

Железо бесполезно без экосистемы. NVIDIA доминирует в ИИ не только благодаря своим чипам, но и благодаря CUDA, своему программному слою. Чтобы разработчики приняли TSU, физическая сложность должна быть абстрагирована. Extropic выпустила Thrml, библиотеку Python, позволяющую разработчикам определять энергетические модели и запускать их на бэкенде (будь то симуляция на GPU или реальный запуск на XTR-0). Успех будет зависеть от того, насколько прозрачной будет эта интеграция с PyTorch и TensorFlow. Если инженерам по машинному обучению придется учить статистическую физику, чтобы программировать чип, уровень внедрения будет нулевым.

Конкуренция с законом Мура

Цифровые технологии не стоят на месте. NVIDIA, AMD и Intel продолжают оптимизировать свои архитектуры для ИИ (например, точность FP8, архитектура Blackwell). Термодинамические вычисления преследуют движущуюся цель. К тому времени, когда чип Z1 выйдет на коммерческий рынок, обычные GPU повысят свою эффективность. Преимущество в «10 000 раз» — это большая подушка безопасности, но исполнение должно быть быстрым, чтобы не упустить окно возможностей.

Геополитические и экономические последствия

Появление этой технологии имеет последствия, выходящие за пределы серверной комнаты, влияя на национальную стратегию и глобальную экономику ИИ.

Суверенитет ИИ и децентрализация

В настоящее время передовой ИИ — это олигополия, контролируемая организациями, способными финансировать центры обработки данных стоимостью в миллиарды долларов и получать доступ к ограниченным поставкам GPU. Термодинамические вычисления, радикально снижая затраты на энергию и оборудование (используя более старые и дешевые процессы производства кремния, так как для работы им не требуется новейшая литография 3 нм), могут демократизировать доступ к «суперинтеллекту».

Это позволит небольшим странам или компаниям среднего размера эксплуатировать свои собственные фундаментальные модели, не завися от облаков американских гиперскейлеров (Microsoft, Google, Amazon). Это потенциальный вектор для большего технологического суверенитета.

Влияние на энергосети и устойчивое развитие

МЭА и правительства обеспокоены потреблением ЦОДов. В таких местах, как Ирландия или Северная Вирджиния, центры обработки данных потребляют двузначные проценты от общей сети. Термодинамические вычисления предлагают «предохранительный клапан» для этого давления. Если индустрия перенесет часть своих нагрузок по инференсу на термодинамическое оборудование, можно будет отделить рост ИИ от роста углеродного следа, что позволит достичь климатических целей, не тормозя технический прогресс.

Философия акселерационизма (e/acc)

Нельзя игнорировать идеологический компонент. Гийом Вердон, CEO Extropic, является центральной фигурой движения e/acc, которое выступает за неограниченный и быстрый технологический прогресс как моральный и термодинамический императив вселенной. Extropic — это не просто компания; это физическое проявление этой идеологии. Они стремятся максимизировать производство энтропии и интеллекта во вселенной. Это контрастирует с видением «Замедления» (Deceleration) или «Безопасности ИИ» (Safetyism). Успех Extropic стал бы культурной и технической победой лагеря акселерационистов в Кремниевой долине.

Рассвет естественного интеллекта

Термодинамические вычисления представляют собой самую серьезную на сегодняшний день попытку преодолеть разрыв между искусственными и естественными вычислениями. Семьдесят лет мы строили компьютеры, которые работают как жесткие бюрократии: следуя точным правилам, архивируя данные в точных местах и тратя огромную энергию, чтобы гарантировать, что ничто не отклоняется от нормы. Тем временем человеческий мозг — и сама природа — действовал как джазовый музыкант: импровизируя, используя шум и хаос как часть мелодии и достигая блестящих результатов с поразительной энергоэффективностью.

Технологии, представленные Extropic и Normal Computing, через такие устройства, как X0 и CN101, предполагают, что мы готовы принять этот второй подход. Обещание энергоэффективности в 10 000 раз — это не просто постепенное улучшение; это фазовый сдвиг, который сделает возможным повсеместное присутствие искусственного интеллекта.

Однако этот путь усеян техническими рисками. Переход от цифрового детерминизма к термодинамическому пробабилизму потребует не только новых чипов, но и полного переобучения тому, как мы думаем об алгоритмах, точности и природе вычислений. Если Extropic удастся масштабировать свои p-биты, а Normal Computing удастся сертифицировать безопасность своих стохастических процессов, возможно, через десятилетие мы будем смотреть на нынешние GPU — эти кремниевые печи мощностью 700 Вт — с той же ностальгией и недоумением, с какими мы сегодня смотрим на вакуумные лампы 1940-х годов. Эра борьбы с термодинамикой закончилась; эра вычислений с ее помощью началась.

Ландшафт пост-цифровых вычислений