инференс ИИ

AMD договорилась о приобретении Taalas — стартапа из Торонто, производящего чипы, которые вшивают веса AI-моделей напрямую в кремниевую подложку вместо загрузки из памяти во время инференса. Чип HC1 обрабатывает Llama 3.1 8B со скоростью 16 960 токенов в…