Стартап Taalas впаял нейросеть в кремний и получил рекордные 17 000 токенов в секунду
habr.comКанадский стартап Taalas вышел из стелс-режима и показал первый продукт — специализированный чип HC1 с "захардкоженной" Llama 3.1 8B.
Модель не загружается в память, а буквально впаяна в кремний: веса зашиты в транзисторы на этапе производства. Результат — 17 000 токенов в секунду на одного пользователя, что почти в 10 раз быстрее текущих решений на GPU, при 20-кратном снижении стоимости производства и 10-кратной экономии энергии.Основал Taalas Любиша Байич — основатель другого чипмейкера, Tenstorrent, и бывший директор проектирования интегральных схем в AMD.
