Языковую модель на 28,9 млн параметров запустили на микроконтроллере ESP32-S3
habr.comРазработчик Слава Сербов запустил языковую модель на 28,9 млн параметров на плате с микроконтроллером ESP32-S3. Нейросеть работает полностью локально, а сгенерированный текст выводится на небольшой дисплей.Для эксперимента разработчик использовал ESP32-S3 N16R8 с 16 Мбайт флеш‑памяти и всего 512 Кбайт встроенной SRAM.
Кроме того, чип оснащён двумя 32-битными ядрами Xtensa LX7 с частотой до 240 МГц.Уместить модель на устройстве с ограниченной памятью удалось благодаря четырёхбитной квантизации и распределению весов между разными типами памяти.
