Запускаем языковую модель на ESP32 со скоростью 400 токенов/с — как это возможно?
ESP32-S3 — микроконтроллер за несколько сотен рублей: два ядра Xtensa LX7 на 240 МГц и 512 КБ внутренней SRAM. Языковые модели на нём уже запускали: крошечная stories260K, 260 тысяч параметров, но это настоящая Llama-2 с вниманием, RoPE и SwiGLU.
Известные запуски дают около двух десятков токенов в секунду.Я взял ту же модель и тот же чип и выжал из них 406 токенов в секунду.
habr.com