На iPhone 17 Pro запустили языковую модель с 400 миллиардами параметров
ilenta.comНа iPhone 17 Pro продемонстрировали запуск языковой модели с 400 миллиардами параметров прямо на устройстве. Для смартфона это звучит почти нереально.Демонстрацию провели в рамках open-source проекта Flash-MoE, о котором рассказал разработчик @anemll.
Обычно модели такого масштаба требуют свыше 200 ГБ памяти только для загрузки, поэтому их работа на устройстве с 12 ГБ ОЗУ в привычном понимании кажется невозможной.Однако здесь используется иной подход.
