Эффективность локального ИИ выросла в 5.3 раза за два года
habr.comИсследование группы Hazy Research доказало, что локальный ИИ-инференс становится всё более жизнеспособным и продуктивным. Для оценки использовался показатель интеллект на ватт (IPW, intelligence per watt) - соотношение точности выполнения задачи к потребляемой мощности.
Такой подход позволяет объективно оценивать эффективность как моделей, так и аппаратного обеспечения, особенно в условиях растущих требований к энергоэффективности.По результатам исследования, локальные LLM с параметрами до 20 млрд уже способны обрабатывать 88,7% типичных одноэтапных запросов в чатах и задачах на логику.
