Nvidia призывает ИИ-индустрию переосмыслить агентный подход в пользу компактных моделей
habr.comПо мнению специалистов Nvidia, индустрия слишком увлеклась крупными языковыми моделями (LLM) для работы агентов — подходом, который, как они утверждают, экономически и экологически нежизнеспособен.В недавней научной статье они предлагают пересмотреть стратегию: большинство агентов, уверены авторы, могут работать не хуже, если использовать компактные языковые модели (SLM), и призывают компании изменить подход.В 2024 году рынок API LLM для агентных систем оценивался в 5,6 млрд $, но расходы на облачную инфраструктуру для их работы достигли 57 млрд $ — разрыв 10 к 1. «Эта операционная модель так глубоко вросла в индустрию, что стала фундаментом для масштабных капитальных ставок», — пишут исследователи.SLM, которые в Nvidia определяют как модели с числом параметров менее 10 млрд, «по сути, обладают достаточной мощностью», «изначально лучше подходят для практического применения» и «неизбежно экономичнее» для большинства агентных задач.Исследователи утверждают, что компактные модели нередко способны работать наравне с куда более массивными.
Они приводят пример Phi 2 от Microsoft, которая, по их словам, сопоставима с LLM на 30 млрд параметров в задачах логики и программирования, но при этом работает в 15 раз быстрее.
