OpenJarvis: фреймворк все-в-одном для ИИ-агентов
habr.comStanford SAIL замерили, насколько эффективно локальные языковые модели конвертируют электроэнергию в полезные вычисления и назвали этот показатель "intelligence per watt".Они прогнали больше миллиона реальных запросов через 20+ моделей на 8 разных ускорителях и выяснили: с 2023 по 2025 год эффективность локального инференса выросла в 5,3 раза, а современные небольшие модели уже справляются с 88,7% обычных чат- и ризонинг-запросов.
Железо и алгоритмы готовы, но не хватало софта.Так появился OpenJarvis: открытый фреймворк, который превращает эти выводы в инфраструктуру для персональных ИИ-агентов, работающих на устройстве пользователя.Авторы проводят параллель с PyTorch: OpenJarvis должен стать для локального ИИ тем, чем PyTorch стал для глубокого обучения - стандартной инфраструктурой, на которой строится все остальное.Фреймворк структурирован вокруг 5 примитивов:Intelligence - слой языковых моделей с единым каталогом, где не нужно самому отслеживать релизы и считать память.Engine - бэкенд инференса: Ollama, vLLM, SGLang, llama.cpp, Apple Foundation Models и другие.
