Pruna AI создает свой фреймворк оптимизации открытым исходным кодом
habr.comPruna AI, европейский стартап, работающий над алгоритмами сжатия для моделей искусственного интеллекта, создает свой фреймворк оптимизации открытым исходным кодом.Pruna AI создает фреймворк, который применяет несколько методов повышения эффективности, таких как кэширование, прунинг, квантизация и дистилляция, к заданной модели AI.«Мы также стандартизируем сохранение и загрузку сжатых моделей, применяем комбинации этих методов сжатия, а также оцениваем вашу сжатую модель после ее сжатия», — рассказал TechCrunch соучредитель и технический директор Pruna AI Джон Рачван.В частности, фреймворк Pruna AI может оценить, происходит ли значительная потеря качества после сжатия модели, а также получаемый при этом прирост производительности.«Если использовать метафору, мы похожи на то, как Hugging Face стандартизировала трансформаторы и диффузоры — как их вызывать, как их сохранять, загружать и т.
д. Мы делаем то же самое, но для методов эффективности», — добавил он.Крупные лаборатории AI уже используют различные методы сжатия.
