JetBrains выпустила Mellum2.1 под лицензией Apache 2.0
8 октября компания JetBrains представила открытую языковую модель Mellum2.1. Новинка развивает предыдущую версию Mellum2, вышедшую в июне, и распространяется по лицензии Apache 2.0.
В основе модели лежит архитектура mixture-of-experts объемом 12 млрд параметров, из которых при обработке запросов задействованы 2,5 млрд активных параметров.
habr.com