Вышла Mistral NeMo — многоязычная 12B модель с поддержкой русского и 128К контекстом
habr.comMistral AI представила Mistral NeMo, 12-миллиардную модель, разработанную в сотрудничестве с NVIDIA. Mistral NeMo предлагает большой контекст до 128 тысяч токенов.
Модель выпущена по лицензии Apache 2.0, что разрешает её коммерческое использование*. Авторы также подготовили таблицу сравнения модели с другими моделями аналогичного уровня (Llama 3 8B и Gemma 2 9B, очевидно, что с большими моделями сравнивать не очень в пользу себе)Модель тренировалась на многоязычных данных, и, что довольно приятно, графики включают в себя оценки эффективности на русском языке.Также Mistral NeMo использует новый токенизатор, Tekken, основанный на Tiktoken, который был обучен на более чем 100 языках и более эффективно сжимает текст на естественном языке и исходный код, чем токенизатор SentencePiece, используемый в предыдущих моделях Mistral.