Mistral выпустил Small 4: модель с рассуждениями, мультимодальностью и 119 млрд параметров под Apache 2.0
habr.comФранцузский стартап Mistral выпустил Small 4 — первую модель в линейке, которая объединяет сразу три направления: чат, рассуждения и мультимодальность.
Раньше для этого нужно было выбирать между Magistral, Pixtral и Devstral, теперь всё в одной модели.Архитектура — Mixture of Experts: 128 экспертов, из которых на каждый токен активны только 4.
