Xiaomi представляет MiMo-7B — компактную модель для решения математических задач и задач по кодированию
habr.comС новой моделью MiMo-7B Xiaomi стремится продемонстрировать, что математические и программные задачи могут эффективно решаться относительно небольшими языковыми моделями.
По словам компании, результаты должны соответствовать или даже превосходить результаты, достигнутые более крупными конкурентами.В то время как многие современные модели рассуждений с открытым исходным кодом используют 32 миллиарда параметров, Xiaomi полагается на архитектуру из 7B параметров, стремясь максимизировать ее эффективность с помощью специально разработанных стратегий предварительного и последующего обучения.Исследовательская группа сообщает, что MiMo-7B был предварительно обучен примерно на 25 триллионах токенов с целью раннего ознакомления модели с шаблонами рассуждений.
