Новая система Meta* MILS обучает LLM работать с мультимедийными данными без специальной подготовки
habr.comИсследователи Meta AI и их академические партнёры разработали систему, которая обучает большие языковые модели работе с изображениями, видео и аудио без специальной подготовки.Система под названием MILS (Multimodal Iterative LLM Solver) опирается на естественные способности моделей к решению задач, а не на обширную подготовку данных.MILS работает в паре с двумя моделями AI: «генератором», который предлагает решения задач, и «оценщиком», который оценивает эффективность этих решений.
Обратная связь от «оценщика» помогает «генератору» шаг за шагом улучшать свои ответы, пока не будет достигнут удовлетворительный результат.Система особенно хорошо справляется с описанием изображений.
Компания Allen AI: новая модель Tülu 3 405B с открытым исходным кодом конкурирует с лучшими моделями
