Google запускает SALT: Новый способ ускоренного обучения больших моделей AI с помощью малых
habr.comИсследователи из Google разработали метод, позволяющий создавать языковые модели AI, которые одновременно быстрее и лучше, используя необычный подход: предоставляя меньшим моделям обучение для больших.Совместная команда из Google Research и DeepMind разработала метод обучения под названием SALT (Small model aided large model training), который сокращает время обучения до 28 процентов и одновременно улучшает производительность.
Так в чем ключевая инновация? Использование меньших языковых моделей в качестве помощников-преподавателей.Процесс происходит в два этапа.
