Transformer² от Sakana AI — это новый подход, помогающий языковым моделям обучаться
Японская компания Sakana AI представила новый метод Transformer², который помогает языковым моделям адаптироваться к различным задачам.
В отличие от традиционных систем AI, которые обучаются один раз для выполнения разных задач, Transformer² предлагает непрерывное обучение, что позволяет моделям справляться с неожиданными трудностями.Система использует двухэтапное обучение с помощью "экспертных векторов", основанных на методе тонкой настройки сингулярных значений (SVF).
habr.com