Что такое трансформеры? (машинное обучение)
forklog.comЧто такое трансформеры? Трансформеры — относительно новый тип нейросетей, направленный на решение последовательностей с легкой обработкой дальнодействующих зависимостей.
На сегодня это самая продвинутая техника в области обработки естественной речи (NLP). С их помощью можно переводить текст, писать стихи и статьи и даже генерировать компьютерный код.В отличие от рекуррентных нейронных сетей (RNN), трансформеры не обрабатывают последовательности по порядку.