Архитектура New Energy-Based Transformer призвана улучшить «системное мышление» в моделях ИИ
habr.comНовая архитектура под названием Energy-Based Transformer призвана научить модели ИИ решать задачи аналитически и поэтапно.Большинство современных моделей ИИ работают по принципу, который Дэниел Канеман назвал «System 1 thinking»: они быстрые, интуитивные и отлично справляются с распознаванием образов.
Но, согласно исследованию, проведённому учёными из Университета Вирджинии, Университета Иллинойса в Чикаго, Стэнфорда, Гарварда и Amazon GenAI, эти модели часто не справляются с задачами, требующими более медленного и аналитического «System 2 thinking», например со сложными логическими рассуждениями или продвинутой математикой.В статье «Трансформеры на основе энергии — масштабируемые обучающиеся и мыслящие системы» задаётся вопрос, могут ли подобные навыки мышления развиться исключительно в результате обучения без учителя.
