Языковая модель SberDevices признана лучшей в мире
lenta.ruРазработчики SberDevices провели тестирование собственной текстовой модели. По итогам испытаний языковая модель ruRoBERTa уступает лишь человеку, сообщили «Ленте.ру» в компании.Оценка модели производилась с использованием бенчмарка Russian SuperGLUE, который проверяет языковые данные ИИ на логику, здравый смысл, целеполагание и понимание смысла текста, созданный на основе англоязычной методологии GLUE и SuperGlue (General Language Understanding Evaluation -- оценка общего понимания языка).
По словам разработчиков, этим тестом пользуются все разработчики русскоязычных нейросетей.За основу ruRoBERTa была взята другая модель Сбера ruBERT.