Исследование способности языковых моделей к логическим рассуждениям — тест RELIC
habr.comИсследователи из Нью-Йоркского университета представили RELIC (Recognition of Languages In-Context) — новый тест, разработанный для проверки того, насколько хорошо большие языковые модели могут понимать и выполнять сложные многоэтапные инструкции.
Команда получила результаты, аналогичные тем, что были представлены в недавней статье Apple, но отметила, что есть ещё над чем поработать.Тест RELIC работает следующим образом: ИИ получает формальную грамматику — по сути, точный набор правил, определяющих искусственный язык, — а также строку символов.
