Как масштабирование во время тестирования раскрывает скрытые способности к рассуждению в небольших языковых моделях
habr.comСогласно новому исследованию Шанхайской лаборатории искусственного интеллекта, очень маленькие языковые модели (SLM) могут превзойти ведущие большие языковые модели (LLM) в задачах рассуждения.
Авторы показывают, что при наличии правильных инструментов и методов масштабирования во время тестирования SLM с 1 миллиардом параметров может превзойти LLM 405B в сложных математических тестах.Возможность использовать SLM в сложных задачах логического мышления может быть очень полезной, поскольку предприятия ищут новые способы применения этих новых моделей в различных средах и приложениях.Масштабирование во время тестирования (TTS) — это процесс предоставления LLM дополнительных вычислительных ресурсов во время логического вывода для повышения их производительности при выполнении различных задач.
