«Кошачья атака» на модель рассуждений показывает, насколько важна контекстная инженерия
habr.comИсследовательская группа обнаружила, что даже такие простые фразы, как «кошки спят большую часть своей жизни», могут существенно нарушить работу продвинутых моделей логического мышления, увеличив количество ошибок в три раза.Языковые модели, оптимизированные для рассуждений, часто считаются прорывом в решении задач, требующих поэтапного мышления.
Однако новое исследование «Кошки сбивают с толку рассуждающие языковые модели» показало, что всего одно обычное предложение может резко увеличить количество ошибок.Команда создала автоматизированную систему атак под названием CatAttack.
