Какие слои что знают: сравниваем RWKV-7 и трансформеры послойными пробами
Где языковая модель хранит порядок слов, грамматику и смысл — и зависит ли это от архитектуры? Я обучил 12 небольших моделей, которые отличаются только архитектурой, и проверил линейными пробами каждый слой каждого чекпоинта.
Короткий вывод: на этом масштабе заметнее всего различается то, как хранится позиция токена (номер токена в окне; про позицию в документе см.
habr.com