Можно ли заменить системный промпт начальным состоянием? Эксперименты на RWKV-7
Что такое начальное состояние модели? Почему у RWKV оно может заменить системный промпт? И чем это отличается от обычного промпта?
Ответы на эти вопросы в этой статье. Обычный трансформер читает системный промпт в каждом запросе заново и хранит его в кэше, который растёт вместе с текстом.
habr.com