Решили проблему обучения с подкреплением. Новая работа показывает цену reward hacking в пост‑тренинге
habr.comГруппа исследователей, среди которых Хэмиш Айвисон, один из авторов открытых рецептов пост‑тренинга Tülu и OLMo, 14 октября опубликовала работу о методе CaLIF.
Он решает известную проблему обучения с подкреплением на проверяемых наградах, RLVR, в задачах следования инструкциям. Модель учится выполнять формальные ограничения вроде «ровно три абзаца» или «без длинных тире» и одновременно перестает содержательно отвечать на вопрос.Бенчмарки вроде IFBench проверяют, соблюдены ли ограничения на форму ответа.
