Доброта Qwen3.5–4B держится на двух нейронах
У Qwen3.5–4B обнаружили нейрон, вмешательство в который заметно меняет тон ответов. Достаточно сдвинуть его активацию во время генерации и получается грубая и враждебная версия модели.Эксперимент провела исследовательница под ником Lyra.
Она предложила следующий рецепт:слой 14, нейрон 8949: +1;слой 13, нейрон 7956: −1.Изменения применяются к down_proj при каждом входном запросе.
habr.com