Перед residual stream: токенизация, эмбеддинги и изнанка безопасности LLM
Полная версия этой статьи на английском — у меня на сайте. Там оставил все таблицы, параметры экспериментов и подробности проверок; здесь некоторые разделы разобраны короче.
Это первая часть серии материалов, в которых мы проследим за одним единственным токеном от исходной строки до самого вывода.
habr.com