Китайская LLaDa: как зашумленный текст превращается в осмысленный диалог – новая эра диффузионных языковых моделей
habr.comПривет, Хабр! В этой статье расскажу о новом подходе - больших языковых диффузионных моделях (LLaDA).Большие языковые диффузионные модели - альтернатива традиционным большим языковым моделям, которые генерируют текст токен за токеном.
Метод диффузии сначала "зашумляет" текст, а затем модель обучается восстанавливать его целиком. Такие модели можно также использовать и для создания новых белков с заданными свойствами.
