Tencent представила диффузионную языковую модель WeDLM 8B Instruct
Tencent выпустила WeDLM 8B Instruct, экспериментальную языковую модель, которая использует диффузионный подход для генерации текста вместо классической авторегрессии.
В традиционных LLM текст создается токен за токеном последовательно, тогда как WeDLM сначала формирует «шумное» представление ответа, а затем постепенно очищает его, приближаясь к финальному результату.
habr.com