Inception выпустила Mercury 3, диффузионную LLM со скоростью 1 068 токенов в секунду
19 октября компания Inception представила Mercury 3, новую версию своей диффузионной языковой модели. По данным разработчиков, на GPU NVIDIA она генерирует 1 068 токенов в секунду.
Это в 4–8 раз быстрее моделей своего класса, GPT-6 Luna и Claude Haiku 5.5, при сопоставимом или более высоком качестве.Mercury 3 устроена иначе, чем привычные LLM.
habr.com