Thinking Machines Lab выпустила Inkling‑Small — компактную open‑weights‑модель для текста, изображений и аудио
habr.comThinking Machines Lab опубликовала Inkling‑Small — компактную версию своей флагманской Inkling. Компания называет релиз efficient open‑weights model: Inkling‑Small, по ее словам, показывает сопоставимое качество с Inkling при примерно четверти размера.
Если смотреть на цифры, Inkling‑Small — это MoE‑трансформер с 276 млрд параметров всего и 12 млрд активных. Модель принимает текст, изображения и аудио, генерирует текст, работает в контекстном окне до 1 млн токенов и использует схему с 6 из 256 экспертов на токен плюс 2 shared experts.
«Яндекс Фабрика» представила флагманскую линейку горных велосипедов Raskat Lab для активного катания
