Microsoft представила XPU‑ускоритель Maia 300 для инференса ИИ
habr.comMicrosoft анонсировала следующее поколение специализированных ускорителей для машинного обучения — Azure® Maia 300. В отличие от универсальных графических процессоров, проект Maia позиционируется как XPU, сфокусированный на ускорении инференса LLM и генеративных сервисов.Инференс все больше смещается в сторону агентских сценариев, требующих многоступенчатого выполнения задач, длинноконтекстного декодирования и постоянного обращения к «внешним» инструментам.
Чтобы эффективно обрабатывать такие алгоритмы, был сделан упор на устранение узкого места — пропускной способности памяти и задержек при передаче данных.
