Alibaba придумала, как сократить потребность в GPU на 82%
Компания Alibaba Cloud представила систему Aegaeon, которая может радикально снизить количество необходимых видеокарт Nvidia для обслуживания AI-моделей.
Почти в пять раз. Новый подход решает одну из главных проблем облачных сервисов. Неэффективное распределение вычислительных мощностей между тысячами моделей, которые загружаются неравномерно.
habr.com