В Рег.облаке запустили инференс ИИ-моделей на NVIDIA B300
habr.comВ Рег.облаке расширили GPU-инфраструктуру ускорителями NVIDIA B200 и B300. Новые мощности уже доступны клиентам, а часть B300 мы задействовали внутри собственной ИИ-платформы — на них идет инференс моделей, развернутых непосредственно в инфраструктуре Рег.облака.Что изменилось: раньше часть моделей на платформе была доступна через внешних поставщиков, теперь отдельные модели работают полностью внутри нашего контура.
Запросы к ним не передаются внешним AI-провайдерам, не уходят за пределы инфраструктуры Рег.облака и не логируются.С такими моделями можно работать без виртуальной частной сети компании и трансграничной передачи данных, а оплачивать использование — в рублях по фактически потребленным токенам.Что по железу: NVIDIA B300 относится к поколению Blackwell Ultra и рассчитана в том числе на инференс reasoning- и agentic-моделей.
