Инференс API LLM моделей LLaMA с доступом из России
habr.com14 июля облачный провайдер Amvera Cloud открыл доступ к foundation models LLaMA 3.1 8B и LLaMA 3.3 70B для пользователей из России.
Для использования токенов LLM нет необходимости привязывать иностранную карту. Оплата осуществляется в рублях с баланса облака, а для юридических лиц доступны закрывающие документы.При этом есть небольшой бесплатный тестовый тариф, позволяющий получить токены LLM бесплатно для теста.Дополнительно к собственному инференсу LLaMA, предоставляется бесплатное встроенное проксирование до API ChatGPT, Gemini, Grok, Claude.Предоставление прямого доступа к инференсу больших языковых моделей позволяет пользователям получить доступ из России без иностранной карты и без покупки токенов у перепродавцов. Доступные большие языковые модели:LLaMA 3.1 8BLLaMA 3.3 70BОжидаемые в ближайших релизах Foundation models:DeepSeekQwenMistralGemmaphiQwQМодели доступны в синхронном режиме работы и позволяют получать вывод LLM модели в реальном времени.Amvera Cloud – облако для простого запуска проектов со встроенным CI/CD (деплой идёт через Git или загрузку файлов в интерфейсе), бесплатным логированием с семантическим поиском, https-доменами, мониторингом работы приложений, встроенным проксированием до ведущих LLM и собственным инференсом LLaMA.
