Запуск Batch API в Bothub: экономим 45% на генерациях и забываем о rate limits
habr.comСегодня расскажем про функцию, которая уже доступна в Bothub и способна изменить подход к массовой работе с нейросетями. Речь о Batch API — инструменте для асинхронной пакетной обработки данных, который работает с топовыми моделями OpenAI, Anthropic и Google.Вместо того чтобы отправлять по одному запросу к нейросетям и ждать ответ, вы просто загружаете один файл с тысячами промптов.
Система обрабатывает их в фоновом режиме, а когда всё готово — отдает готовый файл с результатами.Архитектура полностью совместима со спецификацией OpenAI Batch API, так что можно использовать официальные SDK без изменения логики формирования данных.Формат файла — .jsonl, где каждая строка это отдельный запрос к Chat Completions API.
