Anthropic представила функцию кэширования запросов Claude для API
habr.comРазработчикам, использующим Anthropic API, стала доступна функция кэширования промптов. Благодаря этому можно сократить количество запросов напрямую к нейросети, снизить затраты до 90% и уменьшить задержки в ответах до 85%.
Кэширование промптов пока доступно в публичной бета-версии Claude 3.5 Sonnet и Claude 3 Haiku. Также поддержка появится в Claude 3 Opus.Кэширование особенно полезно в ситуациях, когда пользователь хочет отправить нейросети большое количество информации для контекста, а затем неоднократно обращаться к ней.