Программы
OpenAI добавила в API 12-часовое кэширование промптов
Публикация:
С 20 октября API OpenAI позволяет сохранять общий префикс запроса в кэше на 12 часов. Запись такого кэша стоит в два с половиной раза дороже обычного ввода, но повторное использование префикса между редкими запросами может снизить расходы на кэшированные входные токены.
20 октября OpenAI добавила в API режим кэширования промптов на 12 часов. Он продлевает период, в течение которого сервис может повторно использовать одинаковую часть запроса, например общие инструкции, описания инструментов и контекст. Это обновление предназначено для последовательности API-запросов с промежутками в несколько часов.
За запись входного текста в 12-часовой кэш OpenAI взимает плату в два с половиной раза выше обычной цены входных токенов. Повторные обращения могут получить более низкую цену за кэшированный ввод, если сохранённый префикс совпадает; поэтому кэширование особенно полезно, когда длинные неизменные инструкции используются повторно, а запросы приходят не подряд.
Для попадания в кэш важен повторяемый префикс: меняющиеся данные лучше располагать после стабильной общей части. Само включение режима не означает, что любой следующий запрос автоматически будет кэширован — результат зависит от совпадения префикса и параметров запроса.
Командам, работающим через API, стоит сопоставить плату за запись с частотой повторного использования контекста. 12-часовой режим рассчитан на запросы с промежутком в несколько часов; при редких повторах надбавка может перевесить экономию на кэшированных токенах.