LLM API: внедрили prompt caching — нужно посчитать ROI

Ситуация: Команда внедрила prompt caching (повторное использование одной и той же преамбулы). Хочет понять, какую экономию это принесло и оправдывает ли затраты на разработку.

API LLM-сервиса генерирует описания товаров. Каждый запрос содержит большой system prompt + краткое описание товара. Cache hit = тот же system prompt → платим меньше за input tokens.

Доступные данные

• llm_requests: id, ts, prompt_hash, in_tokens, in_tokens_cached, out_tokens, cost_usd, response_time_ms
• releases: deployed_at, feature (cache_v1/cache_v2), notes

Задачи

• Посчитай cache hit rate (доля запросов с in_tokens_cached > 0) по дням.
• Оцени экономию: сколько $ сэкономили на input tokens vs если бы платили полную цену.
• Сравни latency до и после внедрения — есть ли побочный эффект.
• Сделай вывод: ROI положительный? Когда окупится разработка?

Все кейсы для подготовки → ← Все кейсы