Semantic cache hit-rate упал с 45% до 28% — что сломалось

Ситуация: Semantic cache (сохраняет похожие запросы) hit-rate упал с 45% до 28% за неделю. Cost LLM API вырос 60%. Что произошло?

Semantic cache: новый запрос → embedding → similarity search в cached results. Hit если cosine > 0.92.

Доступные данные

• cache_lookups: query_id, ts, hit (bool), similarity_score, cached_query_id
• queries_distribution: query_id, embedding, ts
• cache_size: ts, total_entries, eviction_count

Задачи

• Декомпозируй причины: similarity threshold не подходит / cache evictions / query distribution shift.
• Анализ similarity distribution до и после.
• 3 опции восстановления.
• Trade-off: lower threshold → больше hits, но quality риск.

Все кейсы для подготовки → ← Все кейсы