Context window растёт: cost / запрос вырос 40% — где утечка

Ситуация: За месяц средний context size в LLM-вызовах вырос с 4K до 6K tokens. Cost / запрос вырос 40%. Команда не понимает откуда tokens — system prompt? history? RAG?

LLM-чат, история переписки + RAG-context + system prompt. Cap context: 16K tokens. Никаких релизов system prompt не было.

Доступные данные

• llm_calls: call_id, ts, total_tokens, prompt_tokens, completion_tokens, cost
• prompt_components: call_id, system_tokens, history_tokens, rag_tokens, user_tokens
• rag_settings: top_k, max_chunk_size

Задачи

• Декомпозируй: какой component вырос больше всего.
• Time series: совпадает ли рост с конкретным релизом / change.
• 3 рычага снижения cost.
• Communication: что говорить product team.

Все кейсы для подготовки → ← Все кейсы