AI-чатбот: стоимость диалога выросла на 40% за месяц

Ситуация: У чатбота для клиентов стоимость одного диалога выросла с $0.08 до $0.11 за 30 дней. Команда хочет понять, что произошло и как вернуть метрику в норму без потери качества.

Бот отвечает на банковские запросы (баланс, перевод, спор по транзакции). Используется gpt-4o с RAG над базой FAQ + история диалогов клиента. Лимит — 3 секунды на ответ. Качество измеряется CSAT и долей переведённых на оператора.

Доступные данные

• conversations: id, user_id, started_at, ended_at, message_count, total_tokens_in, total_tokens_out, cost_usd, model_version
• messages: conversation_id, role (user/assistant/system), tokens_in, tokens_out, latency_ms, rag_chunks_used
• rag_index: chunk_id, source_doc, embedding_model, last_updated_at
• releases: release_at, type (prompt/model/rag), description
• feedback: conversation_id, csat_score, transferred_to_human

Задачи

• Декомпозируй рост cost_usd: больше токенов на диалог? Дороже модель? Больше RAG-чанков?
• Привяжи скачки к релизам — что менялось в prompt, RAG, модели за последние 30 дней.
• Оцени влияние на качество: csat, transferred_to_human — не ухудшилось ли вместе с ростом цены.
• Предложи 3 рычага снижения цены без падения качества + ожидаемая экономия по каждому.

Все кейсы для подготовки → ← Все кейсы