RAG для FAQ: hit@5 = 78%, но 30% запросов остаются без ответа

Ситуация: В RAG-системе для FAQ метрика hit@5 (правильный документ в топ-5) = 78%. Но 30% пользователей пишут «не помог» после ответа. Где разрыв?

Retrieval: bi-encoder на BERT, индекс из 5000 FAQ-статей. Генератор: gpt-4o, использует top-5 чанков как контекст.

Доступные данные

• faq_queries: id, query, retrieved_chunks (array), generated_answer, ts
• feedback: query_id, helpful (bool), reason (если не помог)
• faq_corpus: chunk_id, text, doc_id, embedding, last_updated
• eval_set: query, gold_chunk_ids (правильные документы)

Задачи

• Разложи: 30% «не помог» — где они возникают? Retrieval не нашёл, или модель плохо использовала контекст?
• Посчитай hit@1, hit@5, MRR на eval_set.
• Сегментируй failure cases: типы запросов где не помогает чаще.
• Предложи 2-3 рычага улучшения retrieval или генерации.

Все кейсы для подготовки → ← Все кейсы