RAG-ассистент: пользователи жалуются на выдуманные факты

Ситуация: У ассистента для разработчиков по документации стало больше жалоб «бот придумал API, которого нет». CSAT упал на 0.4 пункта за 2 недели. Нужно измерить hallucination rate и предложить план.

Ассистент использует RAG поверх документации продукта. Каждый ответ цитирует источник. Жалоба о «галлюцинации» — когда ассистент уверенно ссылается на несуществующий метод/раздел.

Доступные данные

• qa_log: id, question, answer, sources_cited, model_version, ts
• docs_index: chunk_id, doc_path, last_updated, embedding_version
• feedback: qa_id, rating, complaint_type (hallucination/incomplete/wrong/other)
• eval_set: 300 размеченных «золотых» вопросов с правильными ответами и источниками

Задачи

• Дай рабочее определение «hallucination» для этой задачи (не «правда vs ложь» — что измеряем).
• Спроектируй автоматический детектор: на каких сигналах можно ловить галлюцинации БЕЗ человека.
• Оцени hallucination rate сейчас на eval_set и в проде; сравни.
• План снижения: где сейчас дыра — retrieval, ranking, prompt, model?

Все кейсы для подготовки → ← Все кейсы