RAG: пользователь жалуется на устаревшие ответы — как обнаружить stale chunks

Ситуация: Юзеры пишут — бот FAQ отвечает по неактуальным правилам банка. Re-index делается раз в неделю, но stale chunks остаются. Нужно как мерить freshness.

RAG поверх 8K документов. Update flow: docs обновляются daily, re-embed weekly. Lag = 1-7 дней.

Доступные данные

• docs: id, content, last_modified, version
• rag_chunks: chunk_id, doc_id, content, embedded_at
• qa_log: question, top_chunks_used, answer, ts
• feedback: qa_id, complaint_type (stale/wrong/incomplete)

Задачи

• Метрика staleness: lag между doc update и chunk re-embed.
• Распределение по docs: где staleness > 7 дней.
• Impact: какая % "stale complaints" связана с измеримой staleness.
• Решение: continuous reindex / change-based reindex / TTL.

Все кейсы для подготовки → ← Все кейсы