Hallucination Rate (HR)

Что такое Hallucination Rate (HR)?

Доля ответов LLM, содержащих фактически неверную информацию.

Формула

Hallucination Rate = N_hallucinated / N_total × 100%

Как считать

Семплируем N ответов модели, асессоры (или LLM-judge) размечают факт-чек: hallucination / correct / partially_correct.

Зачем нужна

Главная метрика качества для RAG/чат-ботов и AI-агентов. Снижение с 12% до 4% даёт качественный скачок UX. Ниже 2% — production-ready.

SQL-запрос

SELECT
  model_version,
  intent,
  COUNT(*) AS total,
  SUM(CASE WHEN judge_label = 'hallucinated' THEN 1 ELSE 0 END) AS hallucinated,
  ROUND(100.0 * SUM(CASE WHEN judge_label = 'hallucinated' THEN 1 ELSE 0 END) / COUNT(*), 2) AS hallucination_rate_pct
FROM llm_responses
WHERE created_at >= CURRENT_DATE - INTERVAL '7 day'
GROUP BY model_version, intent
ORDER BY hallucination_rate_pct DESC;