LLM Latency P95 (Inference) (LLM-P95)

Формула и расчёт LLM Latency P95 (Inference) — в Pro

В Pro-подписке по этой метрике вы получите:

• Точную формулу расчёта (LaTeX)
• Готовый SQL-запрос для вашей БД
• Инструкцию «как считать на реальных данных»
• Зачем метрика нужна бизнесу и когда её применять
• Типичные ошибки расчёта и как их избежать

Бесплатные метрики этой же категории:

• Hallucination Rate (HR) — Доля ответов LLM, содержащих фактически неверную информацию.
• RAG Precision @ K (P@K) — Доля релевантных документов среди top-K чанков, переданных модели.
• Time to First Token (TTFT) — Время от запроса до начала стриминга первого токена ответа.