ML model serving: p99 latency растёт хвостом — investigation

Ситуация: Recommendations model p50 latency 30ms (OK), но p99 = 800ms (плохо для UX). Engineering says "p50 OK, что хочешь". PA needs help.

ML serving real-time. SLA p99 < 300ms. Model: gradient boosting, 500 features.

Доступные данные

• serving_logs: request_id, ts, latency_ms, features_count, model_version
• feature_lookups: request_id, feature, lookup_latency
• system_metrics: ts, cpu, memory

Задачи

• Tail latency decomposition: what bottleneck.
• Feature lookup analysis.
• Optimization options.
• Trade-off: latency vs accuracy.

Все кейсы для подготовки → ← Все кейсы