ML-модель скоринга: silent degradation — accuracy упал но никто не заметил

Ситуация: Модель скоринга кредитов работает 18 месяцев. Кто-то заметил что её точность снизилась с 87% до 79%. Никто этого не отслеживал.

ML credit scoring. Reactive monitoring (по жалобам), нет proactive drift detection.

Доступные данные

• predictions: model_version, score, ts
• actual_outcomes: loan_id, default_actual, ts (180 дней лаг)
• features: feature_name, distribution_summary

Задачи

• Спроектируй система drift detection.
• Какие метрики мониторить.
• Trigger для retraining.
• Cost-benefit добавления monitoring.

Все кейсы для подготовки → ← Все кейсы