Ситуация: Доля студентов, оставшихся с первым предложенным учителем, упала на 14 п.п. за месяц.
Месяц назад выкатили новую ML-модель matching на основе поведения студентов. Команда ML: «metrics на test-data были хорошие».
matches: match_id, student_id, teacher_id, ts, acceptedlessons_post_match: match_id, lesson_id, ratingstudent_profiles: student_id, level, goal, age, prefer_featuresteacher_profiles: teacher_id, specialization, experience_years, rating_avgmatching_model_releases: model_v, deploy_tsЖанр кейса: Root cause / метрика упала — все кейсы этого типа.
Тип кейса «метрика упала на N%, найди причину». Проверяет умение декомпозировать метрику, ставить гипотезы и системно их проверять SQL.
Шаги: уточнить определение метрики и окно, декомпозировать по сегментам (платформа, регион, юзер, продукт), построить дерево гипотез (продукт/техника/поведение/внешние), проверить guardrail-метрики, дать вердикт rollback/hotfix/keep.
Сравнение «эта неделя vs прошлая» без сезонности, агрегат без сегментации, доверие к одной метрике без guardrail, игнорирование каннибализации между фичами.