Avito: качество auto-categorization падает (mis-category +4 п.п.)

Сложный Объявления ML 50 мин Root cause investigation

Ситуация: % объявлений в неправильной категории (manual review) вырос с 3% до 7%. Влияет на CR view→contact.

ML-команда: «accuracy на test-data 96%». Категоризация модель release 3 нед назад.

Доступные данные

listings: listing_id, ts_published, predicted_category, actual_category (после review)
classifier_releases: model_v, deploy_ts, training_data_v
training_data_versions: ts, source, sample_count
category_drift: ts, category, drift_score

Задачи

Mis-category by category-class: где error concentrate.
Compare actual vs predicted: confusion matrix.
Drift: новые категории / новый язык в текстах listings.
Training data: когда updated, актуально ли.
Production vs test data difference (statistical).

Все кейсы для подготовки →

Жанр кейса: Root cause / метрика упала — все кейсы этого типа.

Как разбирать Root cause / метрика упала кейсы

Что такое root cause кейс на собесе аналитика?

Тип кейса «метрика упала на N%, найди причину». Проверяет умение декомпозировать метрику, ставить гипотезы и системно их проверять SQL.

Как структурно разбирать root cause?

Шаги: уточнить определение метрики и окно, декомпозировать по сегментам (платформа, регион, юзер, продукт), построить дерево гипотез (продукт/техника/поведение/внешние), проверить guardrail-метрики, дать вердикт rollback/hotfix/keep.

Какие типичные ошибки на root cause кейсах?

Сравнение «эта неделя vs прошлая» без сезонности, агрегат без сегментации, доверие к одной метрике без guardrail, игнорирование каннибализации между фичами.

← Все кейсы

Avito: качество auto-categorization падает (mis-category +4 п.п.)

Доступные данные

Задачи

Как разбирать Root cause / метрика упала кейсы

Похожие задачи на собеседованиях

Похожие кейсы (Объявления)