Yandex Маркет: CTR в поиске упал на 8% за неделю

Ситуация: CTR в поисковой выдаче Маркета упал с 22% до 14% за 7 дней, заказы — стабильно.

Неделю назад выкатили новую ML-модель ранжирования (LightGBM → CatBoost). Команда поиска говорит «всё ок». Тебе нужно подтвердить или опровергнуть деградацию и найти причину.

Доступные данные

• searches: query_id, user_id, ts, query, vertical, region
• impressions: query_id, listing_id, position, ts, model_version
• clicks: query_id, listing_id, position, ts
• orders: order_id, listing_id, user_id, ts, gmv
• ranker_releases: model_version, deploy_ts, % traffic

Задачи

• Уточнить как считают CTR (clicks/impressions, на каком окне, фильтр ботов).
• Декомпозировать CTR по позициям 1-10, по вертикали (электроника/одежда/еда), по region и new/return user.
• Сравнить старую и новую модель в split-тесте (если был).
• Проверить guardrail: orders/searches, GMV/searches, add_to_cart rate.
• Найти где именно проседает: top-1 нерелевантный? новый layout с большим промо-блоком?
• Дать вердикт: rollback / hotfix / оставить.

Все кейсы для подготовки → ← Все кейсы