E-commerce: оценка качества рекомендаций

Ситуация: Запустили рекомендательную систему на главной. CTR блока 3.2%, но непонятно, растёт ли конверсия.

Маркетплейс, 2M MAU. Рекомендации на главной, в карточке товара и в корзине. A/B-тест показал +0.5% CR, но p-value=0.08.

Доступные данные

• recommendations: user_id, rec_block, product_id, position, shown_at
• clicks: user_id, product_id, source (rec/search/category), clicked_at
• orders: order_id, user_id, product_id, source, amount
• ab_test: user_id, variant (control/treatment), assignment_date

Задачи

• Рассчитать каскадные метрики: impression → click → add_to_cart → purchase.
• Оценить incremental revenue от рекомендаций через A/B с учётом MDE.
• Проанализировать quality метрики: diversity, novelty, coverage, serendipity.
• Предложить offline-метрики для continuous evaluation (NDCG, MAP, Hit Rate).

Все кейсы для подготовки → ← Все кейсы