Lamoda: рекомендации в карточке — novelty effect

Ситуация: A/B показал +12% CTR на recsys в неделю 1, но +3% в неделю 2-3. Что происходит и как анализировать.

Команда recsys уверена в победе. Старший аналитик: «вы поймали novelty effect, не реальный uplift».

Доступные данные

• ab_logs: user_id, variant, ts, event_type
• sessions: session_id, user_id, ts
• pre_period: те же юзеры до теста

Задачи

• Декомпозировать lift по неделям: week 1 +12%, week 2 +5%, week 3 +3%.
• Анализ first-time-exposure vs repeat: новизна → клик → угасание.
• Cohort analysis: pre-period vs in-period для test/control.
• Steady-state estimate: неделя 4-5 показывает true effect.
• Recommendation: ждать 4 недели для финальных цифр.

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

← Все кейсы