Ситуация: Расскажи как тестируешь персонализацию main page и какие guardrails ставишь.
A/B хочет primary metric = GMV/user. Boss спрашивает: «А что если разнообразие выдачи упадёт и юзеры со временем устанут?»
sessions: session_id, user_id, ts, durationorders: order_id, user_id, ts, gmvfeed_diversity: session_id, distinct_categoriesnovel_purchases: user_id, sku, is_new_categoryЖанр кейса: A/B-тест: design + анализ — все кейсы этого типа.
Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.
Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.
Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.