Ситуация: Тест: prominent кредит-CTA на product page. Primary metric — credit applications.
Опасения: те же юзеры теперь берут в кредит вместо наличных. Net revenue не растёт.
orders: order_id, user_id, ts, payment_type, amount, skucredit_applications: app_id, user_id, ts, status, requested_amountpage_views: pv_id, user_id, sku, ts, ui_version (cta_position)ab_assignments: user_id, variant, assigned_tsЖанр кейса: A/B-тест: design + анализ — все кейсы этого типа.
Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.
Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.
Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.