Ситуация: Тест: 500 ₽ за приглашённого друга (после 1-й покупки). Primary — new user count. Guardrails?
Маркетинг хочет primary = new users. Это слишком узко: можно нагнать ботов, fake accounts, low-quality.
referrals: user_id, referred_user_id, ts, statusnew_users: user_id, ts_signup, channelfirst_orders: user_id, ts, amountfraud_signals: user_id, scoreЖанр кейса: A/B-тест: design + анализ — все кейсы этого типа.
Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.
Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.
Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.