Ozon: реферальная программа — корректные guardrails

Сложный Электронная коммерция Referrals 50 мин A/B-test design

Ситуация: Тест: 500 ₽ за приглашённого друга (после 1-й покупки). Primary — new user count. Guardrails?

Маркетинг хочет primary = new users. Это слишком узко: можно нагнать ботов, fake accounts, low-quality.

Доступные данные

Задачи

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

Что спрашивают на A/B-кейсах?

Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.

Какие типичные ошибки в A/B?

Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.

Что такое CUPED?

Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.

← Все кейсы