Tinkoff: переделанный onboarding — как считать MDE

Ситуация: Команда хочет catch +2% activation rate. Сколько юзеров нужно для significant теста?

Baseline activation: 71%. Variance binary 0/1 metric. Trafic: 40K новых юзеров/неделю.

Доступные данные

• signups: user_id, ts, channel
• activations: user_id, ts
• historical_baseline: month, activation_pct

Задачи

• Power analysis: detecting +2 п.п. (71%→73%) при alpha=0.05, power=0.8.
• Расчёт: n per group = (Zα/2 + Zβ)² × 2 × p(1-p) / Δ² ≈ 7400 per group.
• При 40K/неделю поделить пополам — 20K/группа/неделю → ~3 дня нужно.
• Recommended: 14 дней для weekly-cycle, novelty effect.
• Что если уплифт меньше 2%? Considerations.

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

← Все кейсы