SaaS: эксперимент показал +1.5% revenue, p=0.08. Продлить или закрыть?

Ситуация: A/B тест 4 недели, +1.5% revenue per user, p-value 0.08, n=100K на ветку. Бизнес давит «выпустить». Что делать?

PM считает что «это почти значимо», аналитик настаивает на «не значимо». Stakeholders в смятении.

Доступные данные

• experiments: exp_id, user_id, variant, assigned_at
• revenue: user_id, ts, amount
• sessions: user_id, ts

Задачи

• Power analysis: какой MDE при n=100K, σ=400 — текущий MDE ~1.8%, обнаружили +1.5% (под power).
• Опции: продлить тест (увеличить n), запустить confirmation experiment, считать выводы по prerequisites.
• CUPED для уменьшения дисперсии — может p-value упадёт.
• Sequential testing — не подсматривали ли вы за p-value по ходу теста (peeking)?
• Bayesian взгляд: P(true effect > 0 | data) — может быть 90%+.
• Бизнес-decision framework: cost of FP × P(FP) vs cost of FN × P(FN).

Все кейсы для подготовки → ← Все кейсы