Launch или не launch: фича выросла на 2%

Условие задания

**Контекст:** Реальное задание с собеса в продуктовую команду. Вы тимлид аналитики, к вам пришёл PM с результатами A/B-теста:

**Тест:** новая рекомендательная лента в приложении.
**Метрика:** средняя длительность сессии.
**Результаты:**
- Контроль: 8.2 минуты/сессия
- Тест: 8.4 минуты/сессия (**+2.4%**)
- p-value = 0.03 (статзначимо при α=0.05)
- N = 500 000 юзеров × 2 группы
- Тест шёл 2 недели
- Relative MDE был задан как 1% → detected effect (2%) его превышает
- **Guardrail метрики:**
- Retention D7: -0.8pp (незначимо, p=0.15)
- Конверсия в покупку: -0.5pp (незначимо, p=0.22)
- Crash rate: +12% в новой ленте (значимо, p=0.01) — связано с новым рендером

PM спрашивает: «Раскатываем на 100%?»

**Задание:**

1. Что вы ответите PM и почему?
2. Какие дополнительные данные запросите перед решением?
3. Как обоснуете своё решение на product review?

Темы

ab-test decision-making stat-significance tradeoffs

Подсказки

• Статзначимо ≠ практически значимо. Какова ценность +2% в минутах?
• Guardrail метрики просели, даже если незначимо — при 500к юзеров "незначимо" может быть мощность недоступная
• Crash rate +12% — это реальная проблема, независимо от p-value основной метрики
• Novelty effect: 2 недели мало, может быть эффект "попробовать новое"

Все тестовые задания → ← Все задания