**Контекст:** Интернет-магазин проводит A/B тест редизайна checkout. Бизнес хочет подглядывать в результаты каждый день и остановить тест досрочно, если победитель очевиден.
Классический fixed-horizon тест (α = 0.05) запрещает промежуточные проверки — каждый «подгляд» увеличивает вероятность ложноположительного результата.
**Запланировано 5 промежуточных проверок:** дни 3, 7, 10, 14, 21.
**Задание:**
1. Объясните peeking problem: почему нельзя просто проверять p-value каждый день?
2. Рассчитайте фактический α при 5 проверках без коррекции.
3. Опишите метод alpha spending (O'Brien-Fleming). Рассчитайте пороги для 5 проверок.
4. Сравните O'Brien-Fleming, Pocock и alpha spending function Lan-DeMets.
5. В какой момент остановить тест по следующим данным?
| Проверка | День | Z-статистика | Накопленный n |
|----------|------|-------------|---------------|
| 1 | 3 | 1.45 | 12 000 |
| 2 | 7 | 2.31 | 28 000 |
| 3 | 10 | 2.78 | 40 000 |
| 4 | 14 | 2.95 | 56 000 |
| 5 | 21 | 3.10 | 84 000 |
sequential testing alpha spending peeking problem always-valid O'Brien-Fleming
Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: sequential testing, alpha spending, peeking problem, always-valid, O'Brien-Fleming.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания