**Контекст:** Игровая студия тестирует новую систему наград за ежедневный вход (7-day retention, базовый = 32%). Тест на 21 день (~300 000 игроков), но CEO просит промежуточные апдейты каждую неделю и хочет остановить тест раньше. Аналитик знает, что «подглядывание» (peeking) раздувает ошибку первого рода.
**Данные:**
- Метрика: 7-day retention = 32%
- Запланированная длительность: 21 день
- 3 промежуточные проверки: на 7, 14, 21 день
- Номинальный α = 0.05
**Задание:**
1. Рассчитайте реальную вероятность ошибки первого рода при 3 проверках
2. Предложите метод group sequential testing для решения проблемы
3. Рассчитайте скорректированные границы по методу O'Brien-Fleming
4. Напишите код для симуляции и построения stopping boundaries
A/B-тест sequential testing alpha spending peeking problem group sequential
Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, sequential testing, alpha spending, peeking problem, group sequential.
На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания