**Контекст:** Senior-задача с собеса. Классический t-test страдает от **peeking problem** — если проверять p-value каждый день, false positive rate раздувается с 5% до 30%+. Sequential testing позволяет честно смотреть результаты каждый день, останавливаться раньше при очевидных эффектах, контролировать α.
**Задание:**
1. Реализовать **Pocock boundary** — самый простой sequential test.
2. Реализовать **alpha spending** (O'Brien-Fleming) — более гибкий вариант.
3. На симуляции показать FPR под контролем у обоих vs peeking классический t-test.
**Требуемые артефакты:**
- Функция `sequential_test(data_stream, method='pocock', alpha=0.05, max_looks=20)`.
- Симуляция на 1000 экспериментов, где H0 истинна (нет эффекта), считаем FPR.
- Сравнение: peeking t-test, Pocock, O'Brien-Fleming.
sequential-testing early-stopping ab-test alpha-spending
Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: sequential-testing, early-stopping, ab-test, alpha-spending.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания