Sequential testing с early stopping (mSPRT)

Условие задания

**Контекст:** Senior-задача с собеса. Классический t-test страдает от **peeking problem** — если проверять p-value каждый день, false positive rate раздувается с 5% до 30%+. Sequential testing позволяет честно смотреть результаты каждый день, останавливаться раньше при очевидных эффектах, контролировать α.

**Задание:**

1. Реализовать **Pocock boundary** — самый простой sequential test.
2. Реализовать **alpha spending** (O'Brien-Fleming) — более гибкий вариант.
3. На симуляции показать FPR под контролем у обоих vs peeking классический t-test.

**Требуемые артефакты:**
- Функция `sequential_test(data_stream, method='pocock', alpha=0.05, max_looks=20)`.
- Симуляция на 1000 экспериментов, где H0 истинна (нет эффекта), считаем FPR.
- Сравнение: peeking t-test, Pocock, O'Brien-Fleming.

Темы

sequential-testing early-stopping ab-test alpha-spending

Подсказки

• Pocock: при K looks критическое значение = Phi^(-1)(1 - alpha_adj / 2), где alpha_adj ≈ alpha / 1.5 для K=10
• OBrien-Fleming: alpha-spending function alpha * t, где t — доля данных (консервативен в начале)
• Симуляция: 1000 экспериментов × 20 looks, считаем сколько раз ЛОЖНО отвергли H0

Все тестовые задания → ← Все задания