CUPED: вариант-редукция через pre-experiment данные

Условие задания

**Контекст:** Senior-собес в ML/growth-команду (Яндекс, Ozon, Авито). CUPED — метод уменьшения дисперсии метрики A/B-теста за счёт использования данных пользователя ДО эксперимента.

**Задача:** реализовать CUPED и сравнить с обычным t-test на симулированных данных.

**Данные:**

[см. код в задании]

**Задание:**

1. Сделать обычный t-test на `y_control` vs `y_treatment` — получить p-value и CI.
2. Применить CUPED: вычислить theta, посчитать скорректированные Y_cuped, снова t-test.
3. Показать во сколько раз уменьшилась дисперсия и уменьшился CI.

**Ожидаемый вывод:**
- Без CUPED: CI ±1.2, p=0.001
- С CUPED: CI ±0.6, p<0.0001 (при той же выборке значимость выше)

Темы

cuped variance-reduction ab-test python statsmodels

Подсказки

• theta = cov(Y, X) / var(X) — считается на контрольной группе или на объединённых данных
• Y_cuped = Y - theta * (X - X.mean())
• Variance reduction = 1 - (1 - ρ²) где ρ = correlation(Y, X)

Все тестовые задания → ← Все задания