**Контекст:** Финтех-приложение проводит A/B тест нового онбординга. Метрика — количество транзакций за первые 14 дней. Дисперсия метрики высокая: σ² = 120.
У каждого пользователя есть пред-экспериментальные данные: количество транзакций за предыдущий месяц (ковариата X). Корреляция между X и Y: ρ = 0.65.
**Текущие параметры:**
- n = 20 000 на группу (40 000 total)
- MDE = 0.5 транзакции
- σ² = 120
- ρ(X, Y) = 0.65
**Задание:**
1. Объясните идею CUPED (Controlled-experiment Using Pre-Experiment Data).
2. Выведите формулу скорректированной метрики и покажите, на сколько снижается дисперсия.
3. Рассчитайте, на сколько дней сокращается эксперимент благодаря CUPED.
4. Напишите Python-реализацию CUPED-поправки.
CUPED variance reduction ковариата ускорение эксперимента регрессия
Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: CUPED, variance reduction, ковариата, ускорение эксперимента, регрессия.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания