**Контекст:** Крупный интернет-магазин проводит десятки A/B-тестов одновременно. Средняя длительность теста — 3 недели. Команда хочет сократить время экспериментов без увеличения трафика.
**Данные:**
- Основная метрика: `revenue per user` (`RPU`)
- Средний `RPU` = 450 руб., `std` = 1 200 руб. (высокая дисперсия из-за «китов»)
- Корреляция `RPU` текущей недели с `RPU` предыдущей недели: $\rho$ = 0.65
- 100 000 пользователей на группу
- `MDE` = 15 руб. (3.3% от среднего)
**Задание:**
1. Объясните принцип `CUPED` (Controlled-experiment Using Pre-Experiment Data).
2. Выведите формулу для `CUPED`-скорректированной метрики и оцените снижение дисперсии.
3. На сколько сократится длительность теста при использовании `CUPED`?
4. Какие ковариаты подходят для `CUPED`? Какие — нет?
A/B-тест CUPED variance reduction ковариата мощность теста pre-experiment data
Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, CUPED, variance reduction, ковариата, мощность теста.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания