CUPED и CUPAC: снижаем дисперсию метрики GMV в ecommerce-тесте

Условие задания

**Контекст:** Вы аналитик growth-команды крупного ecommerce-маркетплейса. Продуктовая команда хочет тестировать редизайн карточки товара, главная метрика — GMV на пользователя за 14 дней эксперимента. Проблема: GMV крайне «тяжёлохвостая» (несколько китов делают сотни тысяч рублей, медиана близка к нулю), поэтому MDE при заданном трафике получается 4%, а команда хочет ловить 1.5%. Набрать в 7 раз больше трафика нельзя — фича катится только на десктоп. Вам предлагают применить CUPED по pre-experiment GMV, но коллега возражает: «у новых пользователей нет истории, covariate = 0, метод сломается». Нужно решить, как корректно снизить дисперсию.

**Задание:**
1. Объясните механику CUPED: как из pre-experiment ковариаты $X$ строится скорректированная метрика, чему равна теоретическая редукция дисперсии и почему CUPED не смещает оценку эффекта.
2. Разберите возражение коллеги про новых пользователей с $X=0$: ломается ли метод, что делать с сегментом без истории, и почему центрирование ковариаты обязательно.
3. Предложите переход от CUPED к CUPAC (regression/ML-adjustment): какие ковариаты добавить кроме pre-GMV, как избежать переобучения и утечки эффекта, чему равна редукция дисперсии в терминах $R^2$.
4. Приведите формулу пересчёта MDE/требуемого N после variance reduction и оцените: при корреляции pre-GMV с GMV $\rho=0.6$ хватит ли CUPED, чтобы дойти до MDE 1.5%.

Темы

cuped cupac variance-reduction ratio power

Подсказки

• Редукция дисперсии CUPED зависит только от корреляции ковариаты с метрикой; запишите её через $\rho^2$ и подумайте, что эта величина даёт по эффективному размеру выборки.
• CUPED — частный случай линейной регрессии метрики на ОДНУ центрированную ковариату; CUPAC обобщает на много ковариат и нелинейные модели. Что в обоих случаях гарантирует несмещённость оценки treatment-эффекта?
• Ковариаты для CUPAC должны быть измерены ДО назначения в группы. Что произойдёт с оценкой эффекта, если в ковариаты случайно попадёт переменная, на которую влияет сам тест?

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "CUPED и CUPAC: снижаем дисперсию метрики GMV в ecommerce-тесте"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: cuped, cupac, variance-reduction, ratio, power.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания