Sensitivity analysis: выбор метрики с максимальной чувствительностью

Условие задания

**Контекст:** SaaS-платформа для email-рассылок хочет оценить новый шаблон онбординга. Нужно выбрать primary metric, которая будет одновременно бизнес-релевантной и чувствительной (т.е. позволит обнаружить эффект с разумным размером выборки).

**Данные:** характеристики метрик-кандидатов (из исторических данных, n=50 000):

| Метрика | Среднее | Std | CV (Std/Mean) | MDE (5% lift) |
|---------|---------|-----|---------------|---------------|
| Revenue/User (руб.) | 1 200 | 4 800 | 4.00 | 60 |
| Active Days/Week | 3.2 | 2.1 | 0.66 | 0.16 |
| Emails Sent/Week | 8.5 | 12.3 | 1.45 | 0.425 |
| Onboarding Score (0–100) | 62 | 22 | 0.35 | 3.1 |
| 7-Day Retention (binary) | 0.45 | 0.50 | 1.11 | 0.0225 |

Корреляция с pre-period (для CUPED):

| Метрика | Corr(pre, post) | Adjusted CV |
|---------|----------------|-------------|
| Revenue/User | 0.65 | 3.04 |
| Active Days | 0.80 | 0.40 |
| Emails Sent | 0.72 | 1.01 |
| Onboarding Score | 0.30 | 0.33 |
| 7-Day Retention | 0.55 | 0.93 |

**Задание:**
1. Рассчитайте размер выборки для каждой метрики (α=0.05, power=0.80, MDE=5% lift).
2. Какая метрика наиболее чувствительна? Какая — наименее?
3. Как CUPED снижает необходимый размер выборки?
4. Предложите оптимальную primary metric и guardrail metrics.

Темы

A/B-тест sensitivity metric selection variance reduction CUPED

Подсказки

• Размер выборки пропорционален (CV/relative_MDE)²: чем выше CV, тем больше нужна выборка
• CUPED снижает дисперсию: Var_adj = Var × (1 − corr²). Adjusted CV = CV × sqrt(1 − corr²)
• Onboarding Score имеет низкий CV, но важно, чтобы метрика была бизнес-релевантной

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Sensitivity analysis: выбор метрики с максимальной чувствительностью"?

Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, sensitivity, metric selection, variance reduction, CUPED.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания