Ratio-метрики и дельта-метод: корректный анализ revenue per user

Условие задания

**Контекст:** B2B SaaS-платформа тестирует новую pricing page. Primary metric — ARPU. Коллега-аналитик говорит: «ARPU — ratio metric (revenue / users). Наивный t-тест некорректен. Нужен delta method.»

**Данные:**

Результаты теста:

| Группа | Пользователи | Платящие | Revenue | ARPU |
|--------|-------------|----------|---------|------|
| A (контроль) | 8 000 | 640 | 3 840 000 ₽ | 480 ₽ |
| B (новая страница) | 8 200 | 738 | 4 510 200 ₽ | 550 ₽ |

- Δ ARPU = +70 ₽ (+14.6%), наивный t-тест: p = 0.031
- Revenue на платящего: mean = 6 000 ₽, std = 8 500 ₽ (скошенное распределение)
- CR (платящие / все): A = 8.0%, B = 9.0%
- 92% пользователей — нулевой revenue

**Задание:**

1. Объясните, почему наивный t-тест по ARPU может давать неверный p-value
2. Выведите формулу дельта-метода для ratio metric Y/X
3. Рассчитайте корректный доверительный интервал и p-value
4. Сравните результат дельта-метода с bootstrap

Темы

A/B-тест delta method ratio metric ARPU bootstrap дисперсия

Подсказки

• ARPU = Total Revenue / Total Users — это ratio двух случайных величин
• Delta method: Var(g(X)) ≈ [g'(μ)]² × Var(X) для функции от случайных величин
• При 92% нулей распределение сильно скошено — CLT работает, но медленно

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Ratio-метрики и дельта-метод: корректный анализ revenue per user"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, delta method, ratio metric, ARPU, bootstrap.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания