Ratio metrics и Delta method: считаем CTR правильно

Условие задания

**Контекст:** Реальная задача с собеса в Яндекс / Сбер. Тестируется новая ранжировка ленты, метрика — **CTR (click-through rate) per session**.

Чаще всего аналитики делают наивно:
[см. код в задании]

**Проблема:** `CTR = Σclicks / Σimpressions` — это **ratio metric** (отношение двух случайных величин). Дисперсия такого отношения **не равна** дисперсии среднего per-user CTR. Наивный t-test даёт **завышенный Type I error** (ложные позитивные).

**Задание:** реализовать корректный тест для ratio metrics через **Delta method**.

**Данные:**

[см. код в задании]

**Задание:**

1. Наивный t-test на per-user CTR (`clicks / impressions`). Вывести p-value и оценку.
2. Правильный delta-method t-test. Вывести p-value и CI для разницы CTR.
3. Симулировать 1000 A/A экспериментов и посчитать false positive rate для обоих методов — показать что наивный > 5%, delta-method ≈ 5%.

Темы

ratio-metrics delta-method ab-test statistics python

Подсказки

• Дисперсия ratio: Var(X/Y) ≈ Var(X)/E[Y]² - 2·Cov(X,Y)·E[X]/E[Y]³ + Var(Y)·E[X]²/E[Y]⁴
• Для A/B: variance(Δratio) = var_control + var_treatment, стандартизация z = Δratio / sqrt(var)
• p-value из нормального распределения для больших n
• False positive rate: в A/A эксперименте p-value должен быть uniform [0, 1], и доля p<0.05 ≈ 0.05

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Ratio metrics и Delta method: считаем CTR правильно"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: ratio-metrics, delta-method, ab-test, statistics, python.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания