**Контекст:** Медиаплатформа тестирует новый алгоритм рекомендаций. Ключевая метрика — `CTR` (Click-Through Rate) = общее число кликов / общее число показов. `CTR` — это ratio-метрика (отношение двух случайных величин на уровне пользователя), и обычный z-тест для пропорций некорректен, так как числитель и знаменатель коррелированы.
**Данные:** результаты за 7 дней:
| Группа | Пользователи | Показы | Клики | CTR |
|--------|-------------|--------|-------|-----|
| A (контроль) | 20 000 | 1 200 000 | 36 000 | 3.00% |
| B (тест) | 20 000 | 1 180 000 | 36 580 | 3.10% |
**Задание:**
1. Объясните, почему стандартный z-тест для пропорций не подходит для `CTR`.
2. Опишите `delta method` для оценки дисперсии ratio-метрики.
3. Что такое линеаризация метрики и как она помогает?
4. Предложите подход к проверке гипотезы.
A/B-тест CTR delta method ratio metric дисперсия линеаризация
Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, CTR, delta method, ratio metric, дисперсия.
На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания