**Контекст:** Fintech-приложение запустило A/B-тест новой формы кредитной заявки. Через 7 дней аналитик обнаружил, что конверсия в группе B на 15% выше. Перед тем как доверять результату, нужно провести pre-experiment analysis.
**Данные:**
Распределение по группам:
| Группа | Пользователи | Ожидаемо (50/50) |
|--------|-------------|------------------|
| A | 52 300 | 51 500 |
| B | 50 700 | 51 500 |
Баланс ключевых ковариат:
| Ковариата | Группа A | Группа B | p-value |
|-----------|---------|---------|---------|
| Ср. возраст | 34.2 | 34.5 | 0.38 |
| % iOS | 62.1% | 58.3% | 0.002 |
| Ср. доход (тыс.) | 85.4 | 84.9 | 0.51 |
| % новых пользователей | 28.1% | 33.7% | 0.001 |
| Ср. кредитный скоринг | 712 | 710 | 0.44 |
AA-тест (pre-period, до запуска):
| Метрика | Группа A | Группа B | p-value |
|---------|---------|---------|---------|
| CR в заявку | 8.1% | 8.3% | 0.62 |
**Задание:**
1. Проведите SRM-тест (Sample Ratio Mismatch). Есть ли проблема?
2. Оцените баланс ковариат. Какие нарушения видите?
3. Интерпретируйте AA-тест. Достаточно ли этого?
4. Можно ли доверять результату +15%? Дайте рекомендации.
A/B-тест SRM pre-analysis chi-squared баланс групп AA-тест
Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, SRM, pre-analysis, chi-squared, баланс групп.
На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания