**Контекст:** Мобильная игра провела эксперимент с 4 вариантами монетизации (A — контроль, B/C/D — тест). Каждый вариант сравнивается с контролем. Аналитик получил p-value для 5 метрик по каждому сравнению.
**Данные:** матрица p-value:
| Метрика | B vs A | C vs A | D vs A |
|---------|--------|--------|--------|
| ARPDAU | 0.042 | 0.018 | 0.310 |
| Retention D1 | 0.520 | 0.031 | 0.045 |
| Sessions/Day | 0.089 | 0.003 | 0.120 |
| IAP conversion | 0.015 | 0.210 | 0.048 |
| Ad revenue | 0.780 | 0.041 | 0.620 |
Уровень значимости: α = 0.05
**Задание:**
1. Сколько сравнений проводится? Какова вероятность хотя бы одного ложного срабатывания без коррекции?
2. Примените поправку Бонферрони. Какие результаты остаются значимыми?
3. Примените процедуру Бенджамини–Хохберга (BH) для контроля FDR.
4. Сравните подходы и дайте рекомендацию.
A/B-тест Бонферрони множественные сравнения FWER FDR коррекция
Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, Бонферрони, множественные сравнения, FWER, FDR.
На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания