**Контекст:** Банковское приложение тестирует новое название кнопки на экране инвестиций: «Начать инвестировать» (control) vs «Попробовать инвестиции» (test). Отслеживаются две метрики:
- **Primary:** Click Rate на кнопку
- **Secondary:** Avg Session Duration (время сессии на экране инвестиций)
**Данные после 10 дней (50/50 split):**
| Метрика | Control (n=35 000) | Test (n=35 000) | p-value |
|---------|--------------------|-----------------|---------|
| Click Rate | 6.2% | 6.8% | 0.032 |
| Avg Session Duration | 42 сек | 44 сек | 0.041 |
**Задание:**
1. Можно ли объявить оба результата значимыми при α = 0.05?
2. Примените поправку Бонферрони. Что изменится?
3. Какие альтернативы Бонферрони существуют? Когда они лучше?
4. Как правильно организовать иерархию метрик, чтобы не терять мощность?
A/B-тест множественные метрики поправка Бонферрони FDR мощность
Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, множественные метрики, поправка Бонферрони, FDR, мощность.
На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания