**Контекст:** Маркетплейс запустил эксперимент с тремя вариантами главной страницы (A — контроль, B, C, D) и отслеживает 3 метрики: `конверсия в покупку`, `средний чек`, `добавление в корзину`. Аналитик говорит: «У нас 5 значимых результатов из 9 — отличный тест!»
**Данные:** таблица `p-values` по 9 сравнениям:
| Метрика | A vs B | A vs C | A vs D |
|---------|--------|--------|--------|
| Конверсия в покупку | 0.032 | 0.210 | 0.048 |
| Средний чек | 0.180 | 0.041 | 0.520 |
| Добавление в корзину | 0.008 | 0.063 | 0.015 |
**Задание:**
1. Почему нельзя просто сравнивать каждый `p-value` с 0.05?
2. Примените поправку Бонферрони. Какие результаты останутся значимыми?
3. Примените процедуру Холма (`Holm-Bonferroni`). Сравните с Бонферрони.
4. В каких случаях лучше контролировать `FWER`, а в каких — `FDR`?
A/B-тест множественное тестирование Бонферрони FWER FDR Холм
Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, множественное тестирование, Бонферрони, FWER, FDR.
На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания