В A/B-тесте смотрят **20** метрик, каждую на уровне $\alpha = 0.05$. Одна оказалась «значимой». Можно ли праздновать? Какова вероятность хотя бы одного ложного срабатывания, если эффекта нет НИГДЕ?
статистика множественные сравнения Bonferroni FDR
Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «Статистика» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: статистика, множественные сравнения, Bonferroni, FDR.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «Статистика», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания