Команда тестирует 5 вариантов кнопки в A/B/C/D/E-тесте с α=0.05. Как правильно корректировать p-value для множественных сравнений?
A/B тестыmediummiddle
Варианты ответа
Bonferroni: α/n = 0.05/4 = 0.0125 для каждого сравнения с контролем. Консервативно, но надёжно. Либо Holm-Bonferroni который адаптивен и менее строгий при большом n
Никак корректировать не нужно — в A/B-платформах (Optimizely, Statsig) уже встроены поправки на multiple testing, можно смотреть raw p-value и доверять им
Bonferroni применяется только если тестируешь несколько метрик. Для нескольких вариантов одной метрики достаточно стандартного α=0.05, поправка даст ложную консервативность
Корректировка через FDR (false discovery rate) в Benjamini-Hochberg лучше Bonferroni, потому что FDR контролирует долю ошибок среди отвергнутых H0 — для A/B это точнее
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
2475 вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.