Ты применила t-test на данных revenue, и в A/A-симуляции на 10000 итераций получаешь FPR=0.13 при α=0.05. Что это значит и что делать?
Статистикаmediummiddle
Варианты ответа
Критерий поломан: реальная доля ложных срабатываний ~13% вместо 5%. Скорее всего тяжёлые хвосты у revenue ломают CLT — лечится log-преобразованием, bootstrap или Mann-Whitney
Это нормально для малой выборки — увеличить N в группах и FPR упадёт автоматически до целевых 5% за счёт центральной предельной теоремы
FPR не должна совпадать с α в принципе — α это теоретический уровень, FPR это эмпирика, расхождение в 2-3 раза допустимо в любых условиях
Это значит что в данных есть реальный эффект и H0 ложна, поэтому критерий и срабатывает чаще — нужно смотреть на эффект и не на FPR
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
2475 вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.