A/B test conversion rate. Контроль 10000 юзеров CR=8%, treatment 10000 юзеров CR=8.5%. p-value=0.18. Что делать?
A/B-тестыmediummiddle
Варианты ответа
Принять H0 (нет значимого эффекта). Lift +0.5pp возможен, но текущая выборка не позволяет утверждать. Решение: либо набрать больше данных (≈20K на группу для MDE 0.3pp), либо признать что эффект слишком малый для бизнеса.
p > 0.05 однозначно означает, что эффекта точно нет — никогда не катить такую фичу на 100% юзеров без повторного теста
Сразу катить на 100% — результаты обнадёживающие, lift +0.5pp при таком sample size это сильный сигнал в пользу treatment
Перезапустить тест с другими юзерами на другом сегменте — возможно на свежей группе с новой рандомизацией зайдёт значимо
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
2475 вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.