Запущен A/B тест. По первичной метрике (CR) lift +3% (p=0.02). По guard-метрике (page load time) lift +0.5% (p=0.30). Что докладываешь команде?
A/B тестыmediummiddle
Варианты ответа
Положительный результат, но указать что guard-метрика выросла на 0.5% (хоть и не stat-sig, но направление неблагоприятное); рекомендую раскатить с monitoring page-load после launch
Не раскатываем: page load time выросла, это пользовательский опыт, никакие конверсии не оправдают замедление приложения, выкатка под запретом
Раскатываем без оговорок: p-value page-load > 0.05 значит «нет эффекта», нет смысла предупреждать команду о статистически незначимом результате
Перезапускаем тест с большим объёмом, чтобы получить определённый ответ по guard-метрике — без этого решение нельзя принять
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
2475 вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.