Как проверять гетерогенность эффекта по сегментам?
A/B тестыhardsenior
Варианты ответа
Строить оценки эффекта и доверительные интервалы по ключевым сегментам и, по возможности, применять тесты на взаимодействие, чтобы увидеть различия между сегментами
Полностью игнорировать сегменты и принимать решения только по общей метрике для всей популяции
Просто повысить альфа, чтобы больше сегментов показали значимый эффект независимо от реальной гетерогенности
Считать только общий CR, не анализируя, как эффект распределён по разным группам пользователей
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
2475 вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.