После запуска нового дизайна в A/B тесте конверсия выросла на 15% в первую неделю, но к третьей неделе разница упала до 3%. Что произошло и как это обнаружить?
A/B тестыmediummiddle
Варианты ответа
Novelty effect (эффект новизны): пользователи взаимодействуют с новым дизайном из любопытства. Обнаружить — построить график эффекта по дням и сегментировать по новым/старым пользователям
Тест набрал мощность: чем дольше тест, тем точнее оценка, и 3% — это истинный эффект без артефактов
Баг в системе сплитования — нужно перезапустить тест
Сезонность — первая неделя попала на праздники
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
2475 вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.