Продакт хочет проверить новую кнопку оформления заказа. Текущая конверсия в покупку 4%. Ожидаемый эффект — рост на 0.5 п.п. (до 4.5%). Трафик 10000 пользователей в день, делится 50/50. Вопросы: 1) сколько нужно наблюдений на группу при alpha=0.05, power=0.8; 2) сколько дней крутить тест; 3) как изменится ответ, если детектируемый эффект хотим меньше — 0.25 п.п.
Базовые числа: $p_1 = 0.04$, $p_2 = 0.045$, абсолютный MDE $= 0.005$.
Это задание для уровня medium. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания