**Контекст:** Социальная сеть редизайнила главную ленту (feed). Продуктовая команда хочет оценить влияние на Retention Day 7 — долю пользователей, вернувшихся на 7-й день после первого визита.
**Данные:**
- DAU: 500 000
- Текущий Retention D7: 22%
- Ожидаемый прирост MDE: 1 п.п. (22% → 23%)
- α = 0.05, power = 0.80
**Задание:**
1. Какой статистический критерий подходит для проверки? Обоснуйте выбор.
2. Почему t-тест не подходит как основной выбор для бинарных метрик?
3. Рассчитайте необходимый размер выборки.
4. Учитывая, что нужно ждать 7 дней после последнего входа — какова реальная длительность теста?
5. Как бы вы учли сезонность (выходные vs будни)?
A/B-тест retention статистический критерий бинарная метрика sample size
Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, retention, статистический критерий, бинарная метрика, sample size.
На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания