Power-анализ ретеншн-теста — Самокат

Условие задания

**Компания:** Самокат
**Позиция:** Senior Product Analyst

**Контекст:** Продакт хочет измерить эффект push-уведомлений на week-2 retention. Текущий retention = 45%, хочет уловить абсолютный рост 2pp (с 45% до 47%).

**Задание:**
1. Сколько юзеров нужно в каждую группу для detection? (α=0.05, power=0.8, two-sided)
2. Что если MDE снизить до 0.5pp — как изменится выборка?
3. Какой risk если использовать pooled variance vs unpooled?
4. При 200K новых юзеров/месяц — за сколько дней набрать выборку?

Темы

A/B тест power sample size ratio metrics

Подсказки

• Формула sample size для пропорций: n = 2 * (z_α/2 + z_β)² * p_avg * (1 - p_avg) / MDE²
• z_0.025 = 1.96, z_0.2 = 0.84
• Уменьшение MDE в 4 раза → рост выборки в 16 раз

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Power-анализ ретеншн-теста — Самокат"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B тест, power, sample size, ratio metrics.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания