**Контекст:** Реальное задание с собеса в продуктовую команду. Вы тимлид аналитики, к вам пришёл PM с результатами A/B-теста:
**Тест:** новая рекомендательная лента в приложении.
**Метрика:** средняя длительность сессии.
**Результаты:**
- Контроль: 8.2 минуты/сессия
- Тест: 8.4 минуты/сессия (**+2.4%**)
- p-value = 0.03 (статзначимо при α=0.05)
- N = 500 000 юзеров × 2 группы
- Тест шёл 2 недели
- Relative MDE был задан как 1% → detected effect (2%) его превышает
- **Guardrail метрики:**
- Retention D7: -0.8pp (незначимо, p=0.15)
- Конверсия в покупку: -0.5pp (незначимо, p=0.22)
- Crash rate: +12% в новой ленте (значимо, p=0.01) — связано с новым рендером
PM спрашивает: «Раскатываем на 100%?»
**Задание:**
1. Что вы ответите PM и почему?
2. Какие дополнительные данные запросите перед решением?
3. Как обоснуете своё решение на product review?
ab-test decision-making stat-significance tradeoffs
Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «Product Sense» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: ab-test, decision-making, stat-significance, tradeoffs.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «Product Sense», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания