**Контекст:** Вы аналитик стримингового медиасервиса. Запустили тест нового алгоритма автоплея следующего эпизода. Сплит планировался 50/50 по user_id. На пятый день дашборд показывает: control 1 012 480 пользователей, treatment 987 too — простите, 987 520 пользователей. Главная метрика (watch time на пользователя) в treatment на +3.1%, p<0.001 — команда празднует. Вы замечаете, что доля treatment = 49.4% вместо ожидаемых 50%, и поднимаете флаг Sample Ratio Mismatch.
**Задание:**
1. Проверьте формально, является ли отклонение 50.3/49.4 статистически значимым SRM. Запишите хи-квадрат тест goodness-of-fit, посчитайте статистику и сделайте вывод (на $N \approx 2{,}0$ млн).
2. Объясните, почему при наличии SRM нельзя доверять даже сильному и значимому результату по watch time, какой механизм делает оценку эффекта смещённой.
3. Постройте диагностический playbook поиска root-cause SRM: перечислите 4-6 типичных причин именно для media-продукта и как каждую проверить (срез по платформам/географии/времени, логи назначения, фильтры, боты).
4. Опишите, какие действия предпринять: можно ли «починить» тест пост-фактум, что докрутить, и как предотвратить в будущем.
srm sample-ratio-mismatch chi-square data-quality root-cause
Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: srm, sample-ratio-mismatch, chi-square, data-quality, root-cause.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания