Yandex Музыка: новый player UI — sample ratio mismatch

Q: Что спрашивают на A/B-кейсах?

Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.

Q: Какие типичные ошибки в A/B?

Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.

Q: Что такое CUPED?

Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.

Сложный Медиа UX 50 мин A/B-test analysis

Ситуация: A/B test: 50/50 split. По факту в DB: 52.3 / 47.7. Тест продлили — расходимость. SRM detected.

Команда хочет ignore SRM и анализировать. Senior data scientist: «нельзя — system bias делает результат невалидным».

Доступные данные

ab_assignments
sessions
plays

Задачи

Chi-square test: H0 50/50. p < 0.001 → SRM confirmed.
Найти причину: bug in randomization, opt-out asymmetric, app version-tied.
Проверить by app_version, by device, by signup_date.
Если bug найден — исправить + откатить assignments + перезапуск.
Если bug не найден — SRM невалиден тест.

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

Что спрашивают на A/B-кейсах?

Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.

Какие типичные ошибки в A/B?

Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.

Что такое CUPED?

Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.

← Все кейсы

Yandex Музыка: новый player UI — sample ratio mismatch

Доступные данные

Задачи

Как разбирать A/B-тест: design + анализ кейсы

Похожие задачи на собеседованиях

Похожие кейсы (Медиа)