Купер: shopping list feature — A/A провалился

Ситуация: A/A pre-test показал difference 2.5% (p<0.05). Должно быть 0. В чём проблема?

Команда уже хочет запустить A/B. Старший аналитик: «A/A провалился — у вас bias в randomization. Нельзя проводить тест.»

Доступные данные

• ab_assignments: user_id, variant, assigned_ts
• orders: order_id, user_id, ts, amount
• pre_assignment_metrics: user_id, baseline_aov

Задачи

• Decompose A/A: какая метрика расходится — AOV, frequency, segment mix.
• Sample ratio mismatch (SRM): equal split (50/50) или нет.
• Pre-assignment imbalance: одна группа имеет более активных юзеров до теста.
• Stratified randomization: страт по баса AOV/frequency.
• CUPED (Controlled-experiment Using Pre-Existing Data): уменьшение variance.

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

← Все кейсы