**Контекст:** Финтех-приложение провело A/B-тест нового интерфейса оформления кредита. Агрегированные результаты показывают, что вариант B хуже на −0.5 п.п. (`p < 0.05`). Однако при разбивке по платформам картина обратная.
**Данные:** агрегированные результаты:
- Группа A: 30 000 пользователей, 1 800 оформлений (`CR = 6.0%`)
- Группа B: 30 000 пользователей, 1 650 оформлений (`CR = 5.5%`)
Разбивка по платформам:
| Платформа | Группа | Пользователи | Оформления | `CR` |
|-----------|--------|-------------|------------|-----|
| iOS | A | 10 000 | 500 | 5.0% |
| iOS | B | 20 000 | 1 100 | 5.5% |
| Android | A | 20 000 | 1 300 | 6.5% |
| Android | B | 10 000 | 550 | 5.5% |
**Задание:**
1. Объясните парадокс: почему B проигрывает в агрегате, но выигрывает на iOS и не уступает на Android?
2. В чём причина проблемы? Что пошло не так с рандомизацией?
3. Как правильно анализировать результаты?
4. Как предотвратить подобные ситуации при дизайне эксперимента?
A/B-тест парадокс Симпсона сегментация SRM стратификация
Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, парадокс Симпсона, сегментация, SRM, стратификация.
На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания