**Контекст:** Двусторонний маркетплейс услуг (аналог YouDo/Profi) тестирует новый алгоритм ранжирования исполнителей. Результат кажется успехом (CR +1.6 п.п., p = 0.003), но senior аналитик замечает проблему: исполнители обслуживают обе группы.
**Данные:**
Дизайн: классический A/B на стороне заказчиков (по 50 000).
Результаты теста:
- CR_A = 15.2%, CR_B = 16.8% → Δ = +1.6 п.п. (p = 0.003)
- Выручка/заказ: A = 2 100 ₽, B = 2 050 ₽ (p = 0.24)
Дополнительные данные:
- Исполнители обслуживают обе группы заказчиков
- Загрузка исполнителей: 87% (обычно 72%)
- Время отклика: 22 мин (обычно 15 мин)
- Отмены заказов: A = 8.1%, B = 7.5% (обычно 6.0%)
**Задание:**
1. Объясните, почему нарушается SUTVA (Stable Unit Treatment Value Assumption)
2. Смоделируйте механизм spillover-эффекта
3. Предложите 3 альтернативных дизайна эксперимента
4. Оцените направление bias: переоценивает или недооценивает тест реальный эффект?
A/B-тест interference spillover SUTVA marketplace network effects cluster randomization
Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, interference, spillover, SUTVA, marketplace.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания