Network effects и SUTVA violation — cluster randomization

Условие задания

**Контекст:** Маркетплейс фриланса (дизайн, разработка, тексты) тестирует новую систему рейтинга: вместо среднего балла — «индекс надёжности» с учётом скорости, качества и повторных заказов. Проблема: фрилансеры работают с несколькими заказчиками, и если часть заказчиков видит новый рейтинг, это влияет на заказы фрилансера от всех заказчиков (включая контрольную группу).

**Данные:**

Пилотный user-level A/B тест (2 недели):

| Метрика | A (старый рейтинг) | B (новый индекс) |
|---------|--------------------|--------------------|
| Заказчиков | 15 000 | 15 000 |
| Заказов | 4 200 | 4 950 |
| CR (заказ) | 28.0% | 33.0% |
| Средняя оценка | 4.3 | 4.5 |
| Повторные заказы | 18.0% | 24.0% |

Overlay analysis (пересечение):
- 62% фрилансеров получали заказы от обеих групп
- Фрилансеры с >50% заказов из B-группы имели средний рейтинг на 0.3 выше

Данные для cluster randomization (по городам):
- 45 городов, 8 — treatment, 37 — control
- ICC (intra-cluster correlation) = 0.08
- Средний размер кластера: 2 000 заказчиков

**Задание:**
1. Объясните, как нарушается SUTVA в данном эксперименте.
2. В какую сторону biased результат user-level теста?
3. Рассчитайте design effect и эффективный размер выборки для cluster randomization.
4. Предложите альтернативные дизайны.

Темы

A/B-тест SUTVA network effects cluster randomization interference маркетплейс двусторонняя платформа

Подсказки

• SUTVA: потенциальный outcome пользователя зависит только от его treatment, не от treatment других
• Design effect = 1 + (m − 1) × ICC, где m — средний размер кластера
• Эффективный n = total n / design effect

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Network effects и SUTVA violation — cluster randomization"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, SUTVA, network effects, cluster randomization, interference.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания