Тестирование ratio-метрик при сетевых эффектах в соцсети

Условие задания

**Контекст:** Социальная сеть тестирует новый алгоритм рекомендации друзей. Проблема: если пользователь B из тестовой группы отправляет заявку в друзья пользователю A из контрольной, это нарушает SUTVA (Stable Unit Treatment Value Assumption) — пользователь A «заражается» эффектом теста.

**Данные:**

Результаты user-level randomization (первый запуск):
| Метрика | A | B | Lift | p-value |
|---------|---|---|------|---------|
| Friend requests sent/user | 2.3 | 3.1 | +34.8% | <0.001 |
| Friend requests received/user | 2.8 | 2.7 | −3.6% | 0.42 |
| Accepted friends/user | 1.8 | 2.2 | +22.2% | <0.001 |
| DAU/MAU | 0.42 | 0.44 | +4.8% | 0.03 |

Результаты cluster-randomization (город-level, повторный запуск):
| Метрика | A (50 городов) | B (50 городов) | Lift | p-value |
|---------|---------------|---------------|------|---------|
| Friend requests sent/user | 2.3 | 3.4 | +47.8% | 0.002 |
| Friend requests received/user | 2.3 | 3.3 | +43.5% | 0.004 |
| Accepted friends/user | 1.8 | 2.6 | +44.4% | 0.001 |
| DAU/MAU | 0.42 | 0.46 | +9.5% | 0.08 |

**Задание:**
1. Почему результаты user-level и cluster-level кардинально отличаются?
2. Объясните, как network interference искажает оценку при user-level рандомизации.
3. Какой дизайн корректнее и почему?
4. Предложите компромиссный подход, если кластерная рандомизация слишком дорогая.

Темы

A/B-тест network effects SUTVA cluster randomization interference ratio-метрика

Подсказки

• В user-level: friend requests received в контроле завышены — контрольные получают заявки от тестовых
• Это spillover: treatment «утекает» из B в A, занижая наблюдаемый эффект
• При кластерной рандомизации n_eff = число кластеров, а не число пользователей — мощность ниже

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Тестирование ratio-метрик при сетевых эффектах в соцсети"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, network effects, SUTVA, cluster randomization, interference.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания