**Контекст:** Собес на senior-позицию в социалку (VK, Одноклассники, закрытая US-компания). Дан кейс и нужно объяснить почему стандартный A/B даст смещённый результат.
**Сценарий:** VK запускает новую функцию «реакции на комментарии» (pop-up с эмодзи). Цель — повысить engagement.
Команда делит юзеров 50/50 на control/treatment и наблюдает:
- Control: никаких изменений
- Treatment: видит новую реакцию и может её использовать
Через 2 недели замеряют **посещаемость (sessions per week)** и **активность (comments per session)**.
**Результат A/B:**
- Sessions: +2% в treatment, p-value = 0.04 (statsig)
- Comments: +5% в treatment, p-value < 0.001
Команда готова раскатывать на 100%. **Что не так с этим выводом?**
**Задание:** объяснить какие предпосылки A/B-теста нарушены, предложить правильный дизайн эксперимента и объяснить как это повлияет на размер эффекта.
network-effects sutva-violation ab-test experimental-design
Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: network-effects, sutva-violation, ab-test, experimental-design.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания