Novelty и primacy effect: обнаружение и коррекция результатов A/B теста

Условие задания

**Контекст:** Социальная сеть запустила A/B тест нового дизайна профиля. Через 21 день результаты:
- Engagement Rate: +8% в тестовой группе (p < 0.001)

Но продакт-менеджер сомневается: «Это настоящий рост или просто пользователи кликают из любопытства к новому дизайну?»

**Данные по дням (Engagement Rate, test vs control, % lift):**
| Дни 1-3 | Дни 4-7 | Дни 8-14 | Дни 15-21 |
|---------|---------|----------|-----------|
| +15% | +11% | +7% | +5% |

**Задание:**
1. Что такое novelty effect и primacy effect? Как они проявляются в A/B тестах?
2. По данным выше — есть ли novelty effect? Обоснуйте.
3. Предложите 3 метода обнаружения novelty/primacy effect.
4. Как скорректировать результат, чтобы оценить «истинный» долгосрочный эффект?
5. Какой дизайн эксперимента минимизирует эти эффекты?

Темы

novelty effect primacy effect time-series когортный анализ bias

Подсказки

• Novelty: пользователи больше взаимодействуют с новым UI из любопытства → эффект убывает
• Primacy: пользователи привыкли к старому UI → сначала хуже, потом адаптируются → эффект растёт
• Ключевой метод: сравнить lift по когортам (новые vs существующие пользователи)

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Novelty и primacy effect: обнаружение и коррекция результатов A/B теста"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: novelty effect, primacy effect, time-series, когортный анализ, bias.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания