Новизна и привыкание: как не обмануться ранними результатами

Условие задания

**Контекст:** Социальная сеть тестирует новый алгоритм ленты: ранжирование по интересам вместо хронологического порядка. На 1-й неделе разница по time spent: +17.4% (p < 0.001), на 6-й неделе: +0.7% (p = 0.62).

**Данные:**

Результаты по неделям:

| Неделя | DAU (A) | DAU (B) | Time Spent A (мин) | Time Spent B (мин) | Likes/user A | Likes/user B |
|--------|---------|---------|--------------------|--------------------|--------------|--------------|
| 1 | 500K | 500K | 28.2 | 33.1 | 4.1 | 5.8 |
| 2 | 498K | 501K | 28.0 | 31.5 | 4.0 | 5.3 |
| 3 | 497K | 499K | 27.9 | 29.8 | 4.1 | 4.9 |
| 4 | 499K | 498K | 28.1 | 28.9 | 4.0 | 4.4 |
| 5 | 500K | 497K | 28.3 | 28.5 | 4.1 | 4.2 |
| 6 | 498K | 496K | 28.0 | 28.2 | 4.0 | 4.1 |

**Задание:**

1. Определите, какой эффект наблюдается — novelty или primacy? Обоснуйте
2. Постройте график динамики и предскажите, сходится ли эффект к нулю
3. Предложите методологию, которая позволит отличить «настоящий» эффект от временного
4. Какое решение вы примете по раскатке?

Пример данных

Структура для ориентира — реальные значения из эталонного решения.

data = pd.DataFrame({
    'week': [1,2,3,4,5,6] * 2,
    'group': ['A']*6 + ['B']*6,
    'cohort': ['old'] * 12,  # добавить разбивку по когортам
    'time_spent': [28.2,28.0,27.9,28.1,28.3,28.0,
                   33.1,31.5,29.8,28.9,28.5,28.2]
})

Темы

A/B-тест novelty effect primacy effect временные ряды когортный анализ

Подсказки

• Novelty effect — пользователи активнее взаимодействуют с новинкой, потом привыкают
• Primacy effect — пользователи сопротивляются изменениям, потом привыкают
• Ключ — смотреть на когорты: новые пользователи (без привычки) vs. старые

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Новизна и привыкание: как не обмануться ранними результатами"?

Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, novelty effect, primacy effect, временные ряды, когортный анализ.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания