Что такое Simpson's Paradox и как он может обмануть продуктового аналитика при сравнении групп?

Варианты ответа

• Тренд в агрегированных данных противоречит тренду внутри подгрупп из-за неравного распределения третьей переменной. Классика: A лучше B в среднем, но B лучше A во всех сегментах
• Когда маленькая выборка показывает большой эффект, исчезающий при увеличении n. Это следствие высокой дисперсии — с ростом выборки эффект регрессирует к нулю и значимость исчезает
• Ошибка множественных сравнений: при одновременной проверке многих гипотез одна случайно окажется значимой. Simpson доказал это математически для любой α выше нуля процентов
• Когда метрика кажется растущей, но это артефакт изменения знаменателя, а не числителя. Например, CTR вырос потому что упали показы, не потому что стало больше кликов по баннеру

Разбор ответа

Получить доступ к ответам — все вопросы →

Похожие вопросы из категории «Метрики»

• Что такое Activation Rate и как её рассчитать в SQL? Есть таблица events(user_id, event_name).
• Опишите формулу WAU/MAU и зачем она нужна.
• Как получить ARPU в разрезе тарифов? Есть таблица payments(plan, user_id, amount).
• Что такое NRR и как его интерпретировать? Приведите формулу.
• Как посчитать churn rate пользователей (формула и SQL)? Есть таблица customer_status(user_id, status) со статусами active_start и churned.