Tinkoff: уведомления о трате — uplift через 2 недели пропал

Средний Финтех Notifications 45 мин A/B-test analysis

Ситуация: A/B показал +8% engagement в неделю 1. На неделе 4 эффект 0%. Что это и как реагировать?

Engagement = number of app opens / week. Уведомления реально новость, потом becomes ignored.

Доступные данные

app_opens: user_id, ts
notifications_sent: user_id, ts
ab_assignments

Задачи

Декомпозиция effect by week: w1 +8%, w2 +5%, w3 +2%, w4 0%.
Habituation/fatigue effect — типичен для notifications.
Cohort: сегмент юзеров с low usage до теста — у них fade медленнее.
Recommendation: launch с fade-in adjustment механики (notifications adapt to user behavior).
Alternative: daily limit + smart timing.

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

Что спрашивают на A/B-кейсах?

Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.

Какие типичные ошибки в A/B?

Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.

Что такое CUPED?

Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.

← Все кейсы

Tinkoff: уведомления о трате — uplift через 2 недели пропал

Доступные данные

Задачи

Как разбирать A/B-тест: design + анализ кейсы

Похожие задачи на собеседованиях

Похожие кейсы (Финтех)