Ozon Card: A/B нового cashback-уровня — primary metric?

Средний Финтех Co-brand 45 мин A/B-test design

Ситуация: Тест: cashback 5% (vs текущий 3%) на категории «дом и ремонт». Какие метрики поставить.

CFO: «нужен payback за 6 мес». Маркетинг: «conversions, total revenue». Что primary?

Доступные данные

cashback_payments: card_id, ts, amount, category
orders: order_id, card_id, ts, total, category
card_users: card_id, plan, ts_active
total_spend: card_id, ts_month, total

Задачи

Primary candidates: incremental revenue в категории, total Ozon revenue, retention card.
Recommend: «net contribution» = revenue × margin − cashback paid.
Guardrails: total spend от card user.
Длительность: 8 недель (включить sales-event cycle).
Sample size + MDE.

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

Что спрашивают на A/B-кейсах?

Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.

Какие типичные ошибки в A/B?

Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.

Что такое CUPED?

Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.

← Все кейсы

Ozon Card: A/B нового cashback-уровня — primary metric?

Доступные данные

Задачи

Как разбирать A/B-тест: design + анализ кейсы

Похожие задачи на собеседованиях

Похожие кейсы (Финтех)