Аэрофлот: динамическое ценообразование — разделить эффект тарифа vs UX

Сложный Путешествия Pricing 50 мин A/B-test design

Ситуация: Тест dynamic pricing + новый UX одновременно. Как изолировать эффекты?

Команда хочет «всё сразу запустить». Senior: «не сможем понять что сработало».

Доступные данные

bookings: booking_id, user_id, ts, route, price, fare_class
experiments: exp_id, variant, ts (pricing × ux factorial)
searches: search_id, user_id, ts, route_query, dates
pricing_engine_logs: search_id, ts, displayed_price, base_price, dynamic_factor

Задачи

Factorial design (2x2): pricing × UX = 4 групп.
Compute main effect для каждого + interaction.
Sample size: 4× outsized.
Альтернатива: запустить sequential — pricing first, потом UX. Но дольше.
Recommended: factorial, anointment размер выборки.

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

Что спрашивают на A/B-кейсах?

Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.

Какие типичные ошибки в A/B?

Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.

Что такое CUPED?

Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.

← Все кейсы

Аэрофлот: динамическое ценообразование — разделить эффект тарифа vs UX

Доступные данные

Задачи

Как разбирать A/B-тест: design + анализ кейсы

Похожие задачи на собеседованиях

Похожие кейсы (Путешествия)