Циан: TG-бот для риелтора — тест с маленькой выборкой

Сложный Недвижимость B2B 50 мин A/B-test design

Ситуация: Только 1200 риелторов в pilot. Как валидно тестировать?

B2B-сегмент, низкий traffic. Стандартные frequentist методы не работают.

Доступные данные

agents: agent_id, ts_active, region, tier (junior/middle/senior)
leads_processed: agent_id, ts, count, source
bot_interactions: agent_id, ts, action_type (search/respond/notify)
ab_assignments: agent_id, variant, assigned_ts

Задачи

Bayesian A/B вместо frequentist — better with small samples.
Sequential testing — пересматривать results без peeking.
Power constraint: с 600 per group, MDE = ~12% (не 2%).
Long enough: 8 weeks для accurate signal.
Risk: false positive по small sample.

Все кейсы для подготовки →

Жанр кейса: A/B-тест: design + анализ — все кейсы этого типа.

Как разбирать A/B-тест: design + анализ кейсы

Что спрашивают на A/B-кейсах?

Дизайн теста (primary metric, guardrails, sample size, длительность), анализ результатов (significance, segments, novelty effect) и interpretation для бизнеса.

Какие типичные ошибки в A/B?

Peeking (стоп при «явной победе»), без guardrails, без power analysis, игнорирование novelty effect, SRM не проверяется, p-hacking при extend.

Что такое CUPED?

Variance reduction: используем pre-experiment данные юзера для корректировки в-experiment метрики. Сокращает sample size в 1.5-2 раза при тех же MDE.

← Все кейсы

Циан: TG-бот для риелтора — тест с маленькой выборкой

Доступные данные

Задачи

Как разбирать A/B-тест: design + анализ кейсы

Похожие задачи на собеседованиях

Похожие кейсы (Недвижимость)