Байесовский A/B-тест: posterior и credible interval

Условие задания

**Контекст:** Игровая компания запускает A/B-тест нового туториала для мобильной игры. Метрика — `Day 1 completion rate` (конверсия из установки в прохождение первого уровня). Менеджер спрашивает: «Какова вероятность, что B лучше A? И какой ожидаемый прирост?»

**Данные:** результаты за 5 дней:
- Вариант A (старый туториал): 8 000 установок, 2 640 прохождений (`CR = 33.0%`)
- Вариант B (новый туториал): 7 800 установок, 2 730 прохождений (`CR = 35.0%`)

**Задание:**
1. Постройте байесовскую модель с `Beta-prior` и рассчитайте `posterior` для обеих групп.
2. Вычислите `P(p_B > p_A)` — вероятность того, что B лучше A.
3. Постройте `posterior` для разницы (`p_B − p_A`) и найдите 95% `credible interval`.
4. Рассчитайте `expected loss` для каждого решения (раскатить B / оставить A).
5. Сравните байесовский подход с частотным. В каких ситуациях байесовский предпочтительнее?

Темы

A/B-тест байесовский подход posterior credible interval Beta-распределение probability of being best

Подсказки

• При конъюгированном prior Beta(α, β) и данных (k успехов, n попыток): posterior = Beta(α+k, β+n−k)
• Для неинформативного prior: Beta(1, 1) — равномерное распределение
• P(p_B > p_A) можно оценить через Монте-Карло: сэмплировать из обоих posteriors и посчитать долю p_B > p_A

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Байесовский A/B-тест: posterior и credible interval"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, байесовский подход, posterior, credible interval, Beta-распределение.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания