Байесовский A/B-тест

Условие задания

**Контекст:** Медиа-платформа проводит A/B-тест и хочет использовать байесовский подход вместо частотного для принятия решения.

**Данные:** DataFrame `experiment` — колонки: `user_id`, `variant` (A/B), `clicked` (0/1), `subscribed` (0/1).

**Задание:**
1. Проведите байесовский A/B-тест: Beta-Binomial модель для click rate и subscription rate
2. Рассчитайте posterior distributions и P(B > A)
3. Вычислите Expected Loss для каждого варианта
4. Определите, нужно ли вводить ROPE (Region of Practical Equivalence)

Пример данных

Структура для ориентира — реальные значения из эталонного решения.

experiment = pd.DataFrame({
    'user_id': range(n),
    'variant': np.random.choice(['A', 'B'], n),
})

Темы

pandas scipy байесовский A/B-тест Beta-Binomial posterior ROPE

Подсказки

• Prior: Beta(1, 1) — неинформативный
• Posterior: Beta(alpha + successes, beta + failures)
• P(B > A) через Монте-Карло: доля семплов где B > A
• Expected Loss = E[max(θA - θB, 0)] — потеря от выбора B

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Байесовский A/B-тест"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «Python» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: pandas, scipy, байесовский, A/B-тест, Beta-Binomial.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «Python»?

На zasqlpython.ru есть 482 Python задачи с проверкой через Pyodide, конспекты Python и pandas, AI мок-собеседование с разбором ваших ответов.

← Все задания