A/B/C тест рекомендательного алгоритма с поправкой на множественные сравнения

Условие задания

**Контекст:** Сервис доставки еды тестирует 3 варианта рекомендательного алгоритма в блоке «Вам понравится» на главной:
- **A (control):** Текущий алгоритм (collaborative filtering)
- **B:** Hybrid-модель (collaborative + content-based)
- **C:** Персонализация по времени суток + погоде

**Данные после 14 дней:**
| Группа | Пользователи | Заказы из рекомендаций | CR |
|--------|-------------|------------------------|----|
| A | 40 000 | 2 800 | 7.00% |
| B | 40 000 | 3 040 | 7.60% |
| C | 40 000 | 3 200 | 8.00% |

**Задание:**
1. Сколько попарных сравнений нужно провести?
2. Примените поправку Бонферрони для всех пар. Какие различия значимы?
3. Рассчитайте z-тест для каждой пары.
4. Какой вариант рекомендуете раскатывать? Обоснуйте.

Темы

A/B/C-тест множественные сравнения Бонферрони Тьюки рекомендации

Подсказки

• Количество пар: C(3,2) = 3 → A vs B, A vs C, B vs C
• Бонферрони для 3 сравнений: α_adj = 0.05 / 3 ≈ 0.0167
• Альтернатива — метод Тьюки (Tukey HSD) для попарных сравнений

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "A/B/C тест рекомендательного алгоритма с поправкой на множественные сравнения"?

Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B/C-тест, множественные сравнения, Бонферрони, Тьюки, рекомендации.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания