**Контекст:** Сервис доставки еды провёл A/B-тест нового алгоритма ранжирования ресторанов. Тестировали влияние на конверсию из просмотра каталога в оформление заказа. Менеджер продукта говорит: «Конверсия выросла на 2.4%, давайте катить!»
**Данные:** результаты за 14 дней:
- Группа A (контроль): `CR = 12.5%`, `n = 50 000`
- Группа B (новый алгоритм): `CR = 12.8%`, `n = 50 000`
- Разница: +0.3 п.п. (относительный прирост +2.4%)
- 95% доверительный интервал для разницы: `[−0.1%, +0.7%]`
- `p-value = 0.12`
**Задание:**
1. Корректна ли интерпретация менеджера? Обоснуйте.
2. Что означает доверительный интервал `[−0.1%, +0.7%]`?
3. Какие рекомендации вы дадите команде?
4. Чем отличается статистическая значимость от практической?
A/B-тест доверительный интервал статистическая значимость практическая значимость конверсия
Это задание для уровня Junior. Подходит для начинающих аналитиков, проверяет базовые знания SQL/Python/статистики.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, доверительный интервал, статистическая значимость, практическая значимость, конверсия.
На реальном собеседовании на подобную задачу отводится 5-10 минут — проверяется скорость и базовая грамотность. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания