**Контекст:** E-commerce запустил A/B-тест нового баннера на главной странице. `CTR` баннера вырос на 81%, но выручка на посетителя упала на 11.7%.
**Данные:** результаты через 2 недели:
| Метрика | Control | Test | Δ | `p-value` |
|---|---|---|---|---|
| `CTR` баннера | 2.1% | 3.8% | +81% | < 0.001 |
| `CR` (визит → покупка) | 4.5% | 4.2% | −6.7% | 0.04 |
| `AOV` | 3 800 ₽ | 3 600 ₽ | −5.3% | 0.12 |
| `Revenue / visitor` | 171 ₽ | 151 ₽ | −11.7% | 0.02 |
| `Bounce rate` | 35% | 38% | +8.6% | 0.08 |
**Задание:**
1. Определите `OEC` (Overall Evaluation Criterion).
2. Объясните, почему `CTR` вырос, а `revenue` упал.
3. Сформулируйте вывод: раскатывать или нет?
4. Как переформулировать эксперимент, чтобы получить рост?
каннибализация OEC A/B-тест trade-off guardrail
Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.
Подобные задания в категории «Метрики» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: каннибализация, OEC, A/B-тест, trade-off, guardrail.
На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «Метрики», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания