**Контекст:** E-commerce платформа тестирует блок «С этим товаром покупают» на странице корзины. Целевая метрика — средний чек (AOV = Revenue / Orders). Это ratio-метрика, и стандартный t-тест к ней неприменим напрямую.
**Данные:** результаты за 14 дней:
| Метрика | Группа A | Группа B |
|---------|---------|---------|
| Пользователи | 80 000 | 79 500 |
| Заказы | 24 000 | 24 200 |
| Выручка (руб.) | 72 000 000 | 75 460 000 |
| AOV (руб.) | 3 000 | 3 118 |
| Std выручки заказа | 1 800 | 1 920 |
| Конверсия в заказ | 30.0% | 30.4% |
**Задание:**
1. Объясните, почему для ratio-метрик нельзя напрямую применять t-тест на агрегированных значениях.
2. Предложите 2–3 корректных способа оценки статистической значимости для AOV.
3. Примените delta method для расчёта стандартной ошибки разницы AOV.
4. Сделайте вывод о значимости эффекта.
A/B-тест ratio-метрика delta method средний чек bootstrap
Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, ratio-метрика, delta method, средний чек, bootstrap.
На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания