Фреймворк выбора метрик для A/B-эксперимента

Условие задания

**Контекст:** E-commerce планирует редизайн страницы поиска. Новый дизайн включает: AI-рекомендации, фильтры по рейтингу, быстрый просмотр карточки товара. Нужно определить метрики для A/B-теста до его запуска.

**Данные:** текущие средние значения (за неделю, на пользователя):

| Метрика | Значение | Std Dev | Sensitivity* |
|---|---|---|---|
| `Revenue / user` | 320 ₽ | 1 200 ₽ | Низкая |
| `Orders / user` | 0.42 | 0.85 | Средняя |
| `Items viewed / session` | 8.3 | 5.2 | Высокая |
| `Search-to-cart rate` | 14% | — | Высокая |
| `Search-to-purchase rate` | 5.2% | — | Средняя |
| `Time on search page` | 45 сек | 38 сек | Высокая |
| `Bounce from search` | 28% | — | Высокая |
| `Return rate (30d)` | 9% | — | Низкая |
| `NPS search experience` | 35 | 22 | Низкая |

*Sensitivity = способность обнаружить 5% эффект за 2 недели при 500K users.

**Задание:**
1. Классифицируйте метрики по ролям: `OEC`, `Primary`, `Secondary`, `Guardrail`, `Debug`.
2. Объясните trade-off между sensitivity и business relevance.
3. Почему `Revenue/user` — плохая primary метрика для этого теста?
4. Предложите финальный фреймворк метрик для этого эксперимента.

Темы

A/B-тест OEC guardrail sensitivity metric framework experiment design

Подсказки

• OEC — единая метрика для принятия решения go/no-go
• Primary metric должна быть достаточно чувствительной (sensitive) для обнаружения эффекта за период теста
• Revenue/user имеет огромный std dev → нужно очень много трафика для статзначимости

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Фреймворк выбора метрик для A/B-эксперимента"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «Метрики» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, OEC, guardrail, sensitivity, metric framework.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «Метрики»?

На zasqlpython.ru есть другие задания в категории «Метрики», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания