**Контекст:** SaaS-платформа для управления проектами планирует A/B-тест нового интерфейса дашборда. Цель — повысить вовлечённость пользователей.
**Данные:** команда предложила 10 метрик-кандидатов:
1. Число визитов в день
2. Время на платформе (минуты)
3. Число действий (создание задач, комментарии, обновления)
4. `DAU/MAU` ratio
5. `Retention` 7 дней
6. Конверсия в платную подписку
7. Время загрузки страницы
8. Количество обращений в поддержку
9. `NPS` (Net Promoter Score)
10. Число отписок (`churn rate`)
**Задание:**
1. Какую метрику выбрать как `OEC` (Overall Evaluation Criterion)? Обоснуйте.
2. Разделите метрики на `primary`, `secondary` и `guardrail`. Объясните логику.
3. Какие свойства должна иметь хорошая `OEC`?
4. Как `guardrail metrics` влияют на принятие решения о раскатке?
A/B-тест OEC guardrail metrics North Star метрики дизайн эксперимента
Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, OEC, guardrail metrics, North Star, метрики.
На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания