Система персонализации: A/B evaluation и ML-метрики

Условие задания

**Контекст:** Вы — аналитик e-commerce платформы. Команда ML запустила новую рекомендательную модель (collaborative filtering → neural CF). Нужно оценить результаты A/B-теста.

**Данные A/B-теста (4 недели, по 500K пользователей):**

| Метрика | Контроль (CF) | Тест (Neural CF) | Δ | p-value |
|---|---|---|---|---|
| CTR рекомендаций | 3.2% | 4.1% | +28% | 0.001 |
| Add-to-cart rate | 1.8% | 2.3% | +28% | 0.003 |
| Revenue/user | 2 450₽ | 2 380₽ | −2.9% | 0.12 |
| AOV | 3 200₽ | 2 850₽ | −10.9% | 0.001 |
| Orders/user | 0.77 | 0.84 | +9.1% | 0.02 |
| Diversity (unique categories) | 12.5 | 8.3 | −33.6% | 0.001 |
| Coverage (% каталога) | 45% | 18% | −60% | — |

**Задание:**

1. Проанализируйте результаты — почему CTR растёт, но revenue падает?
2. Оцените trade-offs между engagement и business метриками
3. Дайте рекомендацию: катить, не катить, или третий путь

Темы

персонализация рекомендации ML A/B collaborative filtering ecom

Подсказки

• Рост CTR при падении AOV — модель рекомендует «кликабельное», а не «покупаемое» или дорогое
• Coverage 18% — модель использует лишь малую часть каталога (filter bubble). Это плохо для long tail
• Neural CF может переобучиться на popular items — отсюда рост кликов и падение diversity

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Система персонализации: A/B evaluation и ML-метрики"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «Продуктовые задачи» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: персонализация, рекомендации, ML, A/B, collaborative filtering.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «Продуктовые задачи»?

На zasqlpython.ru есть другие задания в категории «Продуктовые задачи», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания