A/B-тест рекомендаций ленты — множественные метрики

Условие задания

**Контекст:** Социальная сеть тестирует новый алгоритм рекомендаций ленты. Старый алгоритм оптимизирует engagement (лайки + комментарии), новый — разнообразие контента (diversity-aware ranking). Продакт-менеджер хочет понять, можно ли улучшить diversity без потери engagement.

**Данные:** результаты за 28 дней (рандомизация по пользователям):

| Метрика | A (engagement-based) | B (diversity-aware) | Δ отн. | p-value |
|---------|---------------------|--------------------|---------|---------|
| DAU | 2 450 000 | 2 462 000 | +0.5% | 0.312 |
| Time spent/day (мин) | 28.3 | 27.1 | −4.2% | 0.001 |
| Sessions/day | 4.2 | 4.5 | +7.1% | <0.001 |
| Likes/user/day | 8.7 | 7.9 | −9.2% | <0.001 |
| Comments/user/day | 1.4 | 1.6 | +14.3% | <0.001 |
| Shares/user/day | 0.8 | 1.1 | +37.5% | <0.001 |
| Unique authors seen/day | 12.3 | 18.7 | +52.0% | <0.001 |
| Content diversity index | 0.42 | 0.68 | +61.9% | <0.001 |
| Ad impressions/user/day | 14.2 | 13.1 | −7.7% | <0.001 |
| Ad CTR | 1.8% | 2.1% | +16.7% | <0.001 |

**Задание:**
1. У вас 10 метрик. Примените поправку на множественные сравнения.
2. Как интерпретировать противоречивые результаты (time spent ↓, shares ↑)?
3. Постройте OEC (Overall Evaluation Criterion) с весами для принятия решения.
4. Какую рекомендацию дадите?

Темы

A/B-тест рекомендации множественные метрики OEC Бонферрони trade-off

Подсказки

• При 10 метриках и α=0.05 ожидаемо ~0.5 ложно-значимых результатов
• Поправка Бонферрони: α_adj = 0.05/10 = 0.005
• OEC = взвешенная комбинация нормализованных метрик; веса отражают бизнес-приоритеты

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "A/B-тест рекомендаций ленты — множественные метрики"?

Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, рекомендации, множественные метрики, OEC, Бонферрони.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания