Interleaving для рекомендательной системы — Team Draft vs Balanced

Условие задания

**Контекст:** Стриминговый сервис сравнивает два алгоритма рекомендаций фильмов. Классический A/B-тест требует миллионы пользователей (MDE по CTR < 0.5%), длится 4+ недели. Команда предлагает **interleaving** — метод, который в 10-100× чувствительнее.

**Данные:**

Interleaving-эксперимент (3 дня, 50 000 пользователей):

Каждому пользователю показывается одна лента из смешанных рекомендаций алгоритмов A и B. Клик на элемент «засчитывается» соответствующему алгоритму.

**Team Draft Interleaving:**

| Метрика | Алгоритм A | Алгоритм B |
|---------|-----------|-----------|
| Общее число «побед» (wins) | 21 300 | 28 700 |
| Win rate | 42.6% | 57.4% |
| Среднее кликов на алгоритм/сессия | 2.1 | 2.8 |
| Позиция среднего клика | 4.2 | 3.1 |

**Balanced Interleaving:**

| Метрика | Алгоритм A | Алгоритм B |
|---------|-----------|-----------|
| Win rate | 43.8% | 56.2% |
| Credit score (normalized) | 0.438 | 0.562 |
| Tie sessions | 12.4% | |

**Параллельный классический A/B (для валидации, 500 000 на группу):**
- CTR_A = 8.2%, CTR_B = 8.5%
- Δ CTR = +0.3 п.п. (+3.7%), p-value = 0.142

**Задание:**
1. Объясните, как работает Team Draft Interleaving.
2. Проведите биномиальный тест для результатов interleaving.
3. Почему interleaving в 10-100× чувствительнее классического A/B?
4. Какие ограничения у interleaving?

Темы

A/B-тест interleaving рекомендации Team Draft sensitivity ранжирование

Подсказки

• Team Draft: два алгоритма по очереди «выбирают» элементы в ленту, как капитаны команд
• Win = сессия, где пользователь кликнул больше элементов от одного алгоритма
• Чувствительность выше, т.к. сравнение within-subject (один пользователь видит оба) вместо between-subject

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Interleaving для рекомендательной системы — Team Draft vs Balanced"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, interleaving, рекомендации, Team Draft, sensitivity.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания