Switchback-эксперимент для ранжирования на маркетплейсе

Условие задания

**Контекст:** Маркетплейс услуг (уборка, ремонт, репетиторы) тестирует новый алгоритм ранжирования исполнителей. Классический A/B-тест (рандомизация по покупателям) приводит к interference: если один покупатель из тестовой группы видит топ-исполнителя первым и заказывает его, контрольный покупатель видит уже занятого исполнителя.

Команда решила использовать **switchback-дизайн**: чередование алгоритмов по временным слотам внутри города.

**Данные:** 4 недели эксперимента в 3 городах, 6-часовые слоты (4 слота/день):

| Метрика | Слоты A (старый) | Слоты B (новый) |
|---------|-----------------|-----------------|
| Слотов | 168 | 168 |
| Заказов за слот (среднее) | 142.3 | 158.7 |
| Std заказов за слот | 38.5 | 41.2 |
| CR (просмотр → заказ) | 6.8% | 7.9% |
| Среднее время до заказа | 8.4 мин | 6.1 мин |
| Cancel rate | 12.3% | 10.1% |
| Rating исполнителя | 4.52 | 4.61 |

Проверка рандомизации: слоты A и B получали сопоставимый трафик (разница < 2%).

**Задание:**
1. Почему классический A/B-тест некорректен для маркетплейса?
2. Проведите t-тест для числа заказов за слот. Чем единица анализа отличается от классического A/B?
3. Какие проблемы switchback-дизайна? Как с ними бороться?
4. Рассчитайте MDE, которое можно обнаружить при данном дизайне.

Темы

A/B-тест switchback interference маркетплейс кластеризация двустороняя платформа

Подсказки

• В switchback-дизайне единица анализа — слот (не пользователь), поэтому effective sample size намного меньше
• Carryover effects: заказы из слота A могут влиять на доступность исполнителей в слоте B
• MDE = t_crit × SE × 2, где SE = std / sqrt(n_slots)

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Switchback-эксперимент для ранжирования на маркетплейсе"?

Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, switchback, interference, маркетплейс, кластеризация.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания