Sequential testing для раннего стопа — Wildberries

Условие задания

**Компания:** Wildberries
**Позиция:** Senior Product Analyst (e-com platform)

**Контекст:** A/B-тест recommendation алгоритма. Запланирован sample size 200K юзеров на группу для MDE=0.5pp. Через неделю команда видит lift +1.2pp с p-value=0.04. Стопнуть тест прямо сейчас и раскатить?

**Задание:**
1. Объясни проблему **«peeking»** в классическом фиксированном A/B.
2. Что такое mSPRT (mixture Sequential Probability Ratio Test) и как он решает проблему?
3. Дан Python-код симуляции: 100K итераций где **на самом деле эффекта нет** (A=B), но мы peek 10 раз. Какой % итераций даст false positive (p < 0.05) хоть один раз?
4. Какой sequential boundaries использовать чтобы overall α ≤ 0.05? (Pocock vs O'Brien-Fleming)

Темы

sequential testing mSPRT early stopping p-value

Подсказки

• Peeking: каждый раз когда смотришь p-value, шанс false positive растёт
• При 10 пиков с α=0.05 каждый раз → cumulative α ≈ 1 − (0.95)^10 ≈ 40%
• mSPRT использует likelihood ratio под смешанной prior, контролирует always-valid p-value
• Pocock: одинаковая граница на каждом peek; OBF: жёсткая в начале, мягкая в конце

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Sequential testing для раннего стопа — Wildberries"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: sequential testing, mSPRT, early stopping, p-value.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания