Проблема подглядывания и sequential testing на checkout ecommerce

Условие задания

**Контекст:** Вы аналитик ecommerce. PM тестирует упрощённый checkout, главная метрика — конверсия в оплату. Тест рассчитан на 14 дней (fixed-horizon, $\alpha=0.05$). Но PM нетерпелив: каждое утро открывает дашборд и говорит «как только p<0.05 — катим, чего ждать». На третий день p внезапно стал 0.04, PM требует выкатить фичу немедленно. Вы возражаете, что так делать нельзя, и предлагаете либо дождаться горизонта, либо перейти на корректный sequential-дизайн.

**Задание:**
1. Объясните механику проблемы подглядывания (peeking): почему многократная проверка fixed-horizon p-value с остановом на первом «p<0.05» раздувает фактический false positive rate, и до какого порядка он может вырасти при ежедневных просмотрах.
2. Сформулируйте два корректных подхода к раннему останову: alpha-spending (group sequential, границы O'Brien-Fleming / Pocock) и always-valid p-values / mSPRT. В чём идея каждого и чем они отличаются по поведению границ во времени.
3. Объясните, почему остановка по достижению значимости даёт смещённую (завышенную по модулю) оценку эффекта — winner's curse — и как с этим бороться.
4. Дайте практическую рекомендацию для этого кейса: что ответить PM, какой дизайн выбрать и каков порядок «цены» за возможность подглядывать (насколько шире становится требуемый эффект/выборка).

Темы

sequential-testing peeking alpha-spending always-valid early-stopping

Подсказки

• Каждая независимая проверка на уровне $\alpha=0.05$ — это шанс ошибиться. При многократных проверках вероятность хотя бы одного ложного срабатывания накапливается. Сравните с логикой множественных сравнений во времени.
• Alpha-spending распределяет суммарный $\alpha=0.05$ между промежуточными взглядами (тратит мало рано — O'Brien-Fleming, или поровну — Pocock). Always-valid p-value (mSPRT) сконструирован так, что его можно проверять в ЛЮБОЙ момент сколько угодно раз.
• Если останавливаться ровно когда оценка случайно «выстрелила» вверх, средняя из таких остановленных оценок будет выше истинного эффекта. Подумайте про регрессию к среднему.

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Проблема подглядывания и sequential testing на checkout ecommerce"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: sequential-testing, peeking, alpha-spending, always-valid, early-stopping.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания