Sequential testing на pricing page — early stopping

Условие задания

**Контекст:** B2B SaaS-компания тестирует редизайн pricing page (3 тарифа → 2 тарифа с toggle «годовой/месячный»). Бизнес требует быстрый ответ — каждый день без оптимального варианта стоит денег. Аналитик предлагает **sequential testing** с промежуточными проверками.

**Данные:**

Дизайн эксперимента:
- Primary metric: CR (посещение pricing → начало trial)
- Baseline CR: 12.0%
- MDE: 1.5 п.п. (12.0% → 13.5%)
- α = 0.05, power = 0.80
- Запланировано 5 промежуточных анализов (при 20%, 40%, 60%, 80%, 100% выборки)
- Ожидаемая полная выборка: ~22 000 на группу

Результаты промежуточных анализов:

| Анализ | % выборки | n на группу | CR_A | CR_B | z-stat | Наивный p-value |
|--------|-----------|-------------|------|------|--------|----------------|
| 1 | 20% | 4 400 | 12.0% | 14.2% | 2.18 | 0.029 |
| 2 | 40% | 8 800 | 12.1% | 13.8% | 1.89 | 0.059 |
| 3 | 60% | 13 200 | 11.9% | 13.6% | 2.54 | 0.011 |
| 4 | 80% | 17 600 | 12.0% | 13.5% | 2.68 | 0.007 |
| 5 | 100% | 22 000 | 12.0% | 13.4% | 2.71 | 0.007 |

**Задание:**
1. Почему нельзя просто проверять p-value на каждом промежуточном анализе?
2. Рассчитайте границы остановки по методу O'Brien-Fleming.
3. На каком этапе можно было бы остановить тест?
4. Сравните с методом alpha spending (Lan-DeMets).

Темы

A/B-тест sequential testing early stopping alpha spending group sequential pricing

Подсказки

• При 5 промежуточных анализах без коррекции вероятность ложного срабатывания ≈ 14% вместо 5%
• O'Brien-Fleming: границы строгие в начале и мягкие в конце: z_k = z_final / sqrt(k/K)
• Alpha spending function определяет, сколько α «потратить» на каждом анализе

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Sequential testing на pricing page — early stopping"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, sequential testing, early stopping, alpha spending, group sequential.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания