Обнаружение и диагностика Sample Ratio Mismatch (SRM)

Условие задания

**Контекст:** Интернет-магазин запустил A/B тест нового checkout-флоу. Настроен 50/50 split. После 7 дней:

| Группа | Ожидаемая доля | Фактические пользователи |
|--------|---------------|--------------------------|
| Control | 50% | 52 340 |
| Test | 50% | 48 160 |

Total = 100 500. Ожидали по 50 250 в каждой группе.

**Задание:**
1. Проведите χ²-тест на Sample Ratio Mismatch. Есть ли SRM?
2. Назовите 5 типичных причин SRM.
3. Можно ли доверять результатам A/B теста при наличии SRM?
4. Опишите пошаговый алгоритм диагностики SRM.

Темы

SRM χ²-тест качество данных диагностика валидность эксперимента

Подсказки

• χ² = Σ (O_i − E_i)² / E_i для каждой группы
• При df=1 и α=0.05 критическое значение χ² = 3.841
• SRM часто вызван багами в рандомизации, ботами, redirect-задержками

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Обнаружение и диагностика Sample Ratio Mismatch (SRM)"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: SRM, χ²-тест, качество данных, диагностика, валидность эксперимента.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания