Ratio-метрика и дельта-метод: считаем conversion-per-session в SaaS-онбординге

Условие задания

**Контекст:** Вы продуктовый аналитик в B2B SaaS (инструмент совместной работы). Тестируете новый онбординг-чеклист. Главная метрика — **доля сессий, завершившихся активацией** = (сессии с активацией) / (все сессии). Рандомизация идёт по **аккаунту** (так требует продукт: внутри одной компании все видят один онбординг), но метрика считается по **сессиям**, а у одного аккаунта десятки сессий. Джуниор посчитал метрику как простую долю по всем сессиям, прогнал двухвыборочный z-тест долей и получил p=0.012 — «значимо, катим!». Вас просят отревьюить расчёт перед раскаткой.

**Задание:**
1. Объясните, почему z-тест долей по сессиям здесь даёт заниженную дисперсию и заниженный p-value (false positive risk). В чём конфликт между unit of randomization и unit of analysis.
2. Запишите корректную оценку дисперсии ratio-метрики через дельта-метод, когда числитель и знаменатель случайны и коррелированы. Покажите итоговую формулу для $\mathrm{Var}(\hat R)$.
3. Свяжите дельта-метод с кластеризацией по аккаунту: почему оба подхода решают одну проблему и когда какой применять.
4. Дайте практический алгоритм пересчёта и оцените, что произойдёт с p=0.012 после корректной оценки дисперсии (направление и грубый порядок).

Темы

ratio-metric delta-method clustered variance randomization-unit

Подсказки

• Сессии внутри одного аккаунта не независимы: у «хорошего» аккаунта почти все сессии успешны, у «плохого» почти все нет. Что это делает с эффективным числом независимых наблюдений по сравнению с числом сессий?
• Ratio-метрика $R = \bar X / \bar Y$ — нелинейная функция двух средних. Дельта-метод линеаризует её через частные производные (разложение Тейлора первого порядка) вокруг $(\mu_X, \mu_Y)$.
• Дельта-метод на агрегатах по кластеру и кластерные стандартные ошибки — две стороны одной монеты. Подумайте, что является «единицей» в каждом случае.

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Ratio-метрика и дельта-метод: считаем conversion-per-session в SaaS-онбординге"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: ratio-metric, delta-method, clustered, variance, randomization-unit.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания