A/B тесты в SQL: расчёт результатов эксперимента

Все задачи на «A/B-тестирование» (22)

• Среднее значение метрики по группам A/B-теста Лёгкая LEFT JOIN GROUP BY AVG COUNT
• Проверка SRM (Sample Ratio Mismatch) Средняя CTE COUNT GROUP BY SRM
• Конверсия и средний чек по группам эксперимента Средняя LEFT JOIN COUNT DISTINCT AVG ARPU
• Посуточная динамика метрики эксперимента Сложная CTE SUM OVER COUNT DISTINCT A/B TEST
• Базовые метрики A/B-теста Лёгкая JOIN GROUP BY SUM AVG
• A/B-тест: метрики по сегментам Средняя JOIN GROUP BY COUNT DISTINCT
• A/B-тест: SRM-проверка (Sample Ratio Mismatch) Средняя GROUP BY CASE WHEN SUM NULLIF
• A/B-тест: Bootstrap-оценка доверительного интервала Сложная CTE JOIN AVG SQRT
• A/B-тест: lift по метрикам и peeking-диагностика Сложная CTE JOIN JULIANDAY CASE WHEN
• Базовые метрики A/B-теста Лёгкая AB TEST GROUP BY SUM AVG
• A/B-тест: проверка предэкспериментального смещения Средняя AB TEST PRE-EXPERIMENT BIAS CHECK CASE
• A/B-тест: ratio метрика (выручка на сессию) Средняя AB TEST RATIO METRIC LEFT JOIN REVENUE PER SESSION
• A/B-тест: кумулятивная конверсия по дням (sequential) Сложная AB TEST SEQUENTIAL CUMULATIVE CTE
• A/B-тест: сегментный анализ эффекта Сложная AB TEST SEGMENT LIFT CASE
• A/B-тест: разница конверсий с округлением Средняя CTE GROUP BY UNION ALL AB-TEST
• CR контроля и теста Лёгкая GROUP BY SUM COUNT ROUND
• SRM check — соотношение групп Лёгкая GROUP BY COUNT ROUND subquery
• Uplift абсолютный и относительный Средняя CTE CASE WHEN SUM ROUND
• ARPU между вариантами Средняя GROUP BY AVG SUM ROUND
• Сегментный uplift по платформам Средняя CTE GROUP BY CASE WHEN SUM
• Доверительный интервал CR (нормальная аппроксимация) Средняя CTE GROUP BY AVG POWER
• AA-test sanity check Сложная CTE CASE WHEN SUM ABS

FAQ: частые вопросы про a/b-тестирование

Связанные темы SQL

Агрегации · JOIN-запросы · Оконные функции · CTE (Common Table Expressions) · Подзапросы · Работа с датами · Строковые функции · Условная логика