Метод CUPED (Controlled-experiment Using Pre-Experiment Data) часто упоминается на собеседованиях по A/B тестированию. Что он уменьшает?
A/B тестыhardsenior
Варианты ответа
Дисперсию оценки эффекта, используя ковариату из пред-экспериментального периода. Это позволяет быстрее достичь статистической значимости без увеличения выборки
Bias (систематическое смещение) в оценке среднего за счёт выравнивания групп по pre-данным — CUPED корректирует неравномерное распределение активных пользователей между A и B
Количество различных метрик, которые нужно отслеживать в A/B-тесте — за счёт агрегации pre-experiment данных несколько показателей сводятся к одной CUPED-скорректированной метрике
Длительность A/B-теста за счёт механизма раннего останова (early stopping): при достижении CUPED-threshold эксперимент останавливается автоматически без потери мощности
Разбор ответа
Подробный разбор с объяснением «почему правильный ответ верный» и почему остальные неверны — после регистрации.
2475 вопросов с разбором, quiz-режим с проверкой, AI-собес и подготовка к интервью аналитика.