Статистика на собеседовании аналитика: вопросы

На собеседовании аналитика данных статистику проверяют не формулами, а интуицией: нужно объяснить простыми словами, что означает p-value, доверительный интервал, ошибки I и II рода и почему корреляция не равна причинности. Главный навык, который ищет интервьюер, — умение перевести статистический результат в бизнес-решение и честно назвать его ограничения. Готовые формулы наизусть спрашивают редко; спрашивают, понимаете ли вы, что стоит за числом.

Блок по статистике есть почти на каждом собеседовании аналитика — от джуна до сеньора. Его цель проста: понять, не наделаете ли вы дорогих ошибок в A/B-тестах и отчётах. Интервьюер редко ждёт вывод формулы у доски. Гораздо важнее, поймаете ли вы себя на классических заблуждениях: «p-value — это вероятность, что гипотеза верна», «доверительный интервал накрывает 95% данных», «результат значим, значит эффект большой». Ниже — разбор ключевых тем в формате «вопрос и как отвечать», с интуицией вместо тяжёлой математики. Потренироваться на реальных задачах можно в банке вопросов с собеседований и конспектах по статистике.

Что такое p-value и в чём главное заблуждение?

p-value — это вероятность увидеть такой же или более экстремальный результат, как в вашем эксперименте, при условии что нулевая гипотеза верна (то есть эффекта на самом деле нет). Это НЕ вероятность того, что гипотеза верна, и НЕ вероятность ошибки.

Интуиция на пальцах: вы предполагаете, что монетка честная (нулевая гипотеза). Бросаете её 10 раз и получаете 9 орлов. p-value отвечает на вопрос: «Если монетка честная, насколько удивителен такой перекос?» Если результат крайне маловероятен при честной монетке, вы начинаете сомневаться в честности. Маленькое p-value — сигнал «данные плохо согласуются с гипотезой о том, что эффекта нет», а не доказательство, что эффект есть.

Три заблуждения, которые сразу выдают слабого кандидата:

• «p = 0.03 значит, что вероятность нулевой гипотезы 3%» — неверно. p-value считается в предположении, что нулевая гипотеза верна; оно не говорит о её вероятности напрямую.
• «1 − p = вероятность, что верна альтернатива» — тоже нет. Чтобы говорить о вероятности гипотез, нужен байесовский подход и априорные вероятности.
• «p < 0.05 = эффект важный для бизнеса» — нет. При огромной выборке статзначимым станет даже эффект в 0.01%, бесполезный на практике. Значимость и величина эффекта — разные вещи.

Как отвечать на собесе: сначала дайте корректное определение через «при условии, что нулевая верна», затем сразу оговорите, что p-value не измеряет размер эффекта и его нужно читать вместе с доверительным интервалом и практической значимостью. Порог 0.05 — это соглашение, а не закон природы; для рискованных решений его ужесточают.

Как правильно интерпретировать доверительный интервал?

95%-й доверительный интервал — это диапазон, построенный так, что если бесконечно повторять эксперимент и каждый раз строить такой интервал, то примерно 95% из них накроют истинное значение параметра. Он показывает точность оценки, а НЕ то, где лежат 95% ваших данных.

Самое частое заблуждение звучит так: «есть 95% вероятности, что истинное значение внутри вот этого конкретного интервала». Строго говоря, истинный параметр — фиксированное число, а случаен именно интервал: он либо накрыл истину, либо нет. 95% относится к процедуре построения на длинной серии повторений, а не к одному интервалу. На практике аналитики говорят проще — «мы на 95% уверены, что среднее лежит здесь», — и на собесе это допустимо, если вы понимаете строгую формулировку и можете её дать при уточняющем вопросе.

Полезные связки для ответа:

• Узкий интервал — оценка точная (большая выборка или малый разброс). Широкий — данных мало, оценка шаткая.
• Если 95%-й доверительный интервал для разницы средних не содержит ноль — результат значим на уровне 0.05. Если содержит ноль — эффект статистически не отличим от нуля.
• Доверительный интервал полезнее одного p-value: он показывает и направление, и правдоподобный масштаб эффекта. Отвечать «эффект +2.5%, ДИ [+0.3%; +4.7%]» гораздо сильнее, чем просто «p < 0.05».

Хороший приём на интервью — попросить показывать результаты A/B-теста именно интервалом, а не голым p-value: это демонстрирует продуктовое мышление. Тему пересечения статистики с метриками удобно закрепить на разборе продуктовых метрик.

Чем ошибка I рода отличается от ошибки II рода и что такое мощность?

Ошибка I рода (α) — ложная тревога: вы объявили эффект, которого нет. Ошибка II рода (β) — пропуск: реальный эффект есть, но вы его не заметили. Мощность теста = 1 − β — это вероятность обнаружить эффект, когда он действительно существует.

Классическая аналогия — детектор дыма. Ошибка I рода: сигнализация орёт, а пожара нет (зря запустили фичу, которая не работает). Ошибка II рода: пожар есть, а сигнализация молчит (упустили рабочую фичу). Обычно α фиксируют на 0.05, а мощность целятся держать на уровне 0.8, то есть допускают 20% пропусков.

Что важно проговорить на собесе про баланс:

• α и β связаны: если жёстко снижать α (боимся ложных срабатываний), при той же выборке растёт β (чаще пропускаем реальные эффекты).
• Главный рычаг увеличить мощность, не жертвуя α, — набрать больше данных. Также помогает больший ожидаемый эффект и меньший разброс метрики.
• Мощность считают до запуска теста, чтобы выбрать размер выборки. Считать её после (post-hoc power) на реальном эффекте почти бессмысленно.

Отсюда прямой мост к расчёту размера выборки и минимально детектируемому эффекту — это любимая связка интервьюеров про A/B. Подробный разбор — в статье про минимальный детектируемый эффект (MDE). А чтобы поднять мощность без раздувания выборки, применяют снижение дисперсии — см. CUPED на практике.

Что такое центральная предельная теорема и зачем она аналитику?

Центральная предельная теорема (ЦПТ) говорит: если брать выборки достаточного размера и считать их средние, то распределение этих средних будет стремиться к нормальному — даже если сами данные распределены совсем не нормально. Именно поэтому t-тесты и доверительные интервалы для средних работают на «кривых» данных вроде выручки или времени на сайте.

Ключевой нюанс, на котором многие спотыкаются: ЦПТ про распределение средних (выборочных статистик), а не про распределение исходных данных. Ваши сырые данные могут быть как угодно скошены — например, чек в интернет-магазине с длинным хвостом дорогих покупок. Но среднее по выборке из сотен наблюдений будет вести себя почти нормально, и это разрешает применять привычные формулы.

Что говорить про «достаточный размер»:

• Часто называют эмпирическое правило n ≥ 30, но это грубый ориентир. Для сильно скошенных распределений или данных с тяжёлыми хвостами нужны выборки в сотни и тысячи наблюдений.
• ЦПТ не чинит проблемы систематической ошибки: если выборка смещена (например, опрашивали только активных пользователей), никакой объём не спасёт.
• Именно на ЦПТ держится то, что в A/B-тестах мы сравниваем средние метрик и строим для них доверительные интервалы, не требуя нормальности самих пользователей.

Хороший ответ звучит так: «ЦПТ позволяет мне применять t-тест к ненормальным метрикам, потому что нормальным становится распределение среднего, а не данных. Но при маленькой выборке и тяжёлых хвостах я перепроверю результат бутстрапом или непараметрическим тестом».

Как проверить нормальность и почему это не всегда нужно?

Нормальность проверяют глазами (гистограмма, QQ-plot) и тестами (Шапиро — Уилка, Колмогорова — Смирнова), но для сравнения средних на больших выборках строгая нормальность часто не обязательна: благодаря ЦПТ t-тест устойчив к отклонениям. Формальные тесты нормальности на больших n почти всегда «отвергают» нормальность, даже когда практически это неважно.

Здесь кроется ловушка для кандидата. На выборке в десятки тысяч тест Шапиро — Уилка почти наверняка покажет p < 0.05 и «данные не нормальны», потому что при большом n он ловит даже микроскопические отклонения. Слепо следовать этому и отказываться от t-теста — ошибка. Практичный порядок действий:

• Сначала смотрите на картинку: гистограмма и QQ-plot говорят больше, чем p-value теста нормальности.
• Оцените размер выборки: на больших n полагайтесь на ЦПТ, а не на формальный тест.
• Обращайте внимание на выбросы и тяжёлые хвосты — они ломают среднее сильнее, чем сама «ненормальность». Иногда разумнее сравнивать медианы или логарифмировать метрику.

import numpy as np
from scipy import stats

data = np.random.exponential(scale=2.0, size=5000)  # заведомо ненормальные данные

# QQ-plot и тест — как вспомогательные сигналы, а не приговор
w_stat, p = stats.shapiro(data[:500])   # shapiro чувствителен к большому n
print(f"Shapiro p-value: {p:.4f}")

# Практика: на больших выборках доверяем ЦПТ для среднего,
# а при сомнениях подтверждаем результат бутстрапом

Сильный ответ: «Формальный тест нормальности я использую как один из сигналов, но решение о выборе метода принимаю по размеру выборки, форме распределения на графике и наличию выбросов, а не по одному p-value».

Как выбрать статистический тест: t-test, Манна — Уитни или хи-квадрат?

Выбор теста зависит от типа метрики и предположений. Для сравнения средних двух групп по числовой метрике — t-тест (при разумных выборках), для скошенных данных, порядковых шкал или малых выборок — непараметрический тест Манна — Уитни, а для связи между категориальными признаками (например, конверсия по группам) — критерий хи-квадрат.

Короткая шпаргалка, которую полезно держать в голове на собесе:

Важные уточнения, которые ценят интервьюеры:

• По умолчанию для двух групп берут t-тест Уэлча (Welch), а не классический Стьюдента: он не требует равенства дисперсий и практически ничего не теряет, когда дисперсии равны.
• Манна — Уитни сравнивает не строго медианы, а сдвиг распределений (какая группа стохастически больше). Формулировать его как «тест на медианы» не совсем корректно.
• Для конверсий (доля купивших) естественны хи-квадрат для таблицы 2×2 или z-тест для разницы пропорций — это фактически один и тот же результат для двух групп.
• Всегда уточняйте, связаны выборки или нет: для парных наблюдений (до/после у одних и тех же пользователей) нужен парный t-тест или тест Уилкоксона, а не тест для независимых групп.

Отвечать лучше по схеме: «Сначала смотрю на тип метрики — числовая или категориальная. Дальше — форма распределения и размер выборки. Для числовой на нормальных или больших выборках беру t-тест Уэлча, для скошенных малых — Манна — Уитни, для долей — хи-квадрат». Такой алгоритм показывает системное мышление. Отработать выбор теста на практике можно в курсе по аналитике и на AI-собеседовании, где вопрос задаётся голосом и требует связного устного ответа.

Почему корреляция не означает причинность?

Корреляция показывает, что две величины меняются согласованно, но не объясняет почему. Связь может быть вызвана третьим фактором (конфаундером), обратной причинностью или простой случайностью. Чтобы говорить о причинности, нужен эксперимент (A/B-тест) или методы каузального вывода, а не просто высокий коэффициент корреляции.

Классический пример: продажи мороженого и число утоплений растут вместе. Но мороженое не топит людей — оба показателя гонит вверх жара (конфаундер). Аналитику критично не путать эти вещи, потому что бизнес-решения на основе ложной причинности стоят денег.

Три механизма ложной связи, которые стоит назвать:

• Скрытая переменная (конфаундер): третий фактор влияет и на X, и на Y. Пример выше про жару.
• Обратная причинность: не X вызывает Y, а наоборот. Пользователи не покупают больше, потому что заходят чаще, — возможно, лояльные (уже готовые купить) просто чаще заходят.
• Случайность и отбор: при переборе множества признаков какие-то скоррелируют чисто случайно; плюс смещение из-за того, кого мы включили в анализ.

Как отвечать: «Высокая корреляция — повод сформулировать гипотезу, а не сделать вывод. Чтобы доказать причинность, я поставлю рандомизированный эксперимент (A/B), а если эксперимент невозможен — применю методы вроде difference-in-differences или подбора контрольной группы, контролируя конфаундеры». Упоминание рандомизации как золотого стандарта причинности почти всегда добавляет очков.

Что такое проблема множественных сравнений и как её решать?

Когда вы проверяете много гипотез сразу (много метрик, сегментов или вариантов теста), вероятность получить хотя бы одно ложноположительное срабатывание резко растёт. Если проверить 20 независимых гипотез на уровне 0.05, вероятность хотя бы одной ложной находки — около 64%, а не 5%. Решение — поправки на множественность: Бонферрони (строгая) или Бенджамини — Хохберга (контроль доли ложных открытий).

Интуиция: одна проверка на уровне 5% — это как один бросок с шансом ошибиться 1 к 20. Но если бросать 20 раз, вероятность «выпадения» ложного эффекта хотя бы раз становится большой. Именно поэтому смотреть на 15 метрик A/B-теста и радоваться той единственной, что «значима», — типичная ловушка (p-hacking).

Два подхода, которые нужно знать:

• Поправка Бонферрони: делим порог значимости на число проверок (для 10 тестов сравниваем p с 0.005). Просто и строго, но сильно теряет мощность — многие реальные эффекты пропустит.
• Метод Бенджамини — Хохберга (FDR): контролирует не вероятность хоть одной ошибки, а ожидаемую долю ложных среди объявленных значимыми. Мягче Бонферрони, лучше подходит, когда гипотез много (например, скрининг сотен признаков).

Что ещё уместно сказать: заранее фиксируйте одну основную метрику теста (primary metric), а остальные держите как вспомогательные — это снимает половину проблемы множественности без всяких поправок. И честно раскрывайте, сколько гипотез проверялось: находка «значима после поправки» весит куда больше, чем случайно выхваченный сегмент.

Что такое бутстрап и когда он выручает?

Бутстрап — это способ оценить неопределённость (например, построить доверительный интервал) без формул и предположений о распределении: вы много раз берёте выборку из своих же данных с возвращением, каждый раз пересчитываете нужную статистику и смотрите на разброс полученных значений. Он особенно полезен для метрик, у которых нет удобной формулы стандартной ошибки, — медиана, перцентили, конверсия с редкими событиями, сложные бизнес-показатели.

Интуиция: у вас одна выборка, а хочется понять, насколько устойчива посчитанная по ней метрика. Бутстрап делает вид, что ваша выборка — это «маленькая вселенная», и многократно пересобирает из неё новые псевдовыборки того же размера, разрешая повторы. Разброс метрики по тысячам таких пересборок и есть оценка её неопределённости.

import numpy as np

data = np.array([...])  # ваша метрика по пользователям
n_boot = 10_000
boot_medians = []

for _ in range(n_boot):
    sample = np.random.choice(data, size=len(data), replace=True)  # с возвращением
    boot_medians.append(np.median(sample))

lower, upper = np.percentile(boot_medians, [2.5, 97.5])  # 95% ДИ для медианы
print(f"95% CI медианы: [{lower:.2f}, {upper:.2f}]")

Когда бутстрап особенно ценят на собесе:

• Метрика нестандартная (медиана, 90-й перцентиль времени ответа, ratio-метрики) — аналитической формулы для доверительного интервала нет, а бутстрап работает почти всегда.
• Выборка небольшая или распределение странное, и вы не хотите завязываться на предположение о нормальности.
• Нужно быстро объяснить неопределённость коллегам без погружения в теорию — бутстрап концептуально прост.

Ограничения тоже стоит назвать: бутстрап требует, чтобы исходная выборка была репрезентативной (мусор на входе — мусор на выходе), плохо работает на очень маленьких выборках и для оценки экстремальных хвостов, а также стоит вычислительно дороже формул. Сильный кандидат добавит: «Для ratio-метрик и пользовательских A/B-тестов ресемплирую по пользователям, а не по событиям, иначе занижу дисперсию из-за зависимых наблюдений».

Где потренироваться?

Статистику на собесе не выучить чтением — её нужно проговаривать вслух и решать задачи. Что поможет закрепить:

• Банк вопросов с реальных собеседований — вопросы по статистике, A/B-тестам и SQL с эталонными ответами, чтобы отрепетировать формулировки.
• AI-собеседование — задаёт вопросы голосом и разбирает ваши ответы, тренируя именно устную подачу (главное, что оценивают вживую).
• Конспекты по статистике и курс аналитика данных — систематизируют p-value, доверительные интервалы, мощность, выбор теста и каузальный вывод в одном месте.

Главный совет напоследок: на собесе побеждает не тот, кто помнит больше формул, а тот, кто уверенно переводит статистику на язык бизнеса и честно называет ограничения метода. Отрепетируйте по одному чёткому определению и одному практическому примеру на каждую тему из этой статьи — и блок по статистике перестанет быть страшным.