Проверить, значимо ли новая кнопка checkout подняла конверсию

Условие задания

**Контекст.** Вы аналитик в e-commerce. Продуктовая команда неделю тестировала новый дизайн кнопки "Оформить заказ" на странице корзины. Пользователей случайно делили на две группы: `control` (старая кнопка) и `treatment` (новая). Метрика — конверсия из просмотра корзины в оплаченный заказ.

**Дано.** DataFrame `ab` с одной строкой на пользователя:

| колонка | тип | описание |
|---|---|---|
| `user_id` | int | ID пользователя |
| `group` | str | `control` / `treatment` |
| `converted` | int | 1 — оформил заказ, 0 — нет |

Агрегаты по эксперименту:

| group | users | converted |
|---|---|---|
| control | 12 000 | 1 044 |
| treatment | 11 800 | 1 132 |

**Задание.**
1. Посчитайте конверсию в каждой группе и абсолютный/относительный аплифт.
2. Проверьте гипотезу о равенстве двух долей (two-proportion z-test), двусторонний тест, alpha = 0.05. Верните p-value и вывод (значимо / нет).
3. Постройте 95% доверительный интервал для разницы конверсий.

**Формат ответа.** Конверсии (в %), аплифт, z-статистика, p-value, границы 95% ДИ разницы, итоговый вердикт.

Темы

A/B тест z-тест пропорций статзначимость конверсия доверительный интервал

Подсказки

• Конверсия группы = converted / users. Аплифт относительный = (p_treat - p_ctrl) / p_ctrl.
• Для двух долей используйте объединённую (pooled) долю p = (x1 + x2)/(n1 + n2) при расчёте стандартной ошибки z-статистики.
• SE для ДИ разницы считается по НЕпулированным долям: sqrt(p1(1-p1)/n1 + p2(1-p2)/n2). Пулинг — только для самого теста.
• Готовый инструмент: statsmodels.stats.proportion.proportions_ztest.

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Проверить, значимо ли новая кнопка checkout подняла конверсию"?

Это задание для уровня medium. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B тест, z-тест пропорций, статзначимость, конверсия, доверительный интервал.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания