Анализ A/B теста выручки

Условие задания

**Задание по мотивам реального тестового в VK.**

**Данные:** Excel-файл с результатами A/B теста нового алгоритма рекомендаций:
[см. код в задании]
~50% пользователей платят 0 (не конвертируются).

**Задание:**
1. EDA: распределение выручки по вариантам, доля нулей, средние, медианы
2. Проведите t-test и пермутационный тест. Почему результаты могут различаться?
3. Bootstrap 95% CI для разницы средних (10 000 итераций)
4. Напишите рекомендацию менеджеру: раскатывать или нет?

Пример данных

Структура для ориентира — реальные значения из эталонного решения.

df = pd.DataFrame({
    'user_id': [f'U{i:05d}' for i in range(N)],
    'variant_name': ['control'] * 5000 + ['test'] * 5000,
    'revenue': np.concatenate([control, test]),
})

Темы

python A/B тест t-test bootstrap permutation-test VK

Подсказки

• Много нулей → распределение сильно скошено → t-test менее надёжен, пермутационный тест лучше
• Bootstrap: np.random.choice с replace=True, разница средних на каждой итерации → percentile CI
• Для менеджера: effect size + CI + практическая значимость, не только p-value

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Анализ A/B теста выручки"?

Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «Python» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: python, A/B тест, t-test, bootstrap, permutation-test.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «Python»?

На zasqlpython.ru есть 482 Python задачи с проверкой через Pyodide, конспекты Python и pandas, AI мок-собеседование с разбором ваших ответов.

← Все задания