Quasi-experiment: оценить impact релиза без A/B (pre-post + control market)

Условие задания

**Контекст:** Бизнес задаёт вопрос: «Мы раскатили редизайн в Москве 2 недели назад — сколько это принесло?». A/B-теста не было (политика «быстрее выкатываем → смотрим»).

**Данные:** `daily_metrics.csv`:

[см. код в задании]

**Задание:**

1. Посчитать **Moscow-only pre/post** разницу — это наивный метод, покажи его слабость.
2. Реализовать **Difference-in-Differences (DiD)**: Москва (treatment) vs Питер+Казань+Новосибирск (control) до/после.
3. Визуализировать pre-trend — параллельные ли тренды до эксперимента? (если нет — DiD нельзя использовать).
4. Вывести оценку effect + 95% CI. Объяснить допущения и слабости.

Темы

quasi-experiment difference-in-differences causal-inference python

Подсказки

• Naive Moscow-only: mean(post_2wk) - mean(pre_2wk). Проблема — не учитывает сезонность.
• DiD formula: (Y_moscow_post - Y_moscow_pre) - (Y_other_post - Y_other_pre)
• Регрессия: Y ~ treatment + post + treatment*post, коэффициент interaction = DiD-effect
• Parallel trends assumption: до эксперимента тренды Moscow и Other должны быть похожими (не обязательно одинаковыми по уровню)

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Quasi-experiment: оценить impact релиза без A/B (pre-post + control market)"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: quasi-experiment, difference-in-differences, causal-inference, python.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания