Post-hoc анализ: интерпретация неоднозначных результатов теста

Условие задания

**Контекст:** Fintech-приложение провело тест нового скоринга для одобрения микрозаймов. Цели: увеличить approval rate без роста default rate. Тест длился 30 дней. Результаты неоднозначны.

**Данные:**

| Метрика | A (контроль) | B (новый скоринг) | Lift | 95% CI | p-value |
|---------|-------------|-------------------|------|--------|---------|
| Approval rate | 34.2% | 37.8% | +10.5% | [+7.1%, +14.0%] | < 0.001 |
| Default rate (30d) | 5.1% | 5.8% | +13.7% | [+2.1%, +26.3%] | 0.018 |
| Revenue/User | 420 руб. | 455 руб. | +8.3% | [+3.2%, +13.6%] | 0.001 |
| Avg loan amount | 12 400 | 11 800 | −4.8% | [−7.3%, −2.4%] | 0.001 |
| Expected loss/User | 63 руб. | 68 руб. | +7.9% | [−1.2%, +17.8%] | 0.089 |
| Net profit/User | 357 руб. | 387 руб. | +8.4% | [+2.8%, +14.2%] | 0.003 |

Дополнительно: сегментация по кредитному скорингу:

| Сегмент | Default A | Default B | Lift | p-value |
|---------|----------|----------|------|---------|
| Score 700+ | 1.2% | 1.3% | +8.3% | 0.74 |
| Score 600–699 | 4.8% | 5.2% | +8.3% | 0.31 |
| Score <600 | 12.5% | 15.1% | +20.8% | 0.003 |

**Задание:**
1. Оцените trade-off между ростом approval rate и ростом default rate.
2. Проанализируйте, в каком сегменте сосредоточен рост дефолтов.
3. Оцените practical significance: стоит ли +8.4% net profit рисков?
4. Предложите decision framework и конкретную рекомендацию.

Темы

A/B-тест post-hoc confidence interval practical significance decision framework

Подсказки

• Net profit = Revenue − Expected Loss. Если net profit значимо растёт, рост дефолтов может быть приемлем
• Посмотрите на сегмент Score <600: если дефолты растут именно там, можно раскатать модель с ограничением
• Expected loss/User имеет p-value=0.089 — CI включает ноль. Это неопределённость, а не отсутствие эффекта

Все тестовые задания →

Частые вопросы

Какой уровень знаний нужен для задачи "Post-hoc анализ: интерпретация неоднозначных результатов теста"?

Это задание для уровня Senior. Senior-уровень — глубокое понимание темы, опыт решения нестандартных задач, обсуждение trade-off на собеседовании.

На каких собеседованиях встречается такая задача?

Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, post-hoc, confidence interval, practical significance, decision framework.

Сколько времени даётся на решение?

На реальном собеседовании на подобную задачу отводится 30-60 минут с обсуждением подходов, оптимизаций и trade-off. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.

Где ещё потренироваться по теме «A/B-тесты»?

На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.

← Все задания