**Контекст:** Банк тестирует новую скоринговую модель для потребительских кредитов. Новая модель (ML-gradient boosting) заменяет старую (logistic regression + экспертные правила). Ожидание: модель лучше различает «хороших» и «плохих» заёмщиков.
**Данные:** результаты 60 дней эксперимента (рандомизация на уровне заявки, наблюдение 90 дней для дефолтов):
| Метрика | A (старая модель) | B (новая модель) |
|---------|-------------------|------------------|
| Заявки | 50 000 | 50 000 |
| Одобрено | 17 500 (35.0%) | 21 000 (42.0%) |
| Выдано кредитов | 15 000 | 18 200 |
| Средняя сумма кредита | 180 000 ₽ | 175 000 ₽ |
| Default rate (90+ DPD) | 4.2% | 3.8% |
| Процентная ставка (средн.) | 18.5% | 17.8% |
| Средний LTV кредита | 32 400 ₽ | 31 150 ₽ |
Дополнительно:
- Loss given default (LGD) = 60%
- Операционные расходы на заявку = 500 ₽
- Стоимость фондирования = 10% годовых
**Задание:**
1. Рассчитайте экономику на 1 000 заявок для каждой группы.
2. Проведите z-тесты для approval rate и default rate.
3. Как новая модель одновременно повышает approval и снижает default?
4. Какие риски при раскатке?
A/B-тест скоринг финтех trade-off unit-экономика ROC-AUC бизнес-метрика
Это задание для уровня Middle. Для middle-аналитиков с опытом 1-3 года, требует уверенного владения темой и понимания edge cases.
Подобные задания в категории «A/B-тесты» регулярно дают на собеседованиях аналитика данных в Яндекс, Сбер, Ozon, Авито, Тинькофф, Wildberries, T-Bank, X5, ВТБ и других крупных IT-компаниях. Тематика: A/B-тест, скоринг, финтех, trade-off, unit-экономика.
На реальном собеседовании на подобную задачу отводится 15-30 минут — оцениваются подход, корректность, обработка edge cases. Для тренировки рекомендуем сначала решить самостоятельно, потом сверить с эталонным решением и подсказками.
На zasqlpython.ru есть другие задания в категории «A/B-тесты», продуктовые кейсы, справочник метрик, AI мок-собеседование с разбором ваших ответов.
← Все задания