Uplift-модель предсказала что юзер X имеет uplift=0.15 (купит со скидкой на 15% больше чем без). После рассылки 1000 таких юзеров — реальный lift только 3pp. Что не так?

Варианты ответа

• Uplift модели страдают от **bias** в two-model approach: variance двух моделей складывается, получаются false-high uplift предсказания. Нужна валидация через A/B на честно random группе.
• Скидка слишком маленькая для измеряемого сегмента — нужно повышать с 10% до 20% и заново строить uplift предсказания
• Uplift всегда меньше предсказанного на 70-80% — это норма для двухмодельного подхода, специально учитывается в бизнес-планировании
• Это significant отклонение от ожидания модели, надо retrain на большем dataset с дополнительными feature engineering для коварианты

Разбор ответа

Получить доступ к ответам — все вопросы →

Похожие вопросы из категории «ML»

• Как диагностировать переобучение модели и какие приёмы помогают его предотвратить?
• Перечислите основные способы регуляризации и объясните, когда применять каждый.
• Объясните разницу между precision и recall.
• Как выбрать между ROC-AUC и PR-AUC для оценки модели классификации?
• В чём принцип градиентного бустинга и почему он так популярен в продуктовой аналитике?