Как оценить влияние новой модели рекомендации без прямого эксперимента?

Варианты ответа

• Развернуть модель в теневом режиме (shadow mode), собирать её предсказания, оценить офлайн метрики релевантности на логах, а затем подтвердить эффект через онлайн A/B-тест
• Ограничиться только офлайн AUC/precision@k на валидации и сразу заменить старую модель без дополнительных проверок
• Сделать только ручную проверку нескольких примеров рекомендаций и принять решение на основе субъективного впечатления
• Просто повысить learning rate текущей модели, чтобы она быстрее училась, не меняя схему оценки влияния

Разбор ответа

Получить доступ к ответам — все вопросы →

Похожие вопросы из категории «ML»

• Как диагностировать переобучение модели и какие приёмы помогают его предотвратить?
• Перечислите основные способы регуляризации и объясните, когда применять каждый.
• Объясните разницу между precision и recall.
• Как выбрать между ROC-AUC и PR-AUC для оценки модели классификации?
• В чём принцип градиентного бустинга и почему он так популярен в продуктовой аналитике?