Как проводить A/B тест для ML-модели (model A vs model B)?

Варианты ответа

• Как обычный A/B, но с нюансами: нужен warm-up period (модель «прогревается»), мониторинг offline и online метрик, interleaving для ранжирования, учёт feedback loops
• ML-модели не нужно A/B тестировать — offline метрики достаточно
• Сравнить AUC двух моделей на test set — этого достаточно
• A/B для ML работает так же, как для UI-изменений

Разбор ответа

Получить доступ к ответам — все вопросы →

Похожие вопросы из категории «ML»

• Как диагностировать переобучение модели и какие приёмы помогают его предотвратить?
• Перечислите основные способы регуляризации и объясните, когда применять каждый.
• Объясните разницу между precision и recall.
• Как выбрать между ROC-AUC и PR-AUC для оценки модели классификации?
• В чём принцип градиентного бустинга и почему он так популярен в продуктовой аналитике?