Как обнаружить data leakage в ML-пайплайне?

Варианты ответа

• Проверить features на информацию из будущего (temporal leak), из target (target leak), или из test-set (train-test contamination). Признак: подозрительно высокое quality на тесте и одна доминирующая фича
• Data leakage невозможен при использовании cross-validation — процедура K-fold автоматически гарантирует отсутствие любых утечек и корректность статистических оценок
• Leakage происходит только при утечке данных третьим лицам через API или dump БД — это проблема информационной безопасности, не имеет отношения к качеству ML-моделей
• Достаточно разделить данные на train и test случайным shuffle с фиксированным random_state — это исключает любые формы leakage и даёт корректную оценку обобщения

Разбор ответа

Получить доступ к ответам — все вопросы →

Похожие вопросы из категории «ML»

• Как диагностировать переобучение модели и какие приёмы помогают его предотвратить?
• Перечислите основные способы регуляризации и объясните, когда применять каждый.
• Объясните разницу между precision и recall.
• Как выбрать между ROC-AUC и PR-AUC для оценки модели классификации?
• В чём принцип градиентного бустинга и почему он так популярен в продуктовой аналитике?