LLM-классификатор: eval-метрика 92%, prod-жалобы растут

Ситуация: Модель классифицирует отзывы на товары (positive/negative/neutral). На eval-датасете accuracy 92%. В проде команда поддержки жалуется, что бот всё чаще ошибается. Что не так?

Eval датасет создан 6 месяцев назад на 2000 отзывов с человеческой разметкой. В проде модель применяется к ~50K отзывов в день. Команда хочет понять, почему eval хороший, а пользователи недовольны.

Доступные данные

• reviews: id, text, product_id, category, predicted_label, confidence, ts
• eval_set: id, text, gold_label, created_at
• production_audit: review_id, manual_label (выборочно проверены 500 отзывов в проде)
• product_catalog: id, category, launch_date

Задачи

• Сравни распределение в eval_set vs production_audit — выяви drift.
• Посчитай реальный prod-accuracy на production_audit.
• Если accuracy в проде ниже — найди сегменты с наибольшим падением.
• Предложи протокол continuous eval, чтобы такое не повторилось.

Все кейсы для подготовки → ← Все кейсы