Content moderation: false-positive rate вырос на 25%, пользователи в шоке

Ситуация: AI-moderator блокирует комменты с toxicity. FP rate вырос 25% за неделю — реальные комменты блокируются. Лояльные юзеры жалуются.

Auto-moderation: LLM-classifier выдаёт toxicity score 0-1. Threshold 0.7. Объём — 5M комментов/день. FP = блокировка legit content.

Доступные данные

• comments: id, text, user_id, ts, toxicity_score, blocked
• appeals: comment_id, ts, resolution (FP confirmed / upheld)
• model_versions: deployed_at, version

Задачи

• Validate FP rate growth: реально вырос или metric changed.
• Сегментация: где FP — длинные комменты? Эмоциональные?
• Trade-off: lower threshold → less FP, more harmful content slips.
• Recommendation: threshold change / model retrain / hybrid.

Все кейсы для подготовки → ← Все кейсы