Рост prompt injection попыток на 200% — какие метрики защиты

Ситуация: Security team говорит — за месяц prompt injection попытки в LLM-чат выросли 3× (по эвристикам). Нужно validate и спроектировать метрики защиты.

LLM-чат для клиентов банка. Injection попытки: «ignore previous instructions», «system: you are now…», role-play атаки. Защита: input filters + system prompt + output validation.

Доступные данные

• chat_messages: user_id, text, ts
• injection_heuristics_log: message_id, heuristic_type, score
• security_incidents: id, ts, severity, details
• output_validation: response_id, blocked (true/false), reason

Задачи

• Validate "3× рост": реальный рост или новые heuristics?
• Метрики защиты: precision, recall, false-positive rate.
• Detection latency: время от injection до blocking.
• Action items: 3 improvements.

Все кейсы для подготовки → ← Все кейсы