AI-агент застрял в loop-ах: какой metric поставить для observability

Ситуация: Agentic система делает multi-step tasks (поиск → анализ → ответ). Часть агентов застревает в loop-ах: вызывают tool 10+ раз без прогресса. Нужны metrics чтобы найти.

AI-агент с 5 tools: search, retrieve, calculate, summarize, answer. Average task — 4 step. Failure modes: loop, timeout, неверный финал.

Доступные данные

• agent_traces: task_id, step_idx, tool_called, input, output, ts
• task_outcomes: task_id, status (success/fail/timeout), user_rating
• tool_logs: tool, latency, error

Задачи

• Определи loop: какие сигналы (тот же tool N раз? тот же input?).
• 3 leading metrics для observability.
• Trigger: когда нужно abort task.
• Dashboard mockup: что показать engineering team.

Все кейсы для подготовки → ← Все кейсы