Multi-step agent fails на step N+1: где именно ломается chain

Ситуация: Agent делает chain: parse → search → analyze → summarize → answer. 30% задач fail-ят на step 3 (analyze). Команда не понимает почему.

5-step agent для аналитических вопросов. Каждый step — LLM call. Error rate per step: parse 2%, search 5%, analyze 30%, summarize 8%, answer 3%.

Доступные данные

• agent_steps: task_id, step_idx, step_type, success, error_type, latency
• step_inputs: task_id, step_idx, input_size, prev_output
• task_metadata: task_id, complexity (easy/med/hard)

Задачи

• Декомпозируй failure: error type, input size, task complexity.
• Identify root cause: prompt issue / context overflow / model limitation.
• Fix options: retry / better prompt / split step / different model.
• Estimate impact каждого fix.

Все кейсы для подготовки → ← Все кейсы