智能体工作流:先找出最早出错的一步

先用任务是否成功评估智能体,再沿执行轨迹找出最早的关键失败;本文也说明我们为何尚未完成本地重建实验。

审阅者检查智能体工作流,并标出最先断开的步骤。

智能体给出糟糕答案时,人们很容易立刻重写提示词,或逐步检查整条执行链。Hamel Husain 给出的做法更有章法:先判断工作流是否达成目标;若失败,再查看执行轨迹,定位最早发生的上游错误。与一长串下游症状相比,最先出错的步骤往往更有诊断价值。

这篇现场笔记依据 Husain 的一手评估 FAQ 核实了该方法,也记录了一个重要限制:由于缺少真实的基线轨迹,我们计划中的本地重建实验并未运行。下文对方法的描述有来源支持;它能否迁移到我们的工作流,仍只是一个假设。

这个信号

一句话方法

先衡量端到端任务是否成功;对于失败,再检查执行轨迹,诊断最早产生实质影响的步骤,然后扩展到组件级检查。

来源实际展示了什么

Husain 将评估分为两个阶段。第一阶段,把智能体视为黑箱,并为每个真实任务定义精确的成功规则。可以由人工审阅,或使用经过验证的语言模型评审器,判断用户目标是否达成。先记录失败,再决定要修复什么。

第二阶段,利用执行轨迹调查失败。根据工作流,检查工具选择、参数提取、错误处理、上下文保留、效率和目标检查点。对于工具调用,要把检查拆开:工具选对了吗?参数正确吗?工具返回了什么?系统是否到达预期状态?操作是否获准、前置条件是否满足?

失败矩阵不是通用分类法。矩阵中的状态应当匹配实际工作流。有效的诊断要指出最先发生失败的位置,再把相似失败归组,以确定调查优先级。复现失败时,应使用仍能稳定触发问题的最简单测试;只有当失败依赖多轮对话上下文时,才加入多轮测试。

重建计划与现实检查

我们提出了一个三项任务的小型试验,覆盖来源检索、论点与引用核验,以及一个无害的工具状态变更。基线组和变体组使用相同任务与成功规则;变体组增加完整轨迹审查和“最先失败步骤”的标注。在把某个失败群组当成可行动问题之前,还应由第二位审阅者独立标注。

这项试验没有运行。 工作区里没有真实的基线执行记录或轨迹数据,因此没有有效的比较对象。编造轨迹,或把本文的来源审查说成实验,都会制造虚假证据。因此,原定的 30 项任务改为以后再做,不能说成已经完成。

  • 来源已展示: 先做端到端评估;失败后再基于轨迹诊断;步骤级检查和矩阵应适配具体工作流。
  • 本文已重建: 没有运行实验。
  • 待检验假设: 这种方法可能有助于诊断研究与写作工作流,但迁移效果尚未测试。
  • 下一步: 先记录三次真实基线运行,包括任务输入、工具调用及返回值、最终输出,以及冻结版本的成功规则;再运行匹配的变体。

迁移规则

AI 工作流失败时,先写下任务级成功规则,再检查执行轨迹。找出那个最早使成功变得不太可能或不再可能的步骤;除非证据表明下游错误彼此独立,否则先把它们视为症状。如果轨迹不足以支持判断,就标记为「无法归因」,不要猜。

在重复失败出现前,不要急着建立庞大的失败分类体系。从工作流实际存在的状态转移开始,只有证据需要时再增加类别。

实践卡

  • 输入: 一个真实任务、一份通过/失败规则,以及真实执行轨迹。
  • 步骤: 评估任务是否成功 → 检查失败运行 → 标出最早产生实质影响的步骤 → 汇总重复标签 → 选择一项改进。
  • 预期产物: 任务级结果、有轨迹支持的诊断,以及一项优先改进;若证据不足,则明确标记为 无法归因。
  • 质量检查: 另一位审阅者无需依赖事后推断,也能套用规则并找到相同的首个失败点。
  • 下一轮迭代: 做出一项改动后,用同一任务重跑,检查原失败是否消失,同时有没有引入新问题。

延伸阅读