AI 智能体真正卖的不是自主性,而是恢复能力

智能体的下一个优势不是完成一条干净流程,而是在状态过期、工具失败和需求含糊时,能够透明且安全地恢复。

走过分支并回到已验证检查点的 AI 工作流抽象图

重要的不是 AI 智能体能完成更多任务,而是它能否让失败变得可恢复。真实工作充满过期状态、权限缺失、部分输出和中途改变的指令;因此,真正有价值的产品,是能够在这些条件下保持透明和安全的系统。

这正是智能体软件被低估的变化。演示喜欢一条干净路径:理解请求、调用正确工具、交付结果。生产环境却相反。工单会在执行过程中变化,API 可能在写入一半时超时,浏览器会话会过期,审查者会否决一个多步骤修改中的部分内容。此时系统必须知道发生了什么、哪些事实仍然有效,以及自己还被允许做什么。

“完成率”正在成为一个陷阱

任务完成率很容易解释,所以很适合作为指标。但它会掩盖昂贵的尾部风险。一个 90% 成功率的智能体看起来不错,直到剩下的 10% 造成重复付款、互相矛盾的客户通知,或者让工程师花一下午重建现场。

真正的工作单位不是“智能体是否完成”,而是“路径中断后恢复的成本是多少”。这里面包括重试、模型调用、人工注意力、回滚工作,以及系统是否从错误假设继续执行所带来的风险。

这也意味着,智能体产品不只是更强的聊天机器人。恢复能力需要持久状态、幂等工具、检查点、明确的不确定性,以及区分“动作失败”和“动作结果未知”的机制。它还需要知道何时停止。一个在交易状态丢失后仍然自信地继续操作的智能体,在运营者真正关心的意义上并不自主:没人敢把下一步交给它。

关键机制:把不确定性变成工作流状态

现在很多智能体把不确定性表达成一句话:“我可能遇到了问题。” 对连接工具的系统来说,这远远不够。不确定性必须成为结构化状态,并改变后续权限和路由。

例如,客服智能体要更新客户资料。写入请求超时后,状态不应该直接标记为“写入失败”,而应标记为“结果未知”。下一步应该是读取或对账,而不是盲目重试。如果发现资料已经更新,就继续;如果两个记录都发生变化,就升级处理;如果账户没有权限,就带着已经收集的证据创建人工交接。

这听起来像普通的分布式系统纪律。恰恰如此:智能体产品正在把分布式系统的失败模式带进被包装成“智能”的界面。模型可以建议下一步,但运行时必须规定,在状态含糊时哪些动作仍然安全。

这里有一个容易忽略的取舍:更严格的检查点会降低表面上的自主性,也可能增加延迟,但它能缩小错误恢复的爆炸半径。取消所有确认的产品可能赢得演示,却失去真正负责事故的运营者。

建造者应该记录什么

开发智能体时,应在对话日志之外建立一份恢复账本。每个工具动作都记录:预期效果、授权上下文、幂等键、观察到的结果、对结果的信心,以及下一步允许的状态转换。必须区分“尚未尝试”“副作用发生前失败”和“副作用结果未知”。

评估时也要加入中断测试,而不只是顺利完成的任务:在两次工具调用之间让凭证过期;在写入可能已经成功后返回超时;执行期间改变源文档;否决批量操作中的一个审批;或者给出与更高优先级政策冲突的指令。

应当测量安全恢复时间、重复副作用比例、升级处理质量,以及每次事故消耗的人工分钟数。这些指标比完成率更能说明问题,因为它们揭示运行时是否保留了对真实世界的可信记录。

这延续了站内关于智能体审计轨迹成为产品基础设施智能体安全成为运行时产品的讨论。经济性方面,推理正在变成产品路线图也值得参考:恢复循环可能悄悄放大成本,所以失败处理从第一天起就应进入单位经济模型。

接下来观察什么

接下来要看厂商是否公开恢复证据:中断测试、重复动作比例、状态对账行为和升级处理质量。只报告成功轨迹的系统,报告的是演示环境,而不是运营风险。

当然,并非每个低风险工作流都需要复杂的恢复账本。写作助手失败时,让用户重新尝试即可。但只要智能体能够修改记录、花钱、改代码或对外沟通,恢复能力就已经是产品契约的一部分。

下一场智能体竞争会被描述为自主性竞争。真正的赢家,将是那个能用证据说明“自主性失效时发生了什么”的系统。

来源:Google SRE:处理级联故障NIST:AI 风险管理框架OWASP:大语言模型应用安全

English companion: AI Agents Are Really Selling Recovery, Not Autonomy


Read in English →