智能体:工作流,而非提示词
向 AI 实践者学习,不是照搬工具,而是拆解工作流、重建最小实验,并用证据检验结果。
学习 AI 的最快方式,不是收集更多工具,而是研究优秀实践者如何把模糊任务变成边界清晰的工作流,加入合适的工具和检查,并观察失败。这一系列将从博客、X 帖子、视频、演讲、代码仓库和演示中追踪这些实践。
这个信号
- 实践者 / 团队: 生产环境中的 AI 与智能体工程团队
- 来源: Google Cloud 关于生产级 AI 智能体的指南,以及 Amazon 关于评估智能体系统的经验
- 为什么重要: 两个来源都指向同一个实践转变:智能体不是一个聪明的提示词,而是一个必须测试其组件和多步轨迹的工作流。
一句话方法
先从一个有用的工作流开始,分别测试它的组件和完整轨迹,再根据追踪记录与失败案例持续改进。
来源实际展示了什么
这个生产实践模式有四层:
- 定义一个任务,以及人可以检查的成功条件。
- 测试单个组件——提示词、检索、工具调用、解析器或防护措施。
- 测试完整的多步轨迹,包括走错路和恢复过程。
- 只有在证据足够之后,才从沙盒推进到小规模金丝雀发布。
这比让智能体“把整件事做完”,然后只根据一次看起来不错的答案来判断,更适合作为学习闭环。
重建计划
- 任务: 把一个研究问题转化为有来源支持的简报。
- 基线: 给通用模型一个单一提示词。
- 最小有用实验: 将基线与两步工作流进行比较:研究员收集来源和论点,审阅员检查引用、遗漏的替代解释和无依据的结论。
- 保存的产物: 提示词、来源清单、初稿、审阅记录和最终简报。
- 成功条件: 每个重要论点都有来源,存在的不确定性被明确展示,而且审阅员发现了基线遗漏的至少一个问题。
- 停止条件: 如果第二步没有改善产物,或审阅成本超过任务价值,就停止继续增加智能体。
现实检查
- 已观察: 来源建议进行组件级评估、轨迹分析和分阶段发布。
- 已重建: 本首篇现场笔记还没有实际运行实验。
- 来源报告: 生产实践建议来自作者自己的工程经验。
- 仍然未知: 哪种工作流、模型和审阅阈值最适合我们的研究写作。
- 约束: 更多智能体步骤会带来更高延迟、更多失败面和维护工作。
迁移规则
向实践者学习时,先复制其决策结构 ,再复制框架或模型:任务边界、工具、检查、产物和失败响应。如果这些要素不清楚,来源只能算灵感,还不能算方法。
实践卡
- 输入: 一个研究问题、五个候选来源、一个基线提示词。
- 步骤: 基线回答 → 提取来源与论点 → 审阅 → 比较产物。
- 预期产物: 一份包含论点、链接、置信度和未决问题的简报。
- 质量检查: 检查引用覆盖率,以及审阅员做出的修改。
- 下一轮迭代: 将第一次运行中的一个失败案例加入评估集。
来源与延伸阅读
- Google Cloud:生产级 AI 智能体开发指南
- AWS:评估 AI 智能体——构建智能体系统的现实经验
- BestPartners YouTube 频道——未来用于寻找工作流演示的来源;本文没有把任何具体主张归于该频道。
延伸阅读:智能体工作流:先找出最早出错的一步。
English companion: The Agent Is a Workflow, Not a Prompt.