智能体:工作流,而非提示词

向 AI 实践者学习,不是照搬工具,而是拆解工作流、重建最小实验,并用证据检验结果。

实践者梳理 AI 工作流,并标出工具、检查、轨迹和人工审阅。

学习 AI 的最快方式,不是收集更多工具,而是研究优秀实践者如何把模糊任务变成边界清晰的工作流,加入合适的工具和检查,并观察失败。这一系列将从博客、X 帖子、视频、演讲、代码仓库和演示中追踪这些实践。

这个信号

一句话方法

先从一个有用的工作流开始,分别测试它的组件和完整轨迹,再根据追踪记录与失败案例持续改进。

来源实际展示了什么

这个生产实践模式有四层:

  1. 定义一个任务,以及人可以检查的成功条件。
  2. 测试单个组件——提示词、检索、工具调用、解析器或防护措施。
  3. 测试完整的多步轨迹,包括走错路和恢复过程。
  4. 只有在证据足够之后,才从沙盒推进到小规模金丝雀发布。

这比让智能体“把整件事做完”,然后只根据一次看起来不错的答案来判断,更适合作为学习闭环。

重建计划

  • 任务: 把一个研究问题转化为有来源支持的简报。
  • 基线: 给通用模型一个单一提示词。
  • 最小有用实验: 将基线与两步工作流进行比较:研究员收集来源和论点,审阅员检查引用、遗漏的替代解释和无依据的结论。
  • 保存的产物: 提示词、来源清单、初稿、审阅记录和最终简报。
  • 成功条件: 每个重要论点都有来源,存在的不确定性被明确展示,而且审阅员发现了基线遗漏的至少一个问题。
  • 停止条件: 如果第二步没有改善产物,或审阅成本超过任务价值,就停止继续增加智能体。

现实检查

  • 已观察: 来源建议进行组件级评估、轨迹分析和分阶段发布。
  • 已重建: 本首篇现场笔记还没有实际运行实验。
  • 来源报告: 生产实践建议来自作者自己的工程经验。
  • 仍然未知: 哪种工作流、模型和审阅阈值最适合我们的研究写作。
  • 约束: 更多智能体步骤会带来更高延迟、更多失败面和维护工作。

迁移规则

向实践者学习时,先复制其决策结构 ,再复制框架或模型:任务边界、工具、检查、产物和失败响应。如果这些要素不清楚,来源只能算灵感,还不能算方法。

实践卡

  • 输入: 一个研究问题、五个候选来源、一个基线提示词。
  • 步骤: 基线回答 → 提取来源与论点 → 审阅 → 比较产物。
  • 预期产物: 一份包含论点、链接、置信度和未决问题的简报。
  • 质量检查: 检查引用覆盖率,以及审阅员做出的修改。
  • 下一轮迭代: 将第一次运行中的一个失败案例加入评估集。

来源与延伸阅读

延伸阅读:智能体工作流:先找出最早出错的一步。

English companion: The Agent Is a Workflow, Not a Prompt.