把反馈变成智能体记忆
把经过审阅的纠正转化为可复用原则,并用留出样例检验它是否迁移。
智能体的输出“差不多能用”,团队却仍要承担大部分判断工作。这时,人们常会继续把提示词写得更长。对少数已知情况,这或许有效;但它无法完整表达团队不断变化的偏好,也不能告诉智能体如何面对从未见过的情形。更值得问的是:经过审阅的纠正,能否成为智能体工作方法中持久、可检验的一部分?
这个信号
- 实践者 / 团队: Warp 介绍了为其 Developer Experience 团队构建的 Buzz。
- 一手来源: Warp 的文章 Agents Need Feedback Loops, Not Perfect Prompts。
- 为何重要: 文章称,Warp 每周在多个平台收到一千多条提及,小团队无法逐条监看和回复。公开回复也没有快速可靠的外部正确性信号:团队不能安全地大量发布不同版本,再从嘈杂反应中判断品牌表达是否得体。
一句话方法
从具体的人类纠正中找出缺失的通用原则,在审阅下更新精简技能,再用后续样例检查原则能否迁移。
来源实际展示了什么
工作流
Warp 报道称,Buzz 会监看提及,并判断应该回复、点赞、记录还是跳过。如果适合回复,它会把回复草稿发到 Slack;最终公开回复仍由人撰写。文章说,Buzz 早期技能采用很长的逐案规则清单,后来变得脆弱。Warp 描述了从个案规则转向较精简原则的变化,例如保持有帮助而非防御性的态度,以及依据文档核验事实主张。
据文章所述,反馈循环会对照智能体建议与人类修改或另写的内容。一个单独的技能会追问:要得到预期结果,究竟缺少或没有说清哪项原则?它尝试超越单个纠正,核对现有原则,编辑或删除重复内容,把新想法放进恰当章节,并提交简洁改动。比如,“太像营销文案”不该自动变成“第一句话绝不提价格”。更可迁移的候选原则可能是:对方正在倾诉时,先表达理解,不要先推销。
| 要素 | 来源证据 | 可检验内容 |
|---|---|---|
| 输入 | 草稿、人类纠正或替代写法、当前技能 | 审阅者能否指出具体问题并说明预期结果 |
| 智能体步骤 | 查找原因、谨慎归纳、与现有原则核对 | 原则能否覆盖留出样例,而非变成规则堆积 |
| 产物 | 经审阅的精简技能改动 | 未参与归纳的新样例上,改动是否改善决策 |
| 质量检查 | 人类仍在环路中;公开回复不会自动发送 | 质量和不当行动率是否符合预设门槛 |
以上是 Warp REPORTED(来源报告) 的实践描述,并非本文独立测量的结果。该文是实践者叙述,不是受控对照研究。它说明工作流及其理由,却没有证明质量提升由此造成、这种方法可普遍学习,或别的团队能同样复现。本文中的 OBSERVED(来源明确描述) 仅表示文章明确写出了该流程,不代表本系列实际运行过。我们尚未进行本地重建。
重建计划与现实检查
可以从一个范围有限的内部任务开始,例如把来源链接分类为“阅读”“忽略”或“请人判断”。更改智能体前,先冻结一小组有代表性的样例和评分标准。
- 实验任务: 为收到的链接分类,并简短说明理由;不得发送消息或采取外部行动。
- 基线: 用当前提示词或技能跑完冻结样例,保存输入、输出、决策和审阅纠正。
- 最小有用实验: 请审阅者标注具体错误,让智能体针对反复出现的模式提出原则;由人逐条接受、改写或拒绝。再用未参与反馈归纳的留出集,对比未变更基线与修订技能。
- 保存的产物: 带日期的技能版本、样例编号、评分标准、原始输出、纠正、候选原则、审阅决定和最终输出。评估集应与反馈集分开,以减少信息泄漏。
- 成功条件: 修订技能在留出样例上的预设决策质量有所提高,且不当行动没有增加;审阅者认为改动清晰并可复用。
- 停止条件: 如果审阅者对目标行为意见不一、候选原则其实只是个案规则、表现退步,或智能体越过批准的行动边界,就停止。恢复旧版本,先检查样例,再决定是否重试。
这只是一个 HYPOTHESIS(待检验假设) 实验。它不表示 Warp 实际采用了完全相同的重建协议,也不保证技能更新会改善结果。比如,对来源分拣答案的纠正,可能暴露智能体把供应商自述误当成独立证据。候选通用原则可以是“评估来源权重前,先标明它与主张之间的关系”;“永远不要引用供应商网页”则可能过度拟合。审阅者必须检查原则本身及其放置位置;未经批准,自动化不应自行提交行为改动。
- OBSERVED(来源明确描述): Warp 文章介绍了 Buzz 的提及分流、Slack 回复建议、由人撰写公开回复、从脆弱规则转向原则,以及从反馈到技能更新的流程。
- REPORTED(来源报告): Warp 称该系统为团队节省时间,并解释其运营动机。这些是公司的报告,并非文章给出的实测结果。
- RECONSTRUCTED(本地重建): 尚无本地实验;上面的分拣对照只是提议的方法。
- HYPOTHESIS(待检验假设): 经审阅的原则可能比个别纠正更能迁移,但仍需用留出样例验证。
- 仍待验证: 文章没有提供受控结果、审阅者一致率、误差范围、维护成本或跨任务泛化证据。反馈可能记录某位审阅者前后不一致的偏好;样例也可能泄漏进评估集。
- 成本与维护约束: 每次技能更新都带来审阅和回归检查成本。只有当反复出现的“差一点就对”成本高于收集纠正和维护版本的成本时,这套流程才值得尝试。
迁移规则
当任务需要判断力、纠正反复出现、人类能说明输出为何不合适,而且重要行动仍可由人把关时,可以试用此方法。应冻结基线、保留留出样例、对技能改动做版本管理,并让审阅者能够拒绝改动。
如果审阅者彼此意见不一、结果难以检查,或错误会造成不可逆后果,就不要把反馈当成自动训练标签;此时应让智能体保持建议者角色。若留出集决策改善且不当行动未增加,会增强采用理由;若表现退步、审阅标签不稳定,或改动只是重述个案,就应降低信心。
实践卡
- 输入: 当前技能、范围明确的样例、智能体建议、人类纠正和清晰评分标准。
- 步骤: 冻结基线;收集具体纠正;追问背后的通用原则;与现有指导核对;取得人工批准;在留出样例上测试新版本。
- 预期产物: 一项精简、带版本的技能改动及审计记录,而不是未经审阅的自我修改智能体。
- 质量检查: 在相同留出样例上比较基线与变体,检查决策质量、不当行动和审阅者一致性。
- 下一轮: 根据保存的证据保留、修订或回滚改动;新样例只加入后续评估集。
延伸阅读
- English companion: Turn Feedback Into Agent Memory
- 相关站内文章:Turn User Failures Into Tests
- 一手来源:Warp, Agents Need Feedback Loops, Not Perfect Prompts
- 重建产物:无;本地重建尚未运行。