把用户遇到的失败变成测试
生产环境中的失败只是候选测试,并非天然可靠的基准。借鉴 Replit 对评估闭环的描述,把经过审核、能够复现的案例变成下一次改进的证据。
智能体在真实使用中让用户碰壁时,最容易想到的办法是改提示词,然后继续前进。但如果失败无法复现,这次修补可能只解决了一个偶发故事,也可能在另一个任务上悄悄引入回归。Replit 关于大规模评估和改进 Agent 的一手文章,提供了一个更严谨的框架:离线基准、线上 A/B 测试和生产轨迹是持续改进循环中的不同信号,彼此补充,不能让一个分数替代全部证据(Replit:Closing the loop)。
这是 Replit 对自身方法的报告,不代表同一套指标和流程可以原样移植到小团队。较稳妥的迁移结论更有限:一次反复出现、获准使用的失败,只有在团队能安全描述它、复现它,并预先定义何为更好之后,才可能成为有用的评估案例。
这个信号
- 实践者 / 团队: Replit Agent。
- 一手来源: Replit 关于评估并改进 Agent 的文章。
- 为何重要: 固定的发布基准可能看不到新出现的失败模式;生产中的单个故事又太复杂,不能直接用来比较候选版本。改进闭环需要受控检查,也需要真实使用的信号。
失败轨迹是原料,不是测试
一段轨迹可能包含隐私数据、无关上下文,或者根本不能重放。把原始轨迹整段复制进基准,会带来隐私暴露与过拟合风险。第一步应是确认权限并减少数据:只保留理解失败所需的步骤和字段,替换可识别信息,再由审核者确认脱敏后仍能代表原问题。如果没有使用许可,或无法充分去标识,就应停止,不要把它转作训练或评估材料。
接下来,把任务写成可观察的约定。“智能体体验很糟”不是测试。“收到添加设置页面的要求后,智能体应保留现有路由、实现页面,并报告改动文件”更接近可检验任务:输入明确,审核者也能检查行为。应把原始失败模式、预期行为、允许使用的工具和评分规则放在一起。缺少明确预期的案例,最后测到的可能只是审核者的偏好,而非用户真正关心的成功。
然后建立基线。用固定案例集、当前版本、同一套指令和环境,以及同一评分规则运行一次。记录的不应只有通过或失败,还应包括具体失败类别、人工审核意见;在相关时记录延迟或成本,并保存版本标识。这样才有比较起点。把新脱敏案例加入小型离线套件后,候选改动既要在新案例上评估,也要回看已有案例;如果只在目标案例上获胜,却让其他任务退步,就不能简单称为改进。
只有通过预先约定的离线检查后,才考虑在实验设计合适、流量足够的条件下进行线上 A/B 比较。离线结果回答的是关于可复现任务的受限问题。线上比较能看到真实使用情境,却也受到样本、流量分配和解释方式的影响。生产轨迹适合帮助发现下一批测试内容;仅凭轨迹本身,无法证明某项改动造成了更好的用户结果。Replit 的描述把这些信号视为互补,而非可以互换。
重建计划(HYPOTHESIS;尚未运行)
- 实验任务: 选取五个小型应用规格和少量保护隐私的失败案例。这五个任务是建议的有限练习,并非 Replit 报告过的实验。
- 基线: 在加入失败案例前,用固定评分规则运行当前版本。
- 变体: 只加入经过审核且可复现的案例;在扩大的离线套件上比较候选改动。只有通过离线门槛后,才考虑线上对照。
- 保存的产物: 脱敏案例、许可与去标识审核记录、评分规则、带版本结果、审核决定和监测计划。
- 成功条件: 案例能暴露可复现且与用户相关的回归,并改善下一项改动的决策质量,同时成本和延迟仍可接受。
- 停止条件: 没有轨迹使用许可、无法充分脱敏、失败无法复现,或评分标准含糊。
这项重建尚未执行。本文没有建立本地评估、A/B 测试或用户影响结果。主要风险包括选择偏差(最响亮的抱怨占据案例集)、敏感信息泄漏、对少量案例过拟合,以及优化代理分数却没有改善用户体验。小团队还要考虑维护成本:产品和任务分布改变后,旧案例可能逐渐失去代表性。
迁移规则
当失败重复出现、团队具备适当许可,而且能把问题表达成稳定任务并给出可信预期时,可以尝试此方法。如果案例敏感、孤立、无法复现,或评分含糊,就不应纳入。若后续线上证据与离线排序相反,或案例集不再反映用户当前工作,应重新检查建议。
实践卡
- 输入: 获准使用、经过最小化处理的失败示例,以及书面任务约定。
- 步骤: 脱敏并审核;定义预期行为;运行基线;加入离线套件;比较候选版本;通过离线门槛后才考虑线上证据。
- 预期产物: 带版本的案例、评分规则、结果和明确的决策记录,而不是影响已经得到证明的结论。
- 质量检查: 另一位审核者能否在看不到隐私数据的情况下复现并评分?
- 下一轮: 检查评分分歧和新失败模式,只在它们代表可重复的用户需求时增加案例。
英文伴随文章:Turn User Failures Into Tests。相关站内文章:Find the First Wrong Step。