软件开发作为学习系统:AI 智能体如何规划、构建、评审并逐步收敛
本文提出一种受治理的 AI 软件开发框架:专业智能体负责规划、构建和验证,独立评审提供反馈,人类定义目标、风险与发布边界。
引言
第一代 AI 编程工具主要专注于代码生成。开发者描述一个函数、提出问题或提供错误信息,AI 随后给出实现方案。
下一代工具可能会带来根本不同的变化。
我们不再只让 AI 一次性生成代码,而是可以构建一个受治理的开发流程,让多个 AI 智能体反复执行以下工作:
- 理解人的目标。
- 将目标转化为需求和可衡量的结果。
- 制定实现计划。
- 将计划拆分为多个阶段。
- 设计架构。
- 构建每个阶段。
- 测试并评审结果。
- 诊断缺陷和薄弱环节。
- 修复实现。
- 在问题反复出现时重新审视计划或架构。
- 持续迭代,直到产品达到技术标准与人所定义的可接受结果。
这会让 AI 从编程助手转变为受反馈驱动的数字化生产系统的一部分。
这一过程与机器学习有重要的概念相似性。机器学习通过反复生成、评估、分析错误和优化而不断推进。智能体软件开发也可以采用同样的运行纪律,即使底层 AI 模型本身并未重新训练。
因此,核心观点并不是软件开发等同于机器学习,而是软件开发可以被管理为一个可衡量的学习与收敛过程。
1. 从 AI 代码生成到智能体工程
传统的 AI 编程交互通常是这样的:
人的请求
↓
AI 生成代码
↓
人工评审
↓
手动修正
这种方式可以提高单个开发者的效率,但工程生命周期中的大部分协调工作仍由人来完成。
更进阶的智能体流程是:
人的目标与约束
↓
需求与验收标准
↓
规划与架构设计
↓
实现
↓
测试与独立评审
↓
失败分类
↓
修复、重新规划或重新设计
↓
验证
↓
受控发布
↓
生产环境反馈
↓
进入下一轮改进
两者的区别很重要:
代码生成器产出一个结果;智能体工程系统管理的是一个以目标为导向的过程。
这一方向与新兴的 AI 智能体编程领域相一致。一项近期综述介绍了能够制定计划、执行多步骤任务、使用编译器和调试器、与版本控制系统交互,并依据中间反馈调整行动的软件智能体。该综述还指出,规划、记忆、上下文管理、执行监控、评估、安全和人机协作,都是可信软件工程智能体的核心组成部分。参见 《AI 智能体编程:技术、挑战与机遇》。
变化不只是 AI 能写更多代码,工程工作的性质也在改变。
开发者越来越需要负责:
- 定义目标
- 编写规格说明
- 设计约束
- 构建评估体系
- 评审智能体的决策
- 诊断反复出现的失败
- 管理架构权衡
- 判断结果何时可以交付
一项对专业软件工程师进行的纵向研究,将这类新兴工作称为“监督式工程”:开发者需要指导、评估并修正 AI 生成的产出。研究发现,开发者报告称许多实现任务耗时减少,但同时也指出认知负荷、工作流畅度以及验证 AI 输出所需精力方面的风险。参见关于 AI 编程助手与监督式工程的纵向研究。
自动化并没有消除工程工作,而是把工程工作推向了更高一层。
2. 机器学习类比
最有力的类比,不是把软件测试等同于机器学习数据集。在有限情境下,这种比较或许有用,但过度延伸就会遇到问题。
更有价值的类比,是两者整体的改进过程。
简化的机器学习流程
定义目标
↓
生成或训练模型
↓
评估表现
↓
分析错误
↓
调整模型、数据或训练策略
↓
重复迭代,直到表现趋于稳定
智能体软件开发流程
定义产品目标
↓
生成计划并实现
↓
评估行为与质量
↓
分析缺陷和薄弱环节
↓
修复实现或修改设计
↓
重复迭代,直到质量趋于稳定
它们共有的原则包括:
- 目标定义
- 迭代式产出
- 可衡量的评估
- 错误分析
- 由反馈驱动的改进
- 实验过程记录
- 收敛监测
- 在进展停滞时调整策略
对这种类比必须谨慎表述:
智能体软件开发并不一定是在像训练统计模型那样训练软件。它借用机器学习的运行纪律,来改进软件产物和生产流程。
在许多项目中,底层语言模型完全没有改变。发生变化的是:
- 实现
- 项目计划
- 架构
- 测试套件
- 智能体指令
- 工具配置
- 编排工作流
- 项目记忆
- 评估策略
即使模型权重没有更新,这仍然属于系统层面的学习。
3. 与 Andrej Karpathy 相关的观点
在公开讨论中,Andrej Karpathy 大概是与这一方向密切相关、知名度最高的人物。
他早期提出的“Software 2.0”框架,描述了这样一类系统:开发者定义目标,再通过优化来发现行为,而不是明确编写每一条规则。他近期关于“Software 3.0”的演讲则把大型语言模型描述为一种新的计算层,可以使用自然语言进行编程。他还强调有限自主性、人机协作循环,以及为作为数字信息消费者和生产者的智能体设计基础设施的重要性。参见关于 Karpathy 软件观点演变的报道和 Karpathy 的演讲《软件正在再次改变》。
关于他所倡导的智能体工程的讨论,通常会把有纪律的工程实践与不受约束的“凭感觉编程”(vibe coding)区分开来。有纪律的做法强调:
- 清晰的规格说明
- 受控的智能体执行
- 评估循环
- 对拟议修改进行评审
- 人对架构的监督
- 像管理工程团队那样协调多个智能体
这些主题与反馈驱动开发的观点高度契合。参见智能体工程实践手册、智能体工程概述和智能体工程解读。
不过,如果说 Karpathy 已经认可了本文所述的完整收敛框架,那就言过其实了。
更准确的定位是:
Karpathy 提出了与此密切相关的观点,包括 Software 2.0、Software 3.0、有限自主性、自然语言编程、人机协作和智能体工程。本文的收敛框架则进一步将评审、重复缺陷检测、停止规则,以及从代码修复升级到计划或架构修订的机制形式化。
将这些元素组合起来,正是这一框架特别有用之处。
4. 软件开发中的“学习”意味着什么
学习可以发生在多个层面。
第 1 层:在单次迭代中学习
系统产出一个候选版本,对其进行评估,然后根据反馈加以修正。
例如:
- 构建智能体实现一个功能。
- 测试智能体发现行为不正确。
- 评审智能体发现错误处理不足。
- 安全智能体识别出不安全的输入路径。
- 构建智能体修改实现。
- 再次进行评估。
软件之所以得到改进,是因为一轮迭代中的证据影响了下一轮。这是最直接的一种学习形式。
第 2 层:在项目内学习
随着项目推进,系统可以开始识别模式,例如:
- 同一个模块反复失败。
- 修复一个组件经常损坏另一个组件。
- 不同智能体对同一需求有不同解读。
- 某个依赖反复引发可靠性问题。
- 当前架构让测试变得不必要地困难。
- 局部补丁增加了复杂性,却没有提升稳定性。
- 原始项目计划遗漏了关键能力。
在这一层,系统不应只是再打一个补丁,而应重新审视计划、组件边界、接口、假设或架构。
第 3 层:跨项目学习
组织可以在不同开发项目之间保留经验。工程记忆可能包含:
- 成功的实现计划
- 失败的方法
- 常见缺陷模式
- 架构决策记录
- 有效的测试策略
- 安全发现
- 人工覆盖决策
- 生产事故
- 用户反馈
- 成本和进度结果
- 可复用组件
未来的智能体可以利用这些信息,改进估算、规划、测试生成、架构选择和风险识别。
第 4 层:改进智能体系统本身
最先进的学习形式,不仅改进产品,也改进系统自身的开发工作流。系统可以调整:
- 选择哪些智能体
- 如何拆分任务
- 可以使用哪些工具
- 如何组织项目记忆
- 何时让智能体并行工作
- 由哪一个评审者来评估候选版本
- 如何执行重试和升级规则
研究已经开始探索这一方向。例如,《自我进化的软件工程智能体》介绍了一种能够在解决真实软件问题时修改自身脚手架的软件工程智能体。这项工作把智能体本身视为软件,并根据经验对其进行改进。
Salesforce AI Research 提出了 SAGE:智能体利用自身执行轨迹和环境反馈,归纳出更好的计划。研究者将此描述为基于实际经验的适应,而不是传统意义上的模型再训练。参见Salesforce 对 SAGE 的介绍。
这些例子支持了框架中的一个重要观点:
反馈可以改进产物、计划,最终也可以改进智能体化的生产流程本身。
5. 多智能体生产模型
可靠的生产系统不应依赖一个通用智能体同时扮演所有角色。
如果一个构建者既负责实现方案、评估自身工作、批准架构,又能授权发布,就会产生多重利益冲突;它也可能在每个阶段重复相同的假设。
更稳健的设计,是由工作流编排器协调多个专业智能体。
编排器
编排器负责管理整个流程,包括:
- 跟踪项目状态
- 分配工作
- 执行阶段边界
- 监控时间和成本
- 记录证据
- 执行重试上限
- 请求审批
- 触发升级
- 控制发布路径
它的行为更应像一个有状态的工作流引擎,而不是不受约束的对话式智能体。
需求智能体
需求智能体把人的目标转化为:
- 用户需求
- 功能需求
- 非功能需求
- 约束
- 假设
- 验收标准
- 禁止行为
- 未决问题
- 产品成功指标
它最重要的任务,是把非正式目标转化为一份既能指导生产、又能指导评估的契约。
规划智能体
规划智能体负责:
- 将工作拆分为多个阶段
- 识别依赖关系
- 创建里程碑
- 将需求映射到任务
- 识别风险
- 提出验证活动
- 估算资源
- 设置检查点
架构智能体
架构智能体定义:
- 组件
- 接口
- 数据流
- 信任边界
- 存储策略
- 故障处理机制
- 性能假设
- 集成方式
- 安全控制
它还应记录重大决策为何作出。
构建智能体
构建智能体创建或修改:
- 源代码
- 配置
- 基础设施定义
- 数据库定义
- 自动化测试
- 文档
- 打包说明
它可以提出工作已经完成,但不应获得批准自身发布的权限。
测试智能体
测试智能体评估:
- 功能行为
- 集成行为
- 边界条件
- 错误处理
- 性能
- 兼容性
- 回归风险
- 异常条件下的可靠性
它应主动寻找缺失的测试类别,而不只是运行现有测试套件。
评审智能体
评审智能体会提出更广泛的工程问题:
- 实现是否正确?
- 是否满足预期需求?
- 是否过于复杂?
- 是否易于维护?
- 职责是否清晰分离?
- 故障模式是否得到一致处理?
- 重要假设是否写明?
- 实现是否造成了可避免的技术债?
安全与合规智能体
该智能体检查:
- 身份验证
- 授权
- 秘密信息处理
- 数据访问
- 输入验证
- 依赖风险
- 隐私
- 日志
- 可审计性
- 适用的政策要求
用户模拟智能体
用户模拟智能体会尝试从不同视角完成真实任务:
- 新用户
- 有经验的用户
- 系统管理员
- 有无障碍需求的用户
- 误解说明的用户
- 时间紧迫的用户
- 粗心的用户
- 潜在攻击者
发布智能体
发布智能体准备:
- 有版本号的产物
- 发布说明
- 部署说明
- 迁移说明
- 回滚流程
- 可追溯性证据
- 已知限制
学习智能体
学习智能体研究项目历史,识别:
- 反复出现的缺陷类别
- 未奏效的修复策略
- 薄弱的架构选择
- 遗漏的需求
- 无效的评估方法
- 过度分歧
- 反复出现的人工干预
- 改进工作流的机会
这并不是一群 AI 模型之间的普通对话,而是一个具有角色、状态、证据、权限和停止规则的受控生产系统。
6. 评审是学习信号
评审常被当成实现完成后的最后一道关卡。在智能体开发系统中,评审则成为核心学习机制。
它至少有四项功能。
功能一:发现问题
评审智能体可能会发现:
- 行为不正确
- 需求遗漏
- 安全弱点
- 可用性较差
- 性能问题
- 脆弱的接口
- 行为不一致
- 不必要的复杂性
- 文档不完整
- 缺乏支持的主张
功能二:对问题分类
每个问题都应使用结构化属性记录:
- 严重程度
- 类别
- 受影响的组件
- 相关需求
- 可能的根本原因
- 新问题还是重复问题
- 回归问题还是原始缺陷
- 局部问题还是架构问题
- 置信度
- 建议的后续行动
如果没有失效分类体系,智能体可能会反复修复表面症状,却无法发现多个故障其实有共同原因。
功能三:指导响应方式
评审应建议适当层级的修正方式:
实现缺陷
↓ 局部代码修复
组件问题反复出现
↓ 检查组件或接口
跨组件问题反复出现
↓ 评审架构
能力缺失或需求冲突
↓ 重新评审计划与需求
产品目标错误
↓ 由人重新审视目标
功能四:衡量进展
评审还应判断流程是否正在改进。可以提出以下问题:
- 缺陷数量是否在下降?
- 缺陷严重程度是否在降低?
- 已解决的问题是否保持解决?
- 修改是否减少了回归问题?
- 不同评审者是否得出相近结论?
- 实现修改是否变得更小?
- 架构是否趋于稳定?
- 每一轮迭代是否带来了有意义的价值?
这样一来,评审就不只是质量关卡,还成为推动开发流程的反馈信号。
Google Developers 在编码智能体运行框架中应用了类似原则,将宽泛的端到端评分与行为评估区分开来。行为评估检查智能体是否执行了预期操作,例如澄清含糊请求,或在声称完成前运行验证器。这类评估不仅有助于判断智能体是否成功,也能说明应如何改进它的行为。参见Google Developers 关于评估和约束编码智能体的文章。
7. 将开发视为优化过程
当开发被组织为反馈循环时,每一次实现都可以视为一个候选状态。例如:
- 候选版本 1:初始实现
- 候选版本 2:依据功能测试结果修正
- 候选版本 3:依据安全与代码评审结果修正
- 候选版本 4:依据架构评审重新实现
- 候选版本 5:发布候选版本
对于每一个候选版本,系统都可以记录:
- 代码和产物版本
- 测试结果
- 评审发现
- 根因分类
- 架构决策
- 回归问题
- 性能
- 成本
- 时间
- 人工干预
- 面向用户的结果
这会形成可追溯的开发历史,类似实验记录。
一个简化的质量函数可以写为:
Q = w_f F + w_r R + w_s S + w_u U − w_c C
其中:
F表示功能正确性R表示可靠性S表示安全性U表示用户价值C表示成本或复杂性w表示项目所设定的各项优先权重
这并不意味着每一个发布决定都应被压缩成一个数字。某些要求,尤其是安全和合规要求,可能应作为硬性门槛,而不是可加权的变量。
这一模型的价值,在于让权衡关系显性化。
系统不应为了提高功能覆盖率而制造不可接受的安全风险;不应为了降低成本而牺牲强制性要求;也不应为了追求测试高分而交付难以使用的产品。
8. 收敛、停滞、振荡与发散
机器学习类比的一个重要贡献,是提供了描述“收敛”的语言。
许多软件项目会因为截止日期到了或可见测试通过而停止。以学习为导向的方法则会进一步询问:开发流程是否已经达到稳定且可接受的状态?
流程可能处于以下四种状态之一。
正在收敛
- 缺陷数量在下降。
- 缺陷严重程度在降低。
- 回归问题越来越少。
- 架构趋于稳定。
- 面向用户的评估结果正在改善。
- 每一轮迭代都使产品更接近目标。
陷入停滞
- 更多迭代几乎没有带来改进。
- 质量评分保持不变。
- 评审者反复提出相似意见。
- 成本继续增加,价值却没有相应增长。
停滞可能表明当前修复策略已经达到极限。
发生振荡
- 修复一个组件,另一个组件就反复损坏。
- 系统在两个不完整的方案之间来回切换。
- 不同智能体不断撤销彼此的修改。
- 已解决的问题一再出现。
振荡通常意味着组件之间高度耦合、需求相互冲突或架构不稳定。
正在发散
- 缺陷数量在增加。
- 实现越来越复杂。
- 评审意见分歧越来越大。
- 修复引发的问题超过其解决的问题。
- 架构需要越来越大幅度的修改。
发散时应停止,而不是继续进行不受控的重试。
收敛过程示例
| 迭代 | 严重缺陷数 | 回归数 | 用户任务成功率 |
|---|---|---|---|
| 1 | 5 | 0 | 45% |
| 2 | 3 | 2 | 62% |
| 3 | 1 | 1 | 76% |
| 4 | 0 | 1 | 84% |
| 5 | 0 | 0 | 86% |
第五轮只让用户任务成功率小幅提高。根据项目阈值与成本,这可能意味着流程已经收敛;也可能意味着产品设计遇到了瓶颈,需要改变策略,而不是继续局部修补。
9. 反复失败应触发架构层面的学习
这一框架最重要的部分之一,是认识到反复出现的缺陷可能源于代码之上的问题。
一种可行的升级策略是:
- 首次出现: 尝试有针对性的局部修正。
- 第二次出现: 深入分析根本原因。
- 第三次出现: 停止常规修复,重新评审计划或架构。
- 持续复发: 升级给人类决策者处理。
例如,如果同一根因类别出现三次:
- 冻结当前候选版本。
- 保存日志、测试和决策记录。
- 开展独立的根因评审。
- 比较局部修复与部分重设计。
- 更新架构决策记录。
- 重新生成受影响的项目阶段。
- 如果范围、成本或风险发生变化,则要求人工批准。
这形成了一个逐级提升的修正层次:
代码
↓
组件
↓
接口
↓
计划
↓
架构
↓
产品目标
核心原则是:
局部失败反复出现,往往意味着更高层级的设计存在问题。
一个只能修改代码的自主系统无法实现完整意义上的学习。更强的系统必须能够重新考虑问题的拆分方式,以及当前架构是否仍然合适。
10. 定义不同类型的收敛
“没有发现问题”不足以定义成功。
收敛有几种不同形式。
技术收敛
技术收敛意味着:
- 必须通过的测试全部通过。
- 构建过程可重复。
- 严重安全问题已解决。
- 性能达到既定阈值。
- 满足可靠性目标。
- 不再存在不可接受的回归问题。
评审收敛
评审收敛意味着:
- 独立评审者没有发现新的重大失效类别。
- 先前发现的缺陷仍保持解决。
- 评审者之间的分歧有所减少。
- 额外评审轮次带来的新信息已经很少。
架构收敛
架构收敛意味着:
- 主要组件已经稳定。
- 接口不再频繁变化。
- 局部修正不再要求反复重构。
- 设计能够满足所需的质量属性。
- 剩余工作可以在不破坏系统稳定性的前提下推进。
产品收敛
产品收敛意味着:
- 软件解决了预期问题。
- 用户能够完成相关任务。
- 界面与输出易于理解。
- 功能改善了运营或业务结果。
- 用户认为产品足够有价值,愿意采用。
AI 智能体可以自动化技术收敛中的许多工作。产品收敛则更难,因为产品是否有用取决于人的具体情境。
技术上正确、却满足了错误需求的实现,仍然是错误的产品。
11. 独立验证:不要过度强调样本外评估
训练内与样本外评估的区分可以提供一项有用启示,但不应成为整个框架的中心。
在机器学习中,只用参与训练的样本来评估模型,可能会造成性能良好的错觉。
智能体开发也存在类似风险:如果构建智能体反复看到同一组测试,它可能只实现“通过这些测试”,而没有真正满足更广泛的需求。
因此,软件开发可以采用:
- 独立设计的测试
- 隐藏的资格测试
- 随机输入生成
- 基于属性的测试
- 模糊测试
- 对抗性安全测试
- 跨平台测试
- 用户模拟测试
- 受控的生产试验
重点并不是创造一种完美对应于样本外评估的软件机制,而是:
不要让系统只依据塑造其实现方案的同一组样例、假设和智能体来评估自身的成功。
一项独立测试一旦公开并用于修复,就成为项目开发历史的一部分。组织应将其保留为回归测试,同时继续创建新的、陌生的验证案例。
SWE-Gym 展示了真实代码库任务、可执行环境、测试和验证器如何支持软件工程智能体的训练与评估。它也说明了验证环境对于通过经验改进智能体的重要性。
SWE-agent 则展示了一种实际智能体:它能够接收软件问题、使用代码库工具、修改代码,并尝试产出经过验证的解决方案。
因此,独立验证是更大规模收敛框架中的一个组成部分,而不是它的组织核心。
12. 对软件开发者的价值
这一框架为开发者提供了一种更有纪律的方式,来应对自主性越来越强的智能体。
更好的规格说明
开发者必须说明:
- 产品必须完成什么
- 产品绝不能做什么
- 哪些属性必须始终成立
- 哪些证据能够证明成功
- 哪些不确定性需要澄清
- 哪些决策必须由人批准
含糊的提示或许适合试验,却不足以支撑受到治理的自主开发。
更好的评估
开发者可能需要投入更多精力创建:
- 可执行的验收标准
- 测试框架
- 行为评估
- 可观测性
- 事故检测
- 回滚机制
- 收敛阈值
- 升级规则
当代码生成成本降低,可靠验证的价值便会提高。
更好的故障诊断
这一框架鼓励开发者将智能体失效归入以下类别之一:
- 误解需求
- 上下文缺失
- 规划失败
- 架构薄弱
- 实现错误
- 工具使用不当
- 验证失败
- 环境故障
- 权限问题
- 编排问题
这比把每一次失败都归结为“提示词不够好”更有效。
更严谨的架构纪律
开发者仍需负责那些需要广泛背景信息的决策:
- 组件边界
- 数据所有权
- 信任边界
- 长期可维护性
- 技术选型
- 运营风险
- 技术债
- 产品权衡
人的角色会从逐行编写代码,转向设计能够让可靠软件得以形成的条件。
13. 对数据科学家的价值
这一框架也为数据科学家进入智能体软件工程提供了一条路径。
数据科学家已经熟悉:
- 目标函数
- 优化
- 错误分析
- 实验跟踪
- 收敛
- 过拟合
- 分布变化
- 评估泄漏
- 模型监控
这些概念同样可以应用于软件生产流程。
开发学习曲线
系统不应只跟踪模型损失或准确率,还可以跟踪:
- 每轮迭代的缺陷数
- 每轮迭代的缺陷严重程度
- 回归率
- 用户任务成功率
- 架构变化
- 评审者分歧
- 智能体成本
- 人工干预
- 每轮改进幅度
失效分类体系
数据科学家可以把失败归入有意义的类别,并研究它们之间的关系。例如:
- 需求失效
- 规划失效
- 上下文失效
- 架构失效
- 实现失效
- 工具失效
- 验证失效
- 环境失效
- 人机协作失效
这样可以把零散的失败案例转化为可分析的证据。
智能体策略实验
数据科学家可以比较:
- 一个构建者与多个独立构建者
- 一个评审者与多个评审者
- 即时反馈与延迟反馈
- 短期上下文与持久项目记忆
- 固定编排与自适应编排
- 完全公开评估内容与受保护的评估
- 不同的重试上限
- 不同的升级策略
流程层面的优化
数据科学家可以协助回答:
- 哪种智能体配置能产出最可靠的结果?
- 再进行一轮修复何时会失去成本效益?
- 哪些失效类别能够预测架构问题?
- 应多久进行一次独立评审?
- 哪些任务适合授予更高自主权?
- 哪类人工干预能够带来最大的改进?
优化对象不再只是模型,而是完整的人机生产系统。
14. 开发者与数据科学家的共同语言
这种类比为两个学科搭建了一座有用的桥梁。
| 软件工程概念 | 机器学习视角 |
|---|---|
| 产品需求 | 目标 |
| 实现候选版本 | 候选模型或检查点 |
| 构建与测试循环 | 优化迭代 |
| 测试与评审结果 | 评估信号 |
| 缺陷分类 | 错误分析 |
| 局部代码修复 | 局部优化 |
| 计划修订 | 策略修订 |
| 架构重设计 | 模型类别或架构变更 |
| 发布阈值 | 收敛标准 |
| 生产监控 | 部署后监控 |
| 事故历史 | 新的学习证据 |
这种对应关系在数学上并不精确,其价值在于组织和运营层面。
它帮助软件工程师更系统地思考评估与收敛,也帮助数据科学家把软件生产视为一个可衡量的环境:智能体可以在其中行动、获得反馈并不断改进。
15. 将框架扩展到软件之外
同一种学习循环,可以适用于几乎任何能够生成、评估并修订的数字产物。
人的目标
↓
规格说明
↓
规划
↓
生成
↓
技术验证
↓
独立评审
↓
修正或重设计
↓
人或受众验收
↓
发布与监控
报告
智能体可以:
- 收集获准使用的证据
- 创建提纲
- 起草各个部分
- 验证计算
- 检查引文
- 发现缺乏支持的主张
- 提高可读性
- 撰写执行摘要
自动化评审可以发现技术缺陷,但在解释、重点、敏感性和建议方面,人仍然重要。
智能体可以评估:
- 分页
- 字体
- 链接
- 渲染
- 内容裁切
- 表格
- 图像质量
- 无障碍结构
- 打印效果
对于视觉润色和阅读体验,人类判断仍然很有价值。
演示文稿
智能体可以:
- 构建叙事结构
- 生成幻灯片内容
- 创建视觉素材
- 检查文字密度
- 核实主张
- 验证演讲时长
- 撰写演讲者备注
- 针对不同受众调整材料
在人际说服、高管沟通和受众语境方面,人类评审者仍然重要。
音频
智能体可以检查:
- 脚本是否完整
- 发音
- 响度
- 削波
- 静音
- 节奏
- 文件格式
- 片段顺序
情绪基调、可信度、自然度和文化适切性,可能仍需由人来判断。
视频
智能体可以协调:
- 脚本开发
- 分镜
- 场景制作
- 配音
- 剪辑
- 字幕
- 同步
- 品牌评审
- 渲染
自动化系统能够识别技术故障,但叙事效果和情感影响仍需依靠人或受众的反馈。
更广泛的原则是:
任何具有可衡量中间状态的数字产品,都可以纳入由反馈驱动的收敛流程。
自动化程度取决于成功能否被清楚定义。
16. 人的参与
目标不是彻底移除人,而是把人的参与转移到涉及目的、语境、优先级、风险和问责的决策上。
执行前
人负责定义:
- 问题
- 目标用户
- 预期结果
- 约束
- 禁止操作
- 风险容忍度
- 隐私边界
- 成本与时间预算
- 审批要求
执行中
在以下情形下,人需要介入:
- 需求含糊不清。
- 产品优先级互相冲突。
- 智能体提出重大架构变更。
- 评审者对重要问题意见不一。
- 有人申请安全或政策例外。
- 项目超出预算。
- 系统反复无法收敛。
- 项目范围发生实质性变化。
发布前
人需要确认:
- 是否适合预定用途
- 用户价值
- 残余风险
- 合规性
- 发布范围
- 沟通安排
- 回滚准备
- 问责安排
发布后
人需要评估:
- 真实用户结果
- 意外后果
- 支持请求
- 投诉
- 所选指标是否代表真实成功
- 是否有证据支持授予更高自主权
- 产品应扩大、修订还是退役
系统自动化承担大量生产与验证工作,人仍然保有对意义与重大决策的权力。
17. 逐步提升自主性
组织应逐步提高自主程度。
| 等级 | 智能体权限 | 人的责任 |
|---|---|---|
| 0. 建议 | 提出行动建议 | 人完成全部工作 |
| 1. 起草 | 创建代码或内容 | 人评审每一项产物 |
| 2. 沙箱 | 在隔离环境中构建和测试 | 人批准离开沙箱的操作 |
| 3. 有限执行 | 执行预先定义、可逆的操作 | 人处理例外情况 |
| 4. 监督下自主运行 | 端到端运行工作流 | 人负责升级和发布边界 |
| 5. 完全自主 | 无需逐项审批即可发布 | 人定义政策并审计结果 |
大多数组织应从第 2 级开始。
提高自主权,应以以下方面的证据为前提:
- 质量稳定
- 评估可靠
- 升级机制有效
- 日志完整
- 权限有边界
- 操作可逆
- 回滚安全
- 产品结果一致
完全自主应仅限于风险低、可衡量且可逆的任务。
18. 一个可行的试点项目
一个有用的首个项目可以是内部 CSV 验证工具。
项目契约
goal: Create an internal tool that validates uploaded CSV files.
users:
- operations analysts
required_capabilities:
- upload a CSV file
- verify required columns
- validate data types
- identify invalid rows
- explain validation errors
- export an error report
quality_requirements:
- all mandatory functional tests pass
- no critical security findings remain
- no unresolved high-severity defect remains
- required accessibility checks pass
- typical files process within three seconds
iteration_policy:
maximum_local_repairs_per_issue: 3
maximum_phase_iterations: 5
maximum_architecture_revisions: 2
escalation_triggers:
- repeated root-cause category
- conflicting requirements
- material scope increase
- requested security exception
- budget exceeded
human_approval:
- requirements baseline
- major architecture change
- production deployment
工作流
需求智能体
↓
规划与架构智能体
↓
构建智能体
↓
功能、安全和可用性评估
↓
失效分类
↓
局部修复或升级至架构层
↓
独立资格验证
↓
人工验收
↓
受控发布
↓
生产环境监控
这个试点范围明确、可测试、有用且可逆。它可以帮助组织先学会如何运行智能体流程,再将方法应用到风险更高的系统。
19. 学习系统的指标
有用的仪表板应将产出数量与开发质量区分开来。
生产指标
- 每个阶段耗时
- 迭代总数
- 智能体成本
- 人工评审时间
- 自动完成的任务比例
质量指标
- 测试通过率
- 缺陷严重程度
- 回归率
- 问题重新打开的比例
- 安全发现
- 可靠性
- 性能
- 无障碍评估结果
收敛指标
- 每轮发现的缺陷数
- 每轮新增的失效类别
- 重复问题所占比例
- 每轮修改规模
- 评审者分歧
- 架构变更频率
- 单位成本带来的改进
- 距离上一次实质性改进已过去的迭代轮数
产品指标
- 用户任务完成率
- 节省的时间
- 采用率
- 用户错误减少情况
- 满意度
- 支持请求
- 运营或业务影响
人工监督指标
- 升级频率
- 人工覆盖率
- 审批驳回率
- 仅由人发现的缺陷
- 人工介入的原因
- 与自主性过高相关的事故
目标不是不计代价地减少人工参与,而是在保持或提高质量、安全和实用性的前提下,减少不必要的人力投入。
20. 这一框架的独特之处
其中许多单独的元素早已存在:
- 敏捷开发
- 持续集成
- DevOps
- 测试驱动开发
- 代码评审
- AI 编程智能体
- 智能体编排
- 自动化评估
- 根因分析
这一框架的贡献,在于这些元素的组合方式。
它提出:
1. 将智能体开发视为迭代优化
软件并非一次生成,而是通过反复生产、评估和修正逐渐形成。
2. 将评审作为学习信号
评审提供结构化反馈,决定下一步应采取什么行动。
3. 明确定义收敛检测
系统衡量缺陷、回归、意见分歧和架构不稳定性是否在下降。
4. 进行分层修正
故障可能触发逐级提高层次的变更:
代码 → 组件 → 接口 → 计划 → 架构 → 目标
5. 从重复缺陷中学习
重复发生的故障不应被视作互不相关的工单,而应成为当前策略可能有误的证据。
6. 同时改进产品与流程
系统可以改进实现、测试策略、计划、架构、编排,最终甚至改进自身的智能体脚手架。
7. 在边界内由人监督
人定义目的、风险、政策并处理重大决策,无需亲自评审智能体的每一个细微操作。
这些内容结合起来,就把讨论从“AI 能写代码”推进到了一个更重要的问题:
我们能否设计一种生产系统,使它能够识别失败、在正确的层次上学习,并知道何时已经有足够证据可以停止?
结论
AI 赋能开发的未来,不太可能是某个智能体根据单条提示就生成完美应用。
更现实也更有力的前景,是一个受治理的系统,由多个专业智能体持续:
- 规划
- 构建
- 测试
- 评审
- 诊断
- 修复
- 重新审视
- 验证
- 学习
机器学习类比之所以有帮助,是因为它促使软件团队以目标、反馈信号、错误分析、实验历史、收敛、停滞和策略调整的角度思考。
但不应把这一类比当作字面等同。软件并非简单的统计模型,软件测试也无法与训练集和验证集完全对应。
它的贡献在于方法论:
智能体软件开发可以借鉴机器学习的运行纪律,同时不假装两个领域完全相同。
这种思路可以帮助软件开发者建立更完善的规格说明、评估和架构控制;也能帮助数据科学家把优化、实验和错误分析方法应用到软件生产中,并为双方治理自主性不断增强的开发系统提供共同语言。
最终目标不是为了自动化而追求全面自动化,而是更有效地划分责任:
人定义目的、优先级、约束和可接受风险;AI 智能体则执行其中大部分规划、构建、评估和修复工作,推动系统朝这些目标前进。
如果设计得当,软件开发或许会从一系列需要人工协调的任务,演变为一个持续的、以证据为驱动的学习系统。
参考资料
- Andrej Karpathy:《软件正在再次改变》
- 《AI 智能体编程:技术、挑战与机遇》
- SWE-agent 项目与代码库
- SWE-Gym:训练软件工程智能体与验证器
- 《自我进化的软件工程智能体》
- Salesforce AI Research:SAGE 项目介绍
- Google Developers:评估并约束编码智能体
- 关于 AI 编程助手与监督式工程的纵向研究