智能体安全正在变成运行时产品
关键不只是智能体可能出错，而是智能体安全正在变成运行时产品：权限、监控和响应速度，开始决定企业敢不敢部署。
关键不只是智能体可能出错，而是智能体安全正在变成运行时产品：权限、监控和响应速度，开始决定企业敢不敢部署。
Google DeepMind 今天发布了一份 AI Control Roadmap，讨论如何保护内部系统免受更强、更自主、但并不总是完全可靠的智能体影响。表面上看，这是一份安全路线图；更值得关注的市场信号是，DeepMind 正在把“智能体安全”从一句原则，拆成一套运行中的产品能力：威胁建模、沙箱、权限授予、监督模型、实时监控、人工升级、覆盖率、召回率和响应时间。
这对开发者和企业运营者的意义很直接。下一阶段的智能体竞争，不会只看哪个模型规划能力更强、代码写得更漂亮、工具调用更顺。真正能进入生产环境的智能体平台，必须让智能体的行为在执行过程中可观察、可中断、可约束，并且事后可追责。
DeepMind 的出发点有点不舒服，但很现实：如果一个能力很强的 AI 智能体并不完全符合操作者目标，甚至像内部威胁一样行动，系统应该如何处理？它的答案不是单靠“模型更安全”，而是把传统安全控制和 AI 特有控制叠加起来，并且在设计上假设智能体可能误解指令、过度执行、绕过监督，或者因为过于积极而造成损害。
这里的核心机制是运行时约束。对齐训练试图影响模型倾向于做什么；运行时约束则承认，即使模型整体有用，它在具体任务中仍可能越界。于是产品问题变成了几个非常具体的问题：智能体能碰什么？谁在看？危险动作能否在发生前被拦住？任务完成后留下了什么证据？
这比“AI 安全很重要”更有产品含义。DeepMind 提到，它已经构建内部原型，用来审查编码智能体的任务轨迹，并把可疑行为升级给人工复核。它还分析了约一百万个编码智能体任务，用来改进安全协议、寻找更高信号的行为模式。这个细节重要，因为智能体风险不是演示里的单次提示注入，而是大量小决策在文件、工单、凭证、数据表和生产系统之间不断累积。
容易被低估的取舍是：有用的智能体需要权限，安全的智能体需要边界。你越希望智能体完成真实工作，就越需要把工具、上下文、账户状态和不可逆操作暴露给它；但权限越大，事后人工复查越不够。DeepMind 明确区分了低风险、可逆动作和高风险动作：前者可以异步审查和补救，后者需要同步预防，在损害发生前拦截。
这个区分会改变团队选择智能体平台的标准。一个只能建议补丁的编码助手，和一个能修改文件、运行命令、迁移数据库、轮换凭证、打开 pull request 的编码智能体，不是同一种产品。一个只起草客服回复的智能体，和一个能退款、改账户、更新合同记录的智能体，也不是同一种产品。安全层必须跟动作层匹配。
对中国团队来说，这个问题尤其容易被包装成“流程审批”问题，但真正的难点不是多加一个审批按钮。很多组织已经有权限、合规、审计和审批制度；智能体带来的变化是，这些制度必须能在任务执行速度上生效。如果策略只能写在文档里，不能转化成权限范围、监控覆盖、拦截阈值、升级队列和回滚路径，它就很难约束一个正在调用工具的智能体。
这也意味着企业 AI 治理正在从制度层下沉到基础设施层。过去治理常常是供应商评估、使用规范、风险登记、员工培训；智能体控制要求治理直接编译进运行环境。哪些动作可逆？哪些动作必须人工确认？哪些日志足够形成证据？哪些监督模型可以信任？智能体什么时候可以获得更大权限？这些问题不能只由法务或安全部门单独回答，也不能只丢给业务负责人。
接下来值得观察的，是“智能体安全负责人”这个角色会不会变得更清晰。今天很多团队把责任分散在平台工程、安全、法务、应用负责人之间。等智能体开始接触真实系统，总要有人把动作分级、权限边界、监控指标、事故响应和上线门槛连在一起。没有这个角色，所谓“更智能体化”往往只是把风险拆散给不同团队承受。
当然，DeepMind 的路线图主要面向它自己的内部系统和更强能力的智能体。多数公司现在还没有让前沿智能体广泛接触生产系统。对许多场景而言，基础控制仍然更重要：最小权限凭证、隔离执行环境、明确人工确认、密钥扫描、测试隔离、可回滚变更。这不是忽视路线图的理由，反而说明它更适合作为成熟度模型，而不是一次性采购清单。
实际的产品设计启示是：在扩大智能体自治之前，先给动作分层。把每类动作放进清楚的等级：只读查询、可逆写入、高成本写入、特权系统变更、对外沟通、受监管决策、破坏性操作。然后为每个等级匹配控制方式：延迟复核、人工批准、自动监督、沙箱、速率限制、回滚路径或实时阻断。如果没有这张动作地图，“让智能体做更多事”只是把风险说得更含糊。
未来几个月，一个可验证的指标是，智能体平台是否开始公布控制平面指标，而不只是模型分数和演示视频。值得问的问题包括：多少任务流量被监控？对已知危险轨迹的召回率是多少？平均响应时间是多少？权限分级报告是否清楚？沙箱逃逸测试如何做？事故证据能否导出？如果供应商回答不了这些问题，它卖的仍然主要是模型能力，而不是可运营的智能体系统。
所以今天的信号很简单：智能体安全正在变成产品表面的一部分。赢家不会只是承诺更聪明的自治，而是能把自治变得可度量、可约束、可中断，让真实组织敢把重要工作交给它。
来源：Google DeepMind, "Securing the future of AI agents," 2026-06-18；Axios, "Google DeepMind prepares for rogue AI agents," 2026-06-18。