Anthropic 打开评测之门，但独立 AI 保障仍需接受测试
Anthropic 让 METR 研究人员获得类似员工的访问权限，这是一次重要的治理实验，但还不是独立保障有效的证明。
10 月 15 日，Anthropic 宣布开始让 METR 的 6 名研究人员获得类似员工的系统访问权限，用于评估模型、安全实践和风险管理。这个动作改变了 AI 评测的场景：外部团队不再只是拿到一个模型和一组基准题，而是可以更近距离地观察模型背后的组织、流程和控制措施。
真正重要的不是 Anthropic 是否把评估人员请进了内部，而是评估人员能否保持独立、看到真正重要的失败模式，并让结果改变决策。 这项安排是有意义的保障实验，但现有证据还不足以证明嵌入式评测已经解决了访问权限与独立性之间的冲突。
场景正在变化
Anthropic 表示，METR 将获得类似员工的访问权限；公司此前承诺加强独立的第三方评估，也签署了有关超级智能的白宫协议。Anthropic 还说，正在与包括 Hugging Face 在内的其他组织进行早期讨论。关键变化在于操作层面：评估开始接近内部工具、流程和风险决策，而不是停留在公开 API 测试。
这很重要，因为公开基准通常只观察一个狭窄结果：分数、拒答，或一次任务轨迹。它未必能显示模型为何被选中发布、哪些缓解措施被放弃、事故如何分级，以及外部人员看不到哪些内部证据。更多访问权限可能扩大观察样本，但也会让评估更依赖提供权限的公司。
METR 的公开网站说明，它评估前沿模型，并曾获得 Anthropic、OpenAI 和 xAI 等公司的访问权限与额度。这是必要背景，却不是对这次安排的结论。METR 的评测工作、Anthropic 的公告以及相关报道证明的是“实验已经开始”，不是“实验已经有效”。
证据卡
本期不形成结论。原始来源证明外部评估实验已经开始，但仍缺少公开评估协议、访问边界、发表权政策，以及能够改变控制措施的可复现结果。
证据支持什么，又没有支持什么
目前证据支持三个克制的判断。第一，Anthropic 公开承诺建立外部评估流程。第二，这个流程的目标是提供比普通 API 测试更深的内部可见性。第三，评估范围不仅是模型输出，还包括安全实践。
但证据还没有证明：METR 能否自由选择问题；在出现不利发现后能否继续访问；能否不经公司延迟或否决就发布；能否与有意义的基线比较；以及它是否看到了足够多的生产系统来估计真实风险。这些不是行政细节，而是把“独立”从一个标签变成可测量属性的机制。
因此，本文不对这项安排是否真正独立下结论。缺少的证据包括公开的评估协议、访问边界、发表权政策，以及至少一个能把外部发现连接到发布、缓解措施或运营决策变化的结果。在这些材料出现以前，信心只能建立在机构声誉和公告措辞上。
当前的分歧也不是 Anthropic 与 METR 已经在某项技术结果上发生争论，而是一个带有激励因素的预测问题。Anthropic 需要证明自己负责任，同时保护安全信息、机密和商业灵活性。METR 需要维护可信度，同时又依赖前沿实验室的合作。这些激励不等于任何一方不诚实，却说明治理需要可观察的规则。
首席数据科学家复核
今天真正被观察到的变量是“获得了访问权限”，而不是“安全性提高了”。假设中的因果链是：更深的访问 → 发现更多威胁 → 更强的缓解 → 更低的剩余风险。每一箭头都需要测量。
第一条基线应是 METR 或其他评估者在普通公开访问条件下发现什么；第二条是额外内部访问带来了什么。比较需要明确时间范围和分母：高严重性发现数量、可复现率、从发现到缓解的时间，以及多少发现真正改变了发布或控制。若公司只开放已经准备好接受检查的系统，就会产生选择偏差；若只摘要展示已公开的发现，却不记录未解决或被拒绝的测试，就会产生报告偏差。
未来 30–90 天应观察三项指标（观察指标）：评估者是否发布方法和局限；外部发现是否带来有记录的变化；同一评测能否在不同模型版本上重复。团队可以建立一个简单仪表板，记录发现严重性、缓解耗时、未解决发现，以及被要求但未执行的测试。可执行实验是每次缓解前后运行同一组回归测试。成功阈值是：至少一个可独立复现的发现改变了控制措施或发布决策。如果只得到高层赞扬、看不到被拒绝的测试，或没有结果能够复现，就应暂停“保障已成立”的说法并修改流程。
建设者现在该做什么：具体行动
不要等到完美的外部审计市场出现。任何准备进入生产环境的智能体或模型，都可以先建立内部对应物：一个能读取运行轨迹的红队，一条书面化且不可被单方否决的升级路径，一组固定回归测试，以及一份记录“提出但没有执行的测试”的清单。每个重要发现都要关联到决策、负责人、截止日期和缓解后的测量结果。
这样，Anthropic 的公告就会变成一个适用于你自己团队的问题：下一位评估者进入系统时，能否看到足够多的证据来提出异议？提出异议之后，系统能否显示哪些地方真的改变了？在方法、发现和控制变化都可见之前，独立评估仍是一种有前景的运营设计，而不是已经验证的安全结果。
来源：Anthropic：独立评估者更新；METR；Microsoft Research 与 CMU：AI 智能体评估活动；WisdomChain：智能体交易证据账本；WisdomChain：AI 效率范式