信号：安全基准无处不在 每个主要AI实验室现在都发布安全报告。 Anthropic有宪法AI。 OpenAI有超级对齐。 谷歌有前沿安全。 信号很明确：AI安全正在通过严格的测试和基准"解决"。我们被告知，如果一个AI通过了足够的安全测试，它就是"对齐的"，可以部署了。 现实检查：基准测量的是容易的，不是危险的 这是一个令人不安的真相： 当前的安全基准就像给一个只在空停车场开过车的人做驾驶考试。 它们测试明显的失败，但错过了在现实世界部署中出现的复杂、新兴风险。 AI安全测试中的三个差距 1. "已知的未知"问题 基准测试我们已理解的风险： * AI会生成有害内容吗？ * 它会遵循基本指令吗？ * 它会避免明显偏见吗？ 但它们不测试我们尚未想象到的风险。最危险的AI失败将是我们没想到要测试的那些。 2. 能力-安全不匹配 随着AI能力呈指数级增长，安全测试呈线性增长。 我们正在用为GPT-3设计的基准测试GPT-4级模型。等到我们为今天的模型开发出测试时，它们已经过时了。 3. 部署差距

信号： 每家AI公司都在推出"智能体"产品——能够浏览网页、编写代码、预订航班或管理工作流程的自主系统。演示视频光鲜亮丽，功能看似神奇，叙事暗示我们正在进入真正自主AI助手的时代。 现实检查： 大多数AI智能体在生产环境中都会失败。不是偶尔失败——而是系统性失败。在受控环境中运行一次的演示与大规模可靠运行的智能体之间的差距是巨大的。以下是幕后实际发生的情况： 1. 可靠性差距 演示中的智能体在沙盒环境中运行，使用经过筛选的输入。生产环境中的智能体面临： * API故障： 每个外部服务调用都增加了一个故障点 * 速率限制： 真实API有演示环境绕过的节流限制 * 边缘情况： 用户会做出破坏智能体逻辑的不可预测行为 * 状态管理： 跨会话保持上下文仍然是一个未解决的问题 现实：对于非简单任务，大多数生产智能体的可靠性率低于70%。这意味着近三分之一的尝试完全失败或产生不可用的结果。 2. 成本爆炸 演示智能体通常运行在昂贵模型（GPT-4、Claude 3.5）上，具有长上下文窗口。在规模化时： * 令牌成本在智能体链式调用多个请求时会快速倍增 * 重试循环

信号： 每个主要的AI实验室都在竞相开发多模态推理——能够同时看、听和理解文本的模型。OpenAI的o1、Google的Gemini 2.0、Anthropic的Claude 3.5 Vision都承诺了一个未来：AI不仅处理文本，还能通过多种感官理解世界。这个愿景很吸引人：一个可以观看视频、转录音频、分析视觉内容并回答相关问题的人工智能。对开发者来说，这意味着构建感觉更像智能助手而非聊天机器人的应用程序。对企业来说，这意味着自动化那些以前需要人类眼睛和耳朵的工作流程。 现实检查： 多模态推理不仅仅是"文本加图像"。这是一个根本不同的计算挑战，伴随着三个隐藏成本： 1. 对齐成本： 让视觉、音频和文本表示在相同的潜在空间中对齐需要巨大的计算资源和精心的训练。今天的大多数多模态模型仍然是文本优先，视觉/音频是附加的——不是真正集成的推理系统。 2. 评估差距： 如何衡量"良好"的多模态推理？像MMLU这样的文本基准不适用。像ImageNet这样的视觉基准不捕捉推理能力。我们处在一个评估的荒野中，演示看起来很令人印象深刻，但系统性的测量几乎不可能。 3.

信号：专业模型正在赢得基准测试 本周，三个专业AI模型在行业基准测试中名列前茅： * MediCode-7B 在医疗诊断任务上超越了GPT-5 * FinGPT-13B 在金融预测上击败了Claude 3.5 * CodeGen-2B 在Python生成上匹配了CodeLlama-70B 与此同时，像GPT-5、Claude 4和Gemini 2.5这样的通用模型继续以它们在数百个任务上的"人类水平"表现占据头条。 信号似乎矛盾：专业模型在特定任务上表现出色，而通用模型声称能做所有事情。哪条路径会赢？ 现实检查：这不是关于赢——而是关于效率前沿 真实的故事不是哪种方法"更好"。而是关于效率前沿——每个用例在能力和成本之间的最优权衡。 专业模型在效率前沿上获胜，因为： 1. 更低的推理成本 – 为医疗问答微调的70亿参数模型成本是运行GPT-5的1/100 2. 更好的隐私

信号：上下文窗口正在爆炸式增长 OpenAI 刚刚宣布了 1000 万 tokens。 Anthropic 达到了 100 万。 Google 的 Gemini 可以处理 200 万。 标题令人难以抗拒："AI 现在可以一次性阅读整本书了！" "不再有上下文限制！" "无限记忆！" 信号很明确：上下文窗口越来越长，这应该能解决 AI 的记忆问题。 现实检查：更长的上下文 ≠ 更好的推理 以下是新闻稿中没人告诉你的： 更长的上下文窗口不会让模型变得更聪明。它们只是让模型以不同的方式遗忘。 当你给 AI 100 万 tokens 时，它并不会"平等地记住"所有内容。

AI can generate art, music, and writing that looks creative—but it's fundamentally different from human creativity. Here's why AI still can't truly create.

很多 AI 团队到现在还在用一种“demo 数学”在运转。 一个 prompt 恰好成功一次。 客户点头。 截图发出去。 然后大家默默假设：下周、换一批输入、加上延迟压力、上下文更脏更乱时，系统也会同样表现。 不会的。 信号（The signal） 真正拉开差距的，往往是一些很无聊的东西： 像生产环境一样的评估流水线（evaluation pipelines）。 不是一次性的 benchmark。 不是某个“黄金 prompt”。 不是英雄式 demo。 而是一条流水线。 这意味着你评估的东西要尽可能接近真实： * 代表性的任务（用户真的在做的工作） * 代表性的输入（丑陋、不完整、现实世界那种） * 代表性的约束（延迟、限流、上下文窗口、工具失败） * 以及一个你每天都能跑的评分系统 如果你的 eval 不能按计划定时运行，