端侧 AI 正在变成设备栈问题

真正重要的不是 AI 上了手机，而是本地推理正在变成设备栈问题，因为质量、隐私、延迟和离线可用性，最后都取决于芯片、SDK 和动作接口能不能一起跑通。

Google 这次 Pixel / Tensor 的最新动作把这件事讲得很清楚。在 7 月 13 日的展示里，Google 说 Gemma 4 E2B for TPU 会原生运行在 Pixel 硬件上，离线能力包括 AI 对话、图像理解、转写、旅行规划、食谱建议，以及设备操作。Android Authority 的报道把意思说得更直接：Google 正在把 Pixel 的智能从云端搬到设备端，让请求可以在本地处理，即使没有网络也能继续工作。

这不只是隐私叙事，而是产品架构叙事。

过去几年，“端侧 AI”听起来像一个简单的部署选项：把更多数据留在手机上，减少来回请求，也顺便省一点推理成本。现在更清楚的信号是，手机本身正在变成控制平面。模型一旦本地运行，真正的约束就会转移到内存占用、散热、耗电、芯片支持、SDK 易用性，以及应用能不能在不频繁回云的情况下完成真正有用的动作。

这意味着，本地智能只有在整个栈都配合时才有价值。设备即使能跑一个小模型，如果动作层很弱，产品依然会显得空。用户不会因为手机上能跑转写模型就满意，除非它能顺手把结果送进备忘录、提醒事项、旅行规划或者设备控制里，而且交互不会卡顿。反过来说，本地助手即使很快，如果它只能做很窄的事情，或者每一步都要手工接力，体验也不会成立。

这里的核心机制，不只是“小模型更小了”，而是推理和动作之间的缝被压缩了。Google 把模型、TPU 和 Mobile Actions 绑在一起讲，就是因为真正赢的界面不再是聊天框，而是一个本地执行的工作流：接收信息、理解意图、做判断，然后直接触发设备上的动作，而不是先绕回服务器。

这会带来一个对开发者非常现实的二阶结果。做端侧 AI 时，你不再只是选一个模型接口，而是在选择：要为哪一档硬件做专门优化、弱设备如何优雅降级、多少行为必须重写成离线优先、多少能力要接受本地和云端混合。换句话说，端侧 AI 很快会重新变成移动平台工程，而不只是模型接入问题。

这也解释了为什么最近围绕模型选择和推理路由的变化仍然重要。把 AI Bills Are Becoming the Real Model Selection Test 读下去，你会发现成本问题已经变成“这类工作负载到底该用哪种模型”。而端侧 AI 是把这个判断继续往下压一层：不仅要问用哪种模型，还要问设备本身能不能承担本地执行的内存、延迟和电量代价。如果你想看更大的控制平面视角，Inference Is Becoming the Product Roadmap 依然是最清晰的框架。端侧 AI 只是这条路线被一路推到手机上。

还有一个常被低估的点：离线 AI 会改变用户对“可靠性”的定义。云端 AI 的失败通常是服务器或网络失败；设备端 AI 的失败，则是整个栈在真实约束下撑不住。于是判断标准不再只是“模型答得准不准”，而变成“用户在飞机上、地下室、门店里，或者隐私敏感场景中，手机还可不可信”。

这个标准比很多 demo 显示的更苛刻。一个本地助手可以在发布会里很惊艳，但如果耗电焦虑、机型支持碎片化、能力不一致，用户很快就会失去使用习惯。消费端如此，企业或现场服务场景更是如此，因为不稳定会直接打断部署。

更尖锐的判断是：端侧 AI 很可能会分化成两条路。第一条是高端硬件体验，芯片和模型被一起优化；第二条是局部本地助手，只负责窄任务，能力不够时再悄悄回云。最后真正赢的，不会是喊“隐私 AI”喊得最响的团队，而是能把整个栈做得足够连贯，让用户几乎感觉不到模型到底跑在哪儿的团队。

接下来值得观察的指标也很简单：开发者是否开始用“设备栈支持”而不是“模型新鲜感”来描述端侧 AI。只要讨论开始转向内存预算、离线动作可靠性、散热行为和 SDK 成熟度，端侧 AI 就已经从 demo 变成平台类别了。否则，它还只是演示故事。

内部链接

• AI Bills Are Becoming the Real Model Selection Test
• Inference Is Becoming the Product Roadmap
• 英文 companion: On-Device AI Is Becoming a Device Stack Problem

Read in English →