AI

Artificial intelligence and machine learning.
AI Signals and Reality Checks

推理正成为路由问题

推理正在变成一个路由问题 重点不在于 AI 实验室和云厂商正在寻找 Nvidia 的替代方案;重点在于,推理正在变成一个工作负载路由问题,因为内存带宽、功耗边界、封装产能、延迟目标和软件支持,正在决定哪些模型调用在经济上可行。 最新信号不是某一个单独公告,而是一组信号同时出现。5 月 21 日,AMD 宣布将在台湾产业生态投入超过 100 亿美元,用于扩大策略合作伙伴关系,并提升面向 AI 基础设施的先进封装产能,其中包括 Helios 机架级平台和 Instinct MI450X 的部署计划。同一天,AMD 还宣布下一代 EPYC “Venice” CPU 已经在台积电 2 纳米制程上进入量产爬坡,并明确把 CPU 描述为 AI 数据移动、网络、存储、安全和系统编排的协调层。
7 min read