Google 日前在官方博客中公布，他们扩展了第八代 TPU（张量处理单元）产品线，新增 TPU 8tx 与 TPU 8i Max 两套系统：前者面向安全机密推理，后者面向超大上下文窗口。今年 4 月 Google Cloud Next 上，Google 已推出面向大规模训练的 TPU 8t 和面向实时推理的 TPU 8i；TPU 8t 的训练性能较上一代最高提升 2.7 倍，TPU 8i 的推理性价比提升 80%。附带一提，Google一年内推出四款 TPU 系统，这还是第一次。
Google 十余年前为内部的语音识别与翻译需求设计了 TPU，如今用它训练和服务 Gemini 模型、承载智能体负载，也允许客户把 TPU 直接部署到自有数据中心；TPU 业务已有接近 100 家客户。Google 称，计算规模正从以人为单位转向以智能体为单位，企业需要能跨海量上下文窗口推理的加速器，部分强监管客户要求专用加密能力。芯片和系统不是一回事：芯片要在晶圆上排布数十亿晶体管，制造周期长达数年；系统则是把芯片周边的计算、网络与存储组合起来。Google 从第一代 TPU 起就采用模块化设计，数月内即可交付一套专用超算。
TPU 8tx 面向处理敏感数据的受监管企业与政府，也适合小规模训练。数据在存储和传输时加密，进入内存处理时仍须解密；Google 沿用了 TPU 8t 的硅片，为 8tx 配上第五代 AMD EPYC CPU 主机，并把安全做进硬件层，让敏感数据与模型权重即使在使用中也保持隔离。8tx 还沿用了为实时推理打造的 Boardfly 低延迟网络，它的延迟相比 TPU 8t 最多减半，性能损失几近为零。团队在同一套系统上就能用私有数据微调模型、蒸馏大模型、用强化学习训练智能体，不必在集群之间迁移敏感数据。
TPU 8i Max 用来突破内存墙。数十个智能体同时处理整个代码库或数小时视频时，内存带宽会先成为瓶颈。Google 把两颗低延迟 8i 芯片封进单个封装，让这套系统相对 8i 提供双倍算力、双倍 SRAM 和双倍 HBM 带宽；这套系统在原有单机架空间内装下两倍硅片，数据中心每平方英尺、每瓦因此能部署更多算力。
Google 上月开源了 TorchTPU，PyTorch 代码与 Hugging Face 模型因此能原生跑在 TPU 上，vLLM、SGLang 也拿到了开箱即用的 TPU 后端。Google 同期开源了 TPU Sync，它把芯片 HBM、主机 DRAM、共享存储与网络合成统一内存层级，毫秒级把大规模 KV cache 移出芯片，在分离式 prefill 与 decode 节点之间传递上下文，把 KV 传输延迟和首 token 时间（TTFT）降低 90% 以上。GKE dynamic slicing 也已在 Google Kubernetes Engine 上正式可用，它用光电路交换动态拼装或切分 TPU 拓扑，让作业启动最多提速 5 倍、故障恢复最多提速 4.5 倍。
