谷歌为其第八代 TPU 产品组合新增了两款产品：TPU 8tx 和 TPU 8i Max。

谷歌将其描述为“TPU 系统”而不是芯片，该公司表示，这意味着它已经围绕其 TPU 8t（用于训练）和 TPU 8i（用于推理）重新配置了计算、网络、存储和封装，这两个产品于 2026 年 4 月首次发布。

“随着企业将自主代理投入生产，我们创建了这些基础系统的两种新配置，以解决两个紧迫的新挑战：硬件级数据安全和百万级令牌上下文规模，”谷歌首席技术专家兼人工智能和基础设施高级副总裁 Amin Vahdat 在一篇详细介绍新系统的博客文章中写道。

谷歌表示，TPU 8tx 采用与 TPU 8t 相同的硅芯片，并搭配定制的 AMD CPU 主机，针对“安全和保密推理”进行了优化，但也能支持小规模训练工作负载，因此最适合受监管的企业和政府运行前沿或专有模型以及自主代理，同时处理敏感数据。

传统上，加密数据在存储或通过网络发送时必须在内存中解锁才能进行处理，而 TPU 8tx“将安全性直接构建到硬件层中”，即使在积极使用时也能保护和隔离敏感数据和模型权重。

该系统还利用了谷歌的 Boardfly 网络，实现了实时推理，从而使 TPU 8tx 能够“保持多步骤代理的运行”，该公司声称，与 TPU 8t 相比，它可以将延迟降低 2 倍，而性能损失几乎为零。

最后，TPU 8tx 将允许组织在单个系统上同时运行和定制其模型，使团队能够使用其私有数据微调模型，将大型模型提炼成小型模型，并通过强化学习训练其代理，所有这些都无需在不同的集群之间迁移敏感数据。

与此同时，TPU 8i Max 的设计旨在解决被称为“内存墙”的问题——即处理器速度和内存带宽之间的差距。

谷歌表示，通过将两个 TPU 8i 芯片集成到单个封装中，TPU 8i Max“同步扩展了计算和内存”，其计算能力、SRAM 容量和 HBM 带宽均是 TPU 8i 的两倍，使处理器既能保持必要的数据容量，又能确保大型工作负载不会停滞。

此外，谷歌声称，由于 TPU 8i Max 在现有机架空间内可容纳两倍的硅片，因此数据中心每平方英尺和每瓦特可以部署更多的计算能力。

Vahdat 在他的博客文章中表示，谷歌第八代 TPU 产品组合中的四款产品共同为客户提供了“针对代理生命周期每个阶段的专用加速器”。

“尽管我们的第八代 TPU 中的四个系统能够灵活应对各种工作负载，但它们共同为客户提供了针对智能体生命周期每个阶段的专用加速器。TPU 8t 用于扩展训练，TPU 8i 用于低延迟推理，TPU 8tx 用于机密计算，而 TPU 8i Max 用于大规模上下文窗口和每个机架最高的计算密度。”

他补充道：“随着计算规模从人类转向智能体，企业需要能够跨越人工智能模型庞大上下文窗口进行推理的加速器。此外，一些受严格监管的客户还要求针对特殊工作负载提供专门的加密功能。”

“我们今天发布的新型TPU系统正是为了应对这一新形势。”

专为智能代理时代而打造的TPU

十多年前，我们最初设计 TPU 的初衷是为了满足谷歌内部的需求，例如语音识别和语言翻译。经过八代 TPU 的发展，其应用场景已呈爆炸式增长，涵盖以下方面：i) 训练和运行我们自己的 Gemini 模型；ii) 代理工作负载；iii) 在我们的云基础设施上为 Google Cloud 客户提供服务；以及最近新增的 iv) 允许客户将 TPU 直接部署到他们自己的数据中心。如今，TPU 业务正迅速发展，拥有近百家客户，其中包括前沿实验室、交易公司、零售商、大学等等。

在四月份的 Google Cloud Next 大会上，我们推出了同一系列的两款全新专用 TPU——8t 用于大规模训练，8i 用于实时推理。与上一代 TPU 相比，TPU 8t 和 8i 的训练性能分别提升了 2.7 倍，推理性价比提升了 80%。

今天，我们更进一步，为第八代 TPU 产品组合新增两款系统：TPU 8i Max，可处理海量上下文窗口，并实现机架内最高的计算密度；TPU 8tx，则专注于安全保密的推理。这是我们首次在一年内推出四款 TPU 系统。

虽然我们一直以来都与 Google DeepMind 合作设计 TPU，但现在我们越来越多地收到来自外部机构的反馈，了解他们的具体需求。随着计算规模从人类向智能体转变，企业需要能够跨越 AI 模型庞大上下文窗口进行推理的加速器。此外，一些受严格监管的客户还要求针对特定工作负载提供专门的加密功能。

我们今天发布的全新 TPU 系统正是为了应对这一新形势。结合我们近期发布的 PyTorch 相关内容，我们的目标是让每位开发者和云客户都能更轻松地使用 TPU。通过将模块化定制芯片与开放易用的软件栈相结合，我们能够以人工智能行业的速度交付全新的硬件和系统配置。

围绕芯片构建计算机

今天，我们将发布两款新的 TPU 系统——新芯片和新系统之间存在着重要的区别。

设计一款新芯片意味着要在硅晶圆上布局数十亿个微型晶体管，这需要耗时数年，并受到物理定律和复杂漫长的制造周期的限制。而系统则关乎如何将计算、网络和存储功能围绕芯片整合在一起。这包括如何将它们与芯片封装，以便快速满足不断变化的客户需求和研究应用场景。

十多年前，当我们构建第一台TPU时，我们就意识到人工智能软件的发展速度将远远超过硅芯片制造的速度。因此，我们从根本上着眼于系统平衡和模块化，将TPU设计成人工智能超级计算机的构建模块，以便工程师能够快速地围绕它们调整封装、高速内存、光网络和安全措施。这种方法使我们能够在数月而非数年内交付专用超级计算机。

专注于安全、高上下文人工智能

我们第八代TPU产品组合中的每个系统都针对人工智能生命周期中的不同阶段。

TPU 8t和TPU 8i奠定了这一代芯片的基准：

TPU 8t 被设计成一个强大的训练平台，用于构建庞大的基础模型，并实现最大的“有效输出”（即每瓦能量所产生的有用智能）。

TPU 8i 是推理引擎，旨在突破内存瓶颈，将芯片间通信延迟减少一半。

现在，随着企业将自主代理投入生产，我们创建了这些基础系统的两种新配置，以解决两个紧迫的新挑战：硬件级数据安全和百万级令牌上下文规模。

TPU 8tx

TPU 8tx 是我们第三代第八代系统，针对安全保密推理进行了优化，也非常适合小规模训练。它专为受监管的企业和政府机构而设计，用于运行前沿或专有模型以及自主代理，同时处理其最敏感的数据。

通常情况下，数据在存储或通过网络传输时会被加密，但在计算机处理数据时，必须在内存中解锁。TPU 8tx 与 TPU 8t 采用相同的芯片，并搭配第五代 AMD EPYC CPU 主机，将安全性直接构建在硬件层，即使在运行过程中也能保护和隔离敏感数据和模型权重。此外，TPU 8tx 采用了我们为实时推理开发的低延迟 Boardfly 网络，能够确保多步骤智能体流畅运行，与 TPU 8t 相比，延迟最多可降低 2 倍，而性能损失几乎为零。

将训练级计算能力与快速推理网络相结合，意味着组织可以在单个系统上同时运行和定制模型。TPU 8tx 使团队能够使用私有数据微调模型、将大型模型精简为小型模型，并通过强化学习训练智能体，所有这些都无需在不同的集群之间迁移敏感数据。

TPU 8i Max

我们的第四款系统 TPU 8i Max 是为了解决不同的问题而打造的：内存墙。

当数十个 AI 代理在整个软件代码库或数小时的视频中协同工作时，内存带宽很快就会成为瓶颈。因此，我们采用了两颗低延迟的 TPU 8i 芯片，并将它们集成到单个封装中。

TPU 8i Max 可同步扩展计算和内存容量，其计算能力、SRAM 和 HBM 带宽均比 TPU 8i 提升一倍，从而确保处理器始终拥有充足的关键数据，避免大型工作负载出现卡顿。此外，由于 TPU 8i Max 在现有机架空间内可容纳两倍的芯片容量，数据中心可以显著提升每平方英尺和每瓦的计算能力。

我们的第八代 TPU 包含四个系统，它们在各种工作负载下都能灵活应对，并为客户提供针对智能体生命周期各个阶段的专用加速器。TPU 8t 用于扩展训练，TPU 8i 用于低延迟推理，TPU 8tx 用于机密计算，而 TPU 8i Max 则用于处理海量上下文窗口并实现最高的机架计算密度。

向所有开发者开放 TPU

十多年前我们推出第一代 TPU 时，只有少数几家公司运行的工作负载需要 TPU 的处理能力。这些应用场景都很特殊，因此工程师们会使用优化的框架和手工调优的代码。

随着人工智能技术的进步，多年来，越来越多的公司开始使用加速器。如今，人工智能的普及程度已经达到TPU（线程处理单元）能够完美适用于各种公司和应用场景的阶段。因此，我们一直在系统性地努力消除TPU普及的障碍，力求使其像通用硬件一样易于使用。

今天，这项投资主要集中在以下几个关键领域：

向所有 PyTorch 开发者开放 TPU 开发，无需重写代码：上个月，我们开源了TorchTPU，因此 PyTorch 代码和 Hugging Face 模型现在可以在 TPU 上原生运行，同时还支持 vLLM 和 SGLang 等主流开源推理引擎的开箱即用型 TPU 后端。为了简化硬件优化，我们全新的开源TPU 代理套件（目前处于预览阶段）可直接集成到 Claude Code、Cursor 和 Google Antigravity 等编码工具中，只需几分钟即可自动完成 TPU 部署、诊断瓶颈，并使用纯文本语言自动调优自定义内核。对于生产环境部署，我们全新的开源XLA Serving Engine允许您使用 Python 训练模型，并将其直接部署到 TPU、GPU 和 CPU 上的低延迟 C++ 运行时环境中。

在 InferenceX 和 AgentX 基准测试中展现业界领先的生产性能：

在生产环境中，真正重要的是实际 AI 工作负载的测试结果，而非理论上的芯片峰值速度。在测试真实智能体编码和长上下文工作的行业标准 InferenceX 和 AgentX基准测试中，我们基于 TPU 的原生 vLLM-TorchTPU 软件栈实现了业界领先的性价比。最新的评估表明，这些优势同样适用于各种前沿开放模型和开源服务栈，同时保持了较高的模型精度。即将推出的针对同一硬件的软件优化将进一步提升这些性能。

消除自主代理的闲置计算资源浪费：由于人工智能代理是有状态的，它们经常会暂停数秒甚至数小时，等待数据库查询、外部软件工具响应或人工反馈。为了提高加速器在这些暂停期间的能效，我们全新的代理计算引擎软件会在几毫秒内自动暂停空闲的代理会话，并将工作内存转移到芯片之外，从而降低运维基础设施成本。

利用模型状态层 (TPU Sync) 突破内存瓶颈：围绕芯片构建计算机也意味着在软件层面统一内存、存储和网络。随着智能体在百万级令牌上下文和持续强化学习 (RL) 循环中进行推理，内存很快就会成为瓶颈。我们开源了TPU Sync，它是 TPU 集群的模型状态层。TPU Sync 将芯片 HBM、主机 DRAM、共享存储和数据中心网络整合为一个单一的、协同设计的内存层次结构——在毫秒级时间内自动将海量键值缓存分层部署到芯片外，在分散的预填充和解码节点之间传输上下文，并同步强化学习权重，从而将键值传输延迟和首令牌时间 (TTFT) 降低 90% 以上。

通过单个控制器在 TPU 上扩展分布式工作负载：Cloud Pathways现已在 Google Kubernetes Engine (GKE) 上正式发布，它将 Gemini 背后的 Google DeepMind 运行时带给每一位 Google Cloud 客户。借助单控制器架构和pathwaysutils，您可以像管理一台本地机器一样，在多个 TPU 切片上编排大规模 TPU 系统，用于预训练、强化学习和多主机推理。Cloud Pathways 通过托管的 Python sidecar、亚分钟级切片热插拔和弹性分片，确保长时间运行的作业在硬件中断期间也能持续运行。

利用 GKE 动态切片按需拼接自定义 TPU 拓扑：GKE 动态切片现已正式发布，它采用光路交换 (OCS) 技术，将物理硬件配置与逻辑切片形成解耦。通过动态地将 TPU 立方体组装成更大的拓扑（超级切片）或将其划分成更小、更独立的工作负载（子切片），此更新彻底消除了僵化的手动节点池重建周期。这种拓扑灵活性可将作业启动时间缩短至多 5 倍，并将故障恢复速度提高至多 4.5 倍，从而最大限度地提高所有 TPU 的整体集群利用率和工作负载吞吐量。

拥有十年经验的共同设计

只有当硅架构师、网络工程师、编译器团队和谷歌DeepMind研究人员并肩工作时，一年内交付四个TPU系统和一个统一的开放软件栈才有可能发生。

我们正越来越多地利用人工智能来构思和构建下一代人工智能基础设施。从使用谷歌DeepMind的AlphaChip强化学习系统，到使用Gemini在数小时而非数周内完成芯片布局，我们正在利用TPU驱动的人工智能服务来快速加速下一代TPU硬件的开发。这才是真正的协同设计，也是谷歌独有的优势。

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

END

今天是《半导体行业观察》为您分享的第4585期内容，欢迎关注。

★

★

★

★

★

★

★

★

加星标⭐️第一时间看推送~

求分享

求推荐