Original post · AI translation
Google 的 TPU 将首次在 Google 之外的超大规模云平台上运行;Oracle 将从 2027 日历年开始部署算力,并在此后数年逐步扩大规模。
Oracle 提供电力、冷却和数据中心网络,其 Acceleron 网络将 TPU 集群连接到 Oracle 数据库和存储,使企业能够在自身数据记录旁微调和提供模型服务,而无需跨云传输。
Google 声称,其第 8 代 TPU 每颗芯片可提供高达 12.6 PFLOPS 的 FP4 算力,在大规模训练任务中,集群超过 97% 的时间都在进行有效工作,并且在低延迟模型服务方面,每美元性能最高可提升 80%。
Google 表示,其开源 TorchTPU 软件栈可让现有 PyTorch 代码以及 vLLM 和 SGLang 等工具在 TPU 上运行,无需重写模型,从而降低将工作负载从 NVIDIA GPU 迁出的成本。
这笔交易将 Google 向自家云平台之外销售 TPU 的努力扩展到了一个直接与其竞争的超大规模云服务商;这一努力始于今年早些时候向较小规模的服务商销售 TPU。