原帖引用 · AI 翻译
Rohan Paul@rohanpaul_ai
彭博社:微软决定不续签一份于2023年围绕必应签订的合同,正停用从甲骨文租用的AI服务器。
据知情人士称,这些算力的价值随着时间推移而下降,因为甲骨文的硬件使用较早一代的英伟达芯片,已不再符合微软的规格要求。
基本上,微软按GPU小时付费。功耗相近时,Blackwell GPU的推理输出量是H100的数倍,因此如今每个Hopper或Ampere GPU小时能完成的工作量少得多。
当前的前沿模型通常采用大型混合专家架构,需要大量内存以及GPU之间的高速连接。H100有80GB内存,在其所在服务器中只能与8个GPU高速通信。Blackwell机架将72个GPU连接成一个整体,每个GPU配备192至288GB内存。大型模型要么无法装入旧服务器,要么因跨服务器网络速度较慢而运行缓慢。
甲骨文表示,其AI基础设施需求依然强劲;9月,该公司以比原价高20%的价格续签了使用4年之久的GPU的合同。
· UTC+8