NVIDIA 在 CES 大会上揭晓了新一代 Vera Rubin AI 平台的详细技术信息。该平台正处于“全面生产”阶段,预计于今年下半年上市。
Rubin 平台通过跨越六款芯片的“极端协同设计”来实现性能飞跃,这六款芯片包括:NVIDIA Vera CPU、NVIDIA Rubin GPU、NVIDIA NVLink 6 交换机、NVIDIA ConnectX-9 SuperNIC、NVIDIA BlueField-4 DPU 以及 NVIDIA Spectrum-6 以太网交换机。这种协同设计旨在大幅缩短模型训练时间并降低推理令牌成本。
Rubin 平台专为应对日益普及的智能体式AI和推理模型而设计。这类应用需要模型处理、推理并执行极长的令牌序列,对计算能力提出了更高要求。该平台通过以下五大技术革新来应对挑战:
-
第六代 NVIDIA NVLink:为混合专家(MoE)模型提供必需的GPU间通信。单个GPU提供3.6TB/s的带宽,而Vera Rubin NVL72机架整体可提供高达260TB/s的带宽。NVLink 6交换机内置了面向集合通信的网络计算功能以及可维护性和弹性新特性,专为大规模AI训练和推理打造。
-
Vera CPU:专为智能体推理设计,据称是面向大规模AI工厂的最高能效CPU。它内置88个定制的NVIDIA Olympus内核,兼容Armv9.2架构,并配备了超高速的NVLink-C2C互连技术。
-
Rubin GPU:搭载第三代Transformer引擎,支持硬件加速的自适应压缩技术。Rubin GPU可为AI推理提供高达50 petaflops的NVFP4算力。
-
第三代NVIDIA 机密计算:Vera Rubin NVL72成为首个提供机密计算的机架级平台。该技术能够在CPU、GPU和NVLink域中全程维护数据安全。
-
第二代RAS引擎:该平台集成了健康检查、容错和主动维护功能。其模块化、无缆线的托盘设计使得组装和维护速度相比Blackwell平台提升了18倍。
此外,Rubin平台还引入了 NVIDIA 推理上下文内存存储平台。这是一种新型的AI原生存储基础设施,旨在将推理上下文扩展到千兆规模。该平台由BlueField-4 DPU驱动,支持在整个AI基础设施中共享和重用键值缓存数据,从而提升响应速度和吞吐量。
BlueField-4 DPU还引入了高级安全可信资源架构(ASTRA),一种系统级架构,为AI基础设施构建者提供了一个单一控制点,用以在不影响性能的前提下配置、隔离和运营大规模AI环境。
NVIDIA Vera Rubin NVL72 是一个集成系统,包含了72颗Rubin GPU、36颗Vera CPU、第六代NVLink、ConnectX-9 SuperNIC以及BlueField-4 DPU。NVIDIA还将提供 NVIDIA HGX Rubin NVL8 平台,这是一款通过NVLink连接八颗Rubin GPU的服务器主板,以支持基于x86架构的生成式AI平台。
NVIDIA DGX SuperPOD 将作为大规模部署Rubin系统的参考架构,可集成DGX Vera Rubin NVL72或DGX Rubin NVL8系统,并搭配BlueField-4 DPU、ConnectX-9 SuperNIC、InfiniBand网络以及NVIDIA Mission Control软件。FINISHED