Nvidia与AMD新芯片，突破PCIe瓶颈

学过微处理器的同学可能还记得，最初的8086/8088处理器没有浮点单元。主板通常有一个额外的插槽，用于可选的8087 数学协处理器。数学协处理器进入了 CPU 本身，如今，CPU 没有可选的数学协处理器。 然而，SIMD处理器（例如GPU）有多种选择。众所周知，GPU 可以比 CPU 主机更快地加速数学处理（例如矩阵运算）。 随着Nvidia GH-200 处理器 和AMD MI300A APU的推出，市场正在见证“8087 时刻”——即 CPU 吸收外部性能硬件。Nvidia 和 AMD 都已将 GPU 纳入处理器中，其结果是 HPC 性能大幅跃升，并预示着未来的发展。

再见 PCI

AMD 和 Nvidia 的 GPU 都依赖 PCI 总线与 CPU 进行通信。CPU 和 GPU 有两个不同的内存域，数据必须通过 PCI 接口从 CPU 域移动到 GPU 域（并返回）。 使用第 5 代 PCIe 总线中全部 16 个通道的 GPU 的最大带宽约为 63GB/s。此瓶颈将限制 CPU 和 GPU 之间的内存移动。 Nvidia GH200 通过 900 GB/s 双向 NVLink-C2C 连接 Grace CPU 和 Hooper GPU。结果大约快了 14 倍。此外，GH200 还带来了单一共享 CPU-GPU 内存域的优势。无需通过 PCI 总线在 CPU 和 GPU 之间移动数据。如图 1 所示，CPU 和 GPU 对所有内存具有一致的视图。CPU内存高达480GB LPDDR5X（带ECC），GPU具有96GB HBM3或144GB HBM3e。总的相干（单域）内存在 576GB 到 624GB 之间。

当前的 AMD Instinct MI300A APU 中采用单一内存域，具有 128 GB HBM3 内存，使用 Infinity Fabric 在 CPU 和 GPU 之间一致共享，封装峰值吞吐量为 5.3 TB/s 。虽然 MI300A 目前不支持像 GH200 那样额外的 DDR 内存扩展，但CXL是一个值得将来记住的词。 对于 GH200 和 MI300A，关键的突出短语是“呈现单个存储域”。在传统的CPU-PCIe-GPU组合中，GPU内存量通常小于CPU内存，数据必须通过PCIe接口进行混洗。这两个新设计消除了这个瓶颈。单个大内存域一直对 HPC 有吸引力，而 GenAI 的增长加速了这种需求（即，能够在内存中加载大型模型并使用 GPU 运行它们）。对于传统 GPU，GPU 内存量限制了模型大小，需要采用分布式 GPU 方法。（注：GH200 可以通过外部 NVLink 连接，创建海量统一内存；例如，Nvidia-AWS NLV32可以提供高达 20 TB 的统一内存。）

离你的桌面并不远

威廉希尔官方网站 领域明显的趋势之一是从昂贵的新威廉希尔官方网站 市场转向低成本的大宗商品市场。高性能计算也不例外。随着市场需求，从多核到高级内存的一切都已从高端转移到“手机”。迁移到单个内存域就是这些变化之一。 最近，在 Linux 基准测试网站Phoronix上，杰出的测试员Michael Larabel在 GH200 工作站上运行了 HPC 基准测试。该系统由德国的GPTshop.ai提供。 据了解，系统塔式机箱配备 GH200 Grace Hopper Superchip，配备 576G 内存、双 2000+ W 电源、QCT 主板以及多种配置选项，包括 SSD 和 NVIDIA Bluefield/Connect-X 适配器。一项有趣且有用的功能是TDP可以从 450W 编程到 1000W（CPU + GPU + 内存），这在非数据中心环境中应该很有用。另外，默认风冷噪音据称为25分贝。液体冷却也是一种选择。 然而，桌面超级工作站并不便宜。目前可用的型号 GH200 576GB起价为 47,500 欧元（根据 Phoronix 的说法，由于在欧盟以外地区运输时无需缴纳 19% 的增值税，因此该价格相当于 41,000 美元） 这个价格可能看起来很高，但考虑到具有 80 GB HBM2e 内存的 Nvidia H100 PCIe GPU 目前的市场价格在 3 万美元到 3.5 万美元之间。这不包括为 GPU 供电和运行的主机系统。此外，用户还受到 80GB GPU 内存的限制，该内存通过 PCIe 总线与主内存域分开。 GPTshop工作站提供576GB的单域内存。HPC 和 GenAI 用户会发现这半 TB 的 CPU-GPU 内存很有吸引力。

初步基准

借助 GPTshop，Phoronix 能够远程运行多个基准测试。基准应被视为初步的，而不是最终的绩效衡量标准。特别是，基准测试仅针对 CPU，没有使用 Hopper A100 GPU。因此，基准图是不完整的。Phoronix 计划在未来测试基于 GPU 的应用程序。 据 Phoronix 称，Ubuntu 23.10 与 Linux 6.5 一起使用 GCC-13 作为标准编译器。使用类似的环境来测试可比较的处理器，包括 Intel Xeon Scalable、AMD EPYC 和 Ampere Altra Max 处理器。完整的列表可以在Phoronix 网站上找到。 此外，没有可用于基准测试运行的功耗数据。据 Phoronix 称，NVIDIA GH200 目前似乎没有在 Linux 下公开任何 RAPL/PowerCap/HWMON 接口，仅用于读取 GH200 的功率/能源使用情况。系统上的BMC确实通过Web界面暴露了整个系统的功耗，并且功率数据没有通过IPMI暴露。 尽管存在这些限制，一些重要的基准测试还是首次在 Nvidia 之外的 GH200 上运行。

好奥莱 HPCG

Phoronix 报告的第一个测试是标准HPCG内存带宽基准测试，如图 2 所示。

可以看出，GH200 Arm 的性能达到了可观的 42 GFLOPS，略高于 Xeon Platinum 8380 2P（40 GFLOPS），略低于 EPYC 9654 Genoa 2P（44 GFLOPS）。另外值得注意的是 72 核 Arm Grace CPU，其性能几乎是 Ampere Altra Max 128 核 Arm 处理器的两倍。 GH200 在其他基准测试中表现良好。最令人印象深刻的结果如图 3 所示。使用 72 核 Arm GH200 的NWChem(C240-Bucky Ball) 运行时间为 1404 秒，仅落后于领先者 128 核 Epyc 9554 (2p)，成绩为 1323 秒。

即将发生的事情

Nvidia GH200 和 AMD MI300A 引入了新的处理器架构。与吸收 8087 数学协处理器类似，高端 CPU 也开始吸收 GPU（或 SIMD 处理单元）。然而，这个想法并不是全新的。自 2011 年以来，AMD 已将中等 GPU 集成到其台式机/笔记本电脑APU 处理器中。虽然这些高端处理器可能被认为是“专用”的，因此价格昂贵，但随着时间的推移，对 GenAI 的巨大兴趣可能会将这些设计推向商品价格点。随着更多基准的出现，这个故事将继续发展。 此外，引入具有足够内存的个人高性能工作站，可以在您的办公桌旁运行一些最大的法学硕士，这是一个重要的里程碑。更不用说运行许多大内存 GPU 优化的 HPC 应用程序的能力了。数据中心和云仍将是当今的主力，但必须要说的是“拥有重置按钮”。

审核编辑：黄飞