0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

CXL深入探讨:可组合服务器架构和异构计算的未来

SDNLAB 来源:SDNLAB 2023-04-27 11:09 次阅读

二十年前,英特尔开创了PCIe(PCI Express)威廉希尔官方网站 ,但存储成本不断增加、数据爆炸式增长、计算和带宽开始失衡,PCIe逐渐乏力。2019年,英特尔又提出一种开放性互联协议——Compute Express Link(CXL),能够让CPUGPUFPGA或其他加速器之间实现高速高效的互联,从而满足高性能异构计算的要求。

在异构计算大行其道的当下,CXL标准被提出之后,迅速成为服务器市场热捧的发展趋势之一。

为什么需要新型互连?

数据的爆炸式增长促使计算行业开始突破性的架构转变,从根本上改变数据中心的性能、效率和成本。为了继续提高性能,服务器正越来越多地转向异构计算架构。在特定任务中,专用ASIC可以使用更少的晶体管提供超过10倍的性能。

服务器内的芯片连接通常是用 PCIe 完成的,该标准最大的缺点是缺乏高速缓存一致性和内存一致性。从性能和软件的角度来看,使用 PCIe,不同设备之间通信的开销相对较高。此外,连接多台服务器通常意味着使用以太网或InfiniBand,这些通信方法存在着相同的问题,具有高延迟和低带宽。

2010 年代中期,CCIX协议成为了潜在的行业标准,得到了AMD、Xilinx、华为、Arm 和 Ampere Computing 的支持,但它缺乏足够的行业支持,并未发展起来。

2018 年,IBM 和 Nvidia 带来了解决PCIe与NVLink缺陷的解决方案,应用在当时世界上最快的超级计算机Summit上。AMD在Frontier超级计算机中也有类似的专有解决方案,名为Infinity Fabric。但可以预想到,没有任何的行业生态系统可以围绕这些专有协议而发展。

之后,英特尔制定了自己的标准,并于 2019 年将其专有规范作为CXL1.0 捐赠给了新成立的 CXL 联盟。该标准得到了半导体行业大多数买家的支持。

基于业界大多数参与者的支持,CXL 使向异构计算的过渡成为可能。

CXL 简介:什么是 Compute Express Link?

CXL是一种开放式行业标准互连,可在主机处理器与加速器、内存缓冲区和智能 I/O 设备等设备之间提供高带宽、低延迟连接,从而满足高性能异构计算的要求,并且其维护CPU内存空间和连接设备内存之间的一致性。CXL优势主要体现在极高兼容性和内存一致性两方面上。

CXL 联盟已经确定了将采用新互连的三类主要设备:

#

类型 1 设备

智能网卡等加速器通常缺少本地内存。通过 CXL,这些设备可以与主机处理器的 DDR 内存进行通信。

#

类型 2 设备

GPU、ASIC 和 FPGA 都配备了 DDR 或 HBM 内存,并且可以使用 CXL 使主机处理器的内存在本地可供加速器使用,并使加速器的内存在本地可供 CPU 使用。它们还位于同一个缓存一致域中,有助于提升异构工作负载。

#

类型 3 设备

可以通过 CXL 连接内存设备,为主机处理器提供额外的带宽和容量。内存的类型独立于主机的主内存。

CXL 协议和标准

CXL 标准通过三种协议支持各种用例:CXL.io、CXL.cache 和 CXL.memory。

#

CXL.io

该协议在功能上等同于 PCIe 协议,利用了 PCIe 的广泛行业采用和熟悉度。作为基础通信协议,CXL.io 用途广泛。

#

CXL.cache

该协议专为更具体的应用程序而设计,使加速器能够有效地访问和缓存主机内存以优化性能。

#

CXL.memory

该协议使主机(例如处理器)能够使用load/store命令访问设备附加的内存。

这三个协议共同促进了计算设备(例如 CPU 主机和 AI 加速器)之间内存资源的一致共享。从本质上讲,通过共享内存实现通信简化了编程。用于设备和主机互连的协议如下:

类型 1 设备:CXL.io + CXL.cache

类型 2 设备:CXL.io + CXL.cache + CXL.memory

类型 3 设备:CXL.io + CXL.memory

81ecbfec-e49d-11ed-ab56-dac502259ad0.png

| 代表的CXL用例

CXL 的特点和优势

前面我们主要讨论的是异构计算,CXL 还可以有效解决内存墙和IO墙的瓶颈。

82001d9e-e49d-11ed-ab56-dac502259ad0.png

数据中心存在着严重的内存问题。自 2012 年以来,核心数量迅速增长,但每个核心的内存带宽和容量并没有相应增加,内存带宽反而有所下降,并且这种趋势还在持续。此外,直连 DRAM 和 SSD 之间在延迟和成本方面存在巨大差距。

最后还有一个致命的问题,昂贵的内存资源往往利用率很低。对于资本密集型行业来说,低利用率是一个重大问题,而数据中心业务是世界上资本密集程度最高的行业之一。

微软表示,服务器总成本的 50% 来自 DRAM,成本巨大。尽管如此,还有高达25% 的 DRAM 内存被闲置了!简单来说,微软 Azure 的服务器总成本中有 12.5% 是闲置的。

想象一下,如果这个内存可以驻留在连接的网络上并跨多个 CPU 和服务器动态分配给 VM。内存带宽可以根据工作负载的需求增加或减少,这将大大提高利用率。

820f4044-e49d-11ed-ab56-dac502259ad0.png

总的来说,CXL 的内存缓存一致性允许在 CPU 和加速器之间共享内存资源。CXL 还支持部署新的内存层,可以弥合主内存和 SSD 存储之间的延迟差距。这些新的内存层将增加带宽、容量、提高效率并降低TCO (总拥有成本)。此外,CXL 内存扩展功能可在当今服务器中的直连 DIMM 插槽之上实现额外的容量和带宽。

通过 CXL 连接设备可以向 CPU 主机处理器添加更多内存。当与持久内存配对时,低延迟 CXL 链路允许 CPU 主机将此额外内存与 DRAM 内存结合使用。大容量工作负载的性能取决于大内存容量,例如 AI。而这些是大多数企业和数据中心运营商正在投资的工作负载类型,因此,CXL 的优势显而易见。

CXL与 PCIe:这两者有什么关系?

CXL 建立在PCIe的物理和电气接口之上,通过协议建立了一致性、简化了软件堆栈,并保持与现有标准的兼容性。具体来说,CXL 利用 PCIe 5 特性,允许备用协议使用物理 PCIe 层。

CXL引入了Flex Bus端口,可以灵活的根据链路层协商决定是采用PCIe协议还是CXL协议。CXL具有较高的兼容性,更容易被现有支持PCIe端口的处理器(绝大部分的通用CPU、GPU 和 FPGA)所接纳,因此,英特尔将CXL视为在PCIe物理层之上运行的一种可选协议,并且英特尔还计划在第六代PCIe标准上大力推进CXL的采用。

当支持 CXL 的加速器插入 x16 插槽时,设备以默认的PCIe 1.0传输速率(2.5 GT/s)与主机处理器端口协商。只有双方都支持 CXL,CXL 交易协议才会被激活。否则,它们将作为 PCIe 设备运行。

CXL 1.1 和 2.0 使用 PCIe 5.0 物理层,允许通过 16 通道链路在每个方向上以 32 GT/s 或高达 64 GB/s 的速度传输数据。

CXL 3.0 使用 PCIe 6.0 物理层将数据传输扩展到 64 GT/s,支持通过 x16 链路进行高达 128 GB/s 的双向通信。

CXL 2.0 和 3.0 有什么新功能?

作为一项新兴威廉希尔官方网站 ,CXL发展非常迅速,过去几年时间CXL已经发布了1.0/1.1、2.0、3.0三个不同的版本,并且有着非常清晰的威廉希尔官方网站 发展路线图。

8226ce30-e49d-11ed-ab56-dac502259ad0.png

CXL 3.0是2022年8月份发布的新标准,在许多方面都进行了较大的革新。CXL3.0建立在PCI-Express 6.0之上(CXL1.0/1.1和2.0版本建立在PCIe5.0之上),其带宽提升了两倍,并且其将一些复杂的标准设计简单化,确保了易用性。

8233d35a-e49d-11ed-ab56-dac502259ad0.png

内存池

CXL 2.0 支持切换以启用内存池。使用 CXL 2.0 交换机,主机可以访问池中的一个或多个设备。主机必须支持 CXL 2.0 才能利用此功能,但内存设备可以是支持 CXL 1.0、1.1 和 2.0 的硬件的组合。在 1.0/1.1 中,设备被限制为一次只能由一台主机访问的单个逻辑设备。然而,一个 2.0 级别的设备可以被划分为多个逻辑设备,允许多达 16 台主机同时访问内存的不同部分。

例如,主机 1 (H1) 可以使用设备 1 (D1) 中一半的内存和设备 2 (D2) 中四分之一的内存,以将其工作负载的内存需求与内存池中的可用容量完美匹配。设备 D1 和 D2 中的剩余容量可由一台或多台其他主机使用,最多可达 16 台。设备 D3 和 D4 分别启用了 CXL 1.0 和 1.1,一次只能由一台主机使用。

824f4b62-e49d-11ed-ab56-dac502259ad0.png

| 直连的CXL内存池

CXL 3.0 引入了点对点的直接内存访问和对内存池的增强,其中多个主机可以在CXL 3.0设备上一致地共享内存空间。这些特性支持新的使用模型并提高数据中心架构的灵活性。

8260a312-e49d-11ed-ab56-dac502259ad0.png

Switching

通过转向 CXL 2.0 直连架构,数据中心可以获得主内存扩展的性能优势,以及池内存的效率和TCO 优势。假设所有主机和设备都支持 CXL 2.0,那么“switching”将通过 CXL 内存池芯片中的交叉开关集成到内存设备中,这样可以保持较低的延迟。通过低延迟直接连接,附加的内存设备可以使用 DDR DRAM 来扩展主机主内存。

CXL 3.0 引入了多级交换,允许单个交换机驻留在主机和设备之间,并允许多级交换机实现多层级交换,对网络拓扑种类和复杂性有更好的支持。即便只有两层交换机,CXL 3.0也能够实现非树状拓扑,比如环形、网状或者其他结构,对节点中的主机或设备没有任何限制。

826ebb96-e49d-11ed-ab56-dac502259ad0.png

按需内存

与拼车类似,CXL 2.0 和 3.0 在“按需”的基础上为主机分配内存,从而提供更高的内存利用率和效率。该架构提供了为工作负载配置服务器主内存的选项,能够在需要时访问内存池以处理高容量工作负载。

CXL 内存池模型可以支持向服务器分解和可组合性的转变。在此范例中,可以按需组合离散的计算、内存和存储单元,以有效地满足任何工作负载的需求。

完整性和数据加密 (IDE)

分解或分离服务器架构的组件增加了攻击面,这也是为什么 CXL 包含了安全设计方法。具体来说,所有三个 CXL 协议都通过完整性和数据加密 (IDE) 来保护,IDE 提供机密性、完整性和重放保护。IDE 在 CXL 主机和设备芯片中实例化的硬件级安全协议引擎中实现,以满足 CXL 的高速数据速率要求,而不会增加额外的延迟。需要注意的是,CXL 芯片和系统本身需要防止篡改和网络攻击的保护措施。

信令扩展到 64 GT/s

CXL 3.0 对标准的数据速率进行了阶梯式的提高。如前所述,CXL 1.1 和 2.0 在其物理层使用 PCIe 5.0 电气:32 GT/s 的 NRZ 信号。使用 PAM4 信号将 CXL 3.0 数据速率提高到 64 GT/s。

CXL标准诞生并不久,据透露,支持 CXL 的英特尔、AMD 的新一代 CPU 正在部署中,预计将在今年下半年增加。这意味着 CXL 部署将在年底开始,并在 2024 年扩大规模。总的来说,CXL协议的出现解决了CPU和设备之间的数据传输问题,提高了应用程序的性能、降低延迟、提供更高的数据传输速率。随着不断发展和普及,CXL协议的将成为数据中心和高性能计算领域的一个重要趋势。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 加速器
    +关注

    关注

    2

    文章

    799

    浏览量

    37853
  • 服务器
    +关注

    关注

    12

    文章

    9138

    浏览量

    85365
  • 架构
    +关注

    关注

    1

    文章

    513

    浏览量

    25468

原文标题:CXL 深入探讨:可组合服务器架构和异构计算的未来

文章出处:【微信号:SDNLAB,微信公众号:SDNLAB】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【一文看懂】什么是异构计算

    随着人工智能、深度学习、大数据处理等威廉希尔官方网站 的快速发展,计算需求的复杂性不断提升。传统的单一计算架构已难以满足高效处理复杂任务的要求,异构计算因此应运而生,成为现代
    的头像 发表于 12-04 01:06 1363次阅读
    【一文看懂】什么是<b class='flag-5'>异构计算</b>?

    异构计算的前世今生

    ,无论是神经网络处理还是图像处理。   异构计算的存在可以说创造了另一个维度,这个维度上我们又有了堆性能的空间,小至手机SoC、汽车芯片,大到服务器芯片和超算处理
    的头像 发表于 12-17 09:35 4342次阅读

    【产品活动】阿里云GPU云服务器年付5折!阿里云异构计算助推行业发展!

    摘要: 阿里云GPU云服务器全力支持AI生态发展,进一步普惠开发者红利,本周将会推出针对异构计算GPU实例GN5年付5折的优惠活动,希望能够打造良好的AI生态环境,帮助更多的人工智能企业以及项目顺利
    发表于 12-26 11:22

    异构计算在人工智能什么作用?

    对美味佳肴不断快速变化的需求。POWER9:CPU+加速的完美组合CPU和加速的协作的好例子是用IBM POWER9 处理的新一代服务器
    发表于 08-07 08:39

    什么是异构并行计算

    先了解什么是异构并行计算同构计算是使用相同类型指令集和体系架构计算单元组成系统的计算方式。而
    发表于 07-19 08:27

    异构计算的前世今生

    ,无论是神经网络处理还是图像处理异构计算的存在可以说创造了另一个维度,这个维度上我们又有了堆性能的空间,小至手机SoC、汽车芯片,大到服务器芯片和超算处理
    发表于 12-26 08:00

    异构计算场景下构建可信执行环境

    令集、不同功能的算力单元,组合起来形成一个混合的计算系统,使其具有更强大、更高效的功能。如何在异构计算场景下构建可信执行环境呢?华为可信计算首席科学家、IEEE硬件安全与可信专委会联席
    发表于 08-15 17:35

    MAX17007A, MAX17008 可组合的、双通道、Q

    MAX17007A, MAX17008 可组合的、双通道、Quick-PWM图形核控制,用于笔记本电脑 MAX17007A/MAX17008是可组合的、双通道、Quick-PWM™图形核控制
    发表于 03-31 09:47 514次阅读

    通用可组合的RFID搜索协议

    为了解决对 无线射频识别 (RFID)标签的安全搜索问题,对RFID搜索协议的安全需求进行了分析.基于通用可组合模型,提出了RFID搜索理想函数.利用伪随机函数原语
    发表于 07-15 16:39 37次下载

    通用可组合的群签名协议

    目前群签名协议大多只局限于单个协议执行的安全性,在多协议环境下安全性减弱。为此,研究通用可组合模型框架下的群签名在多个协议并发执行时的安全性。由于在通用可组合的模型框架下可以模块化地分析协议,因此
    发表于 02-24 14:57 0次下载

    基于FPGA的异构计算是趋势

    目前处于AI大爆发时期,异构计算的选择主要在FPGA和GPU之间。尽管目前异构计算使用最多的是利用GPU来加速,FPGA作为一种高性能、低功耗的可编程芯片,在处理海量数据时,FPGA计算效率更高,优势更为突出,尤其在大量
    的头像 发表于 04-25 09:17 1.1w次阅读

    异构计算的两大派别 为什么需要异构计算

    20世纪80年代,异构计算威廉希尔官方网站 就已经诞生了。所谓的异构,就是CPU、DSP、GPU、ASIC、协处理、FPGA等各种计算单元、使用不同的类型指令集、不同的体系
    发表于 04-28 11:41 2.3w次阅读

    异构计算架构与威廉希尔官方网站

    提供精度控制,从而深度优化异构计算。 Qualcomm®Snapdragon™移动平台就是根据这些原则而设计的。从微架构开始——在平台电路中做出选择,包括如何针对高性能设计各个处理,如何优化处理
    发表于 09-18 19:18 861次阅读

    深入探讨异构计算CXL标准的版本

    CXL 3.0 中最重要的变化是内存共享和设备到设备的通信。主机 CPU 和设备现在可以在相同的数据集上协同工作,而无需不必要地打乱和复制数据。
    发表于 09-05 15:29 1220次阅读

    打造异构计算新标杆!国数集联发布首款CXL混合资源池参考设计

    参考设计是首个支持异构计算架构CXL硬件设备,标志着CXL威廉希尔官方网站 在数据中心领域迎来异构计算新阶段。   国数集联基于FPGA与自主研发的
    的头像 发表于 08-06 14:19 315次阅读
    打造<b class='flag-5'>异构计算</b>新标杆!国数集联发布首款<b class='flag-5'>CXL</b>混合资源池参考设计