0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于无损数据中心的AI训练网络均衡威廉希尔官方网站 实践

华为数据通信 来源:华为数据通信 作者:华为数据通信 2022-08-03 10:06 次阅读

2022年7月,在山东济南举行的2022中国算力大会上,紫金山实验室研究员高新平作了“基于无损数据中心AI训练网络均衡威廉希尔官方网站 实践”的主题演讲。

紫金山实验室是江苏省和南京市共同推进建设的重大科技创新平台。紫金山实验室面向网络通信与安全领域国家重大战略需求,以引领全球信息科技发展方向、解决行业重大科技问题为使命,通过聚集全球高端人才,开展前瞻性、基础性研究,力图突破关键核心威廉希尔官方网站 ,开展重大示范应用,促进成果在国家经济建设中落地。紫金山实验室力图成为国家科技创新的重要力量,建成具有世界一流水平的战略科技创新基地。

紫金山实验室与华为依托紫金山实验室无损数据中心展开面向AI训练场景的网络均衡威廉希尔官方网站 的联合创新,解决AI集群中网络负载不均而导致的AI训练任务性能下降的问题。

高新平研究员指出AI训练使用的集合通信算法,当前主流的有Ring算法、Tree算法和Halving Doubling算法等,在运行时通信流量都呈现出了共同的特征:周期性、流数量少、长连接,并行任务间有强实时同步性要求,通信效率取决于最慢的节点。同时,AI训练时,各节点之间传输的数据量大。以上这些流量特性使计算集群网络容易出现负载不均导致AI训练任务性能下降的问题。

现有网络均衡的主流威廉希尔官方网站 大体分为三种,逐流ECMP均衡、基于子流flowlet均衡和逐包的负载分担均衡。逐流ECMP均衡威廉希尔官方网站 ,是当前最为常用的负载均衡算法,适用于流链接较多场景,它优势在于无乱序,劣势在于流数量较少时,例如AI训练场景下,存在HASH冲突问题,网络均衡效果不佳。基于子流flowlet均衡威廉希尔官方网站 ,它依赖于子流之间的时间间隔GAP值的正确配置来实现均衡,但全局路径级时延信息不可知、无法配置,且存在接收端侧乱序的问题。逐包的负载分担均衡威廉希尔官方网站 ,理论均衡度最好,但实际在接收端侧存在大量报文乱序问题,现实中几乎无使用案例。

发表“基于无损数据中心的AI训练网络均衡威廉希尔官方网站 实践”主题演讲

在紫金山实验室无损数据中心AI训练集群中验证了华为创新的网络均衡威廉希尔官方网站 NSLB(Network Service Load Balance)。基于华为交换芯片高精度telemetry能力,采集流量矩阵作为路由算法输入,用以控制AI流量的转发路径,避免负载不均,提升AI训练效率。

Ring算法场景,运行单个计算任务下,使用NSLB威廉希尔官方网站 对比典型ECMP负载分担威廉希尔官方网站 ,网络实现100%均衡、平均链路利用率34%、比ECMP提升35%,AI训练集性能最高提升113.41%;

Ring算法场景,同时运行两个计算任务下,使用NSLB威廉希尔官方网站 对比典型ECMP负载分担威廉希尔官方网站 ,网络实现100%均衡、平均链路利用率29%、比ECMP提升15.6%,AI训练集性能最高提升57.29%;

Tree算法场景下,运行单个计算任务下,使用NSLB威廉希尔官方网站 对比典型ECMP负载分担威廉希尔官方网站 ,网络实现100%均衡、平均链路利用率13.8%、比ECMP提升1%,AI训练集性能最高提升6.50%;

Tree算法场景下,运行两个计算任务下,使用NSLB威廉希尔官方网站 对比典型ECMP负载分担威廉希尔官方网站 ,网络实现100%均衡、平均链路利用率14%、比ECMP提升10.5%,AI训练集性能最高提升15.81%。

未来,紫金山实验将与华为在无损数据中心网络领域就网络新拓扑、DCN高性能互联等方向展开持续的联合创新,推动无损数据中心网络在低时延、高吞吐等方向进一步的发展,为高算力提供强有力的底座。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据中心
    +关注

    关注

    16

    文章

    4764

    浏览量

    72101
  • AI
    AI
    +关注

    关注

    87

    文章

    30763

    浏览量

    268917
  • 网络通信
    +关注

    关注

    4

    文章

    797

    浏览量

    29799

原文标题:2022中国算力大会 | 基于无损数据中心的AI训练网络均衡威廉希尔官方网站 实践

文章出处:【微信号:Huawei_Fixed,微信公众号:华为数据通信】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    AI数据中心的布线考量

    带来的威胁。最近,DALLE-2 和 ChatGPT 的发布引起了广大公众对 AI可以做什么的极大兴趣,也引发了人们关于 AI 将如何改变教育和工作性质的讨论。AI 也是当前和未来数据中心
    的头像 发表于 12-05 09:26 188次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>数据中心</b>的布线考量

    NIDA发布《智算数据中心网络建设威廉希尔官方网站 要求》

    Alliance,以下简称 “NIDA”)携手中国信息通信研究院等9家组织成员共同发布了《智算数据中心网络建设威廉希尔官方网站 要求》(以下简称 “威廉希尔官方网站 要求”)。该
    的头像 发表于 12-04 11:13 342次阅读

    Meta AI数据中心网络用了哪家的芯片

      在Meta,我们相信开放的硬件会推动创新。在当今世界,越来越多的数据中心基础设施致力于支持新兴的AI威廉希尔官方网站 ,开放硬件在协助分解方面发挥着重要作用。通过将传统数据中心
    的头像 发表于 11-25 10:05 352次阅读
    Meta <b class='flag-5'>AI</b><b class='flag-5'>数据中心</b><b class='flag-5'>网络</b>用了哪家的芯片

    简述数据中心网络架构的演变

    随着全球对人工智能(AI)的需求不断增长,数据中心作为AI计算的重要基础设施,其网络架构与连接威廉希尔官方网站 的发展变得尤为关键。
    的头像 发表于 10-22 16:23 286次阅读

    AI时代,我们需要怎样的数据中心AI重新定义数据中心

    超过60%的中国企业计划在未来12至24个月内部署生成式人工智能。AI、模型的构建,将颠覆数据中心基础设施的建设、运维和运营。一个全新的数据中心智能化时代已经拉开序幕。
    发表于 07-16 11:33 704次阅读
    <b class='flag-5'>AI</b>时代,我们需要怎样的<b class='flag-5'>数据中心</b>?<b class='flag-5'>AI</b>重新定义<b class='flag-5'>数据中心</b>

    数据中心液冷需求、威廉希尔官方网站 及实际应用

    夏日炎炎,数据中心制冷威廉希尔官方网站 全新升级,液冷散热,让服务器清凉一夏。本文将带您一起探索数据中心液冷需求、威廉希尔官方网站 及实际应用。 1 数据中心液冷需求
    的头像 发表于 06-19 11:12 997次阅读
    <b class='flag-5'>数据中心</b>液冷需求、<b class='flag-5'>威廉希尔官方网站
</b>及实际应用

    数据中心布线标准有什么

    数据中心布线标准是现代IT基础设施的基石。它们为组织建立可靠和有效的网络提供了指导方针和框架。了解这些标准对于寻求优化其数据中心运营和确保无缝连接的组织至关重要。 什么是数据中心布线标
    的头像 发表于 06-14 10:51 490次阅读

    华为联合IEEE面向全球发布L4数据中心自动驾驶网络白皮书

    在华为数据通信创新峰会2024期间,华为联合IEEE面向全球发布L4数据中心自动驾驶网络白皮书,全面阐述了数据中心网络
    的头像 发表于 05-16 09:09 594次阅读
    华为联合IEEE面向全球发布L4<b class='flag-5'>数据中心</b>自动驾驶<b class='flag-5'>网络</b>白皮书

    HNS 2024:星河AI数据中心网络,赋AI时代新动能

    华为数据通信创新峰会2024在巴库隆重举办,在“星河AI数据中心网络,赋AI时代新动能”主题论坛中,华为面向中东中亚地区发布星河
    的头像 发表于 05-15 09:15 651次阅读
    HNS 2024:星河<b class='flag-5'>AI</b><b class='flag-5'>数据中心</b><b class='flag-5'>网络</b>,赋<b class='flag-5'>AI</b>时代新动能

    #mpo极性 #数据中心mpo

    数据中心MPO
    jf_51241005
    发布于 :2024年04月07日 10:05:13

    华为联合中国信通院发布《华为星河AI数据中心网络测试报告》

    2024 开放数据中心委员会(以下简称ODCC)春季全会在江西婺源顺利召开,全会由ODCC副主席李洁博士主持。全会期间,华为联合中国信通院云大所数据中心团队发布《华为星河AI数据中心
    的头像 发表于 04-02 09:25 1463次阅读

    一图看懂星河AI数据中心网络,全面释放AI时代算力

    华为中国合作伙伴大会 | 一图看懂星河AI数据中心网络,以网强算,全面释放AI时代算力
    的头像 发表于 03-22 10:28 753次阅读
    一图看懂星河<b class='flag-5'>AI</b><b class='flag-5'>数据中心</b><b class='flag-5'>网络</b>,全面释放<b class='flag-5'>AI</b>时代算力

    是德科技推出AI数据中心测试平台

    是德科技近期宣布,针对蓬勃发展的AI和ML基础设施生态系统,隆重推出了全新的AI数据中心测试平台。该平台专为加速AI/ML网络验证与优化而设
    的头像 发表于 03-08 10:17 721次阅读

    是德科技推出AI数据中心测试平台旨在加速AI/ML网络验证和优化的创新

    2024年2月29日,是德科技(Keysight Technologies,Inc.)宣布,针对人工智能(AI)和机器学习(ML)基础设施生态系统,推出了 AI数据中心测试平台,旨在加速AI
    的头像 发表于 02-29 09:32 630次阅读
    是德科技推出<b class='flag-5'>AI</b><b class='flag-5'>数据中心</b>测试平台旨在加速<b class='flag-5'>AI</b>/ML<b class='flag-5'>网络</b>验证和优化的创新

    #光缆水峰 #综合布线光缆 #数据中心

    数据中心光缆
    jf_51241005
    发布于 :2024年01月15日 09:43:26