0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AIStaiton,有效提升大模型算力平台效率

浪潮AIHPC 来源:浪潮AIHP 2023-06-30 15:06 次阅读

日前,2023全球人工智能产品应用博览会在苏州开幕。浪潮信息智能业务生产创新平台AIStation凭借领先的资源调度与平台管理能力,有效提升大模型算力平台使用效率,荣获智博会核心奖项“产品金奖”。此次获奖,不仅体现了AIStation在大模型算力与业务支撑方面的领先性,也体现了产业对大模型算力平台效率的高度关注。

当前,以大模型为代表的生成式AI威廉希尔官方网站 正在加速发展并革新各行业智能转型路径。生成式AI创新需要基于海量数据集,在拥有成百上千加速卡的AI服务器集群上对千亿级参数的AI大模型进行分布式训练。如何发挥大模型算力平台效能、抑制性能损耗,以高效完成AI大模型的训练部署,已成为AIGC时代的新挑战。

作为专为人工智能开发和部署提供全流程支持的端到端平台,AIStation能够以强大的资源调度和管理能力助力客户加速AI大模型开发与部署,通过对计算资源、数据资源、深度学习软件栈资源进行统一管理,有效提升大模型AI算力集群的使用效率。

一站式管理、毫秒级调度,集群利用率达70%

大模型训练需要构建包含计算、网络、存储、框架等在内的系统性分布式训练环境,传统的分散化管理不仅门槛高、效率低,且缺少针对性优化的整体调度系统,导致大模型计算平台的整体协同性较差,训练算力效率低。

针对分布式训练计算规模大、系统性强的特点,AIStation实现了异构算力集群的统一池化管理,通过自研分布式任务自适应系统将训练底层的计算、存储、网络环境自动化配置,并提供自定义修改基本超参数功能。通过多种资源高效管理和调度策略,AIStation能实现万卡集群的毫秒级调度,提升整体资源利用率到70%以上。

同时,AIStation集成主流的大模型训练框架,依托容器化威廉希尔官方网站 ,能够将运行环境、框架适配过程标准化、模块化,支持秒级构建运行环境,保障AI开发和AI业务的高效运行。

瓶颈优化、稳健容错,全流程加速大模型训练

针对大规模分布式训练过程中遇到的算力网络搭建、数据加速、网络通信优化等瓶颈,AIStation通过镜像分发加速、数据缓存加速、网络拓扑调度、资源动态弹性伸缩等特性,在提高计算资源利用率的同时加速整个训练过程。其中,AIStation通过数据缓存机制可让模型训练效率获得200%-300%的提升,并能够根据节点的数据缓存情况自动调度训练任务,避免训练数据重复下载,节省数据加载时间,与自研调度系统配合后,分布式训练线性加速比能够高达0.9,有效抑制多节点协同的性能损耗。

健壮性与稳定性是目前高效完成大模型训练的强要求。对此,AIStation通过提供全生命周期管理、故障容错、集群监控运维等一体化能力,能够实现训练异常和故障的全面检测和自动处理,有效缩短断点续训时间,降低复杂度,以持续稳定的训练降低大模型训练成本和周期。

高效调用,释放大模型应用价值

针对大模型训练完成后的应用部署,AIStation实现训练和推理的全打通,加快模型应用落地。针对大模型实际应用中的调用突发性,AIStation可根据推理服务资源需求的变化及时调整资源配给,根据实时业务的请求量实现秒级服务扩缩容,可支持百万级高并发的大模型AI推理服务场景,服务响应平均延迟低于1ms,突发的访问高峰的响应效率提升50%。

目前,AIStation已经在2457亿参数的“源”大模型训练实践中得到有效验证,支撑 “源”大模型的训练算力效率达44.8%,高于GPT-3的21.3%。同时,某大型商业银行基于AIStation打造的并行运算集群,凭借领先的大规模分布式训练支撑能力,荣获2022IDC“未来数字基础架构领军者”奖项。未来, AIStation平台将持续为各行业的大模型开发与部署提供高效的算力平台管理能力,加速AIGC威廉希尔官方网站 迭代革新。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47208

    浏览量

    238305
  • 算力
    +关注

    关注

    1

    文章

    966

    浏览量

    14796
  • 大模型
    +关注

    关注

    2

    文章

    2427

    浏览量

    2651

原文标题:【开放试用】AIStaiton,有效提升大模型算力平台效率

文章出处:【微信号:浪潮AIHPC,微信公众号:浪潮AIHPC】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    GPU开发平台是什么

    随着AI威廉希尔官方网站 的广泛应用,需求呈现出爆发式增长。AI租赁作为一种新兴的服务模式,正逐渐成为企业获取
    的头像 发表于 10-31 10:31 169次阅读

    本源量子等向北京“金融量子云实验平台”提供自主量子

    近日,由本源量子提供自主量子主的“金融量子云实验平台”正式上线,该平台由北京金融科技产业联盟主办,本源量子公司联合共建,云端可提供量子真机
    的头像 发表于 10-30 08:05 198次阅读
    本源量子等向北京“金融量子云实验<b class='flag-5'>平台</b>”提供自主量子<b class='flag-5'>算</b><b class='flag-5'>力</b>

    GPU租用平台是什么

    GPU租用平台是一种基于云计算的服务模式,它允许用户通过互联网按需租用高性能GPU资源,而无需自行购买、部署和维护这些硬件。
    的头像 发表于 10-16 10:15 214次阅读

    青云科技强化AI架构,升级产品与服务体系

    10月9日,青云科技正式揭晓了其升级版的产品与服务阵容、行业及场景定制化解决方案,以及全新的生态战略。该公司旨在通过AI智平台、AI云及AI智
    的头像 发表于 10-10 16:42 472次阅读

    【「大模型时代的基础架构」阅读体验】+ 未知领域的感受

    国庆前就收到《大模型时代的基础架构》一书,感谢电子发烧友论坛。欢度国庆之余,今天才静下心来体验此书,书不厚,200余页,彩色图例,印刷精美! 当初申请此书,主要是看到副标题“大模型
    发表于 10-08 10:40

    摩尔线程GPU底座助力大模型产业发展

    以大模型为代表的新一代人工智能威廉希尔官方网站 是引领新一轮科技革命和产业变革的战略性威廉希尔官方网站 和重要驱动力量,随着对需求的日益高涨,人工智能底座公司日
    的头像 发表于 08-27 16:15 604次阅读

    模型时代的需求

    现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型,以及相关的稳定性和性能,是一个极为重要的问题,带着这个极为重要的问
    发表于 08-20 09:04

    名单公布!【书籍评测活动NO.41】大模型时代的基础架构:大模型中心建设指南

    工作日内未联系,视为放弃本次试用评测资格! 书籍介绍 大模型是近年来引人注目的热点之一。大模型蓬勃发展的基础,是针对其需求设计的及基础架构。本书针对如何为大
    发表于 08-16 18:33

    中科曙光入选2024服务产业图谱及服务产品名录

    近日,中国信通院公布首个《服务产业图谱(2024年)》及《服务产品名录(2024年)》。曙光智构建的全国一体化
    的头像 发表于 08-06 14:23 684次阅读

    曙光携手“互联公共服务平台”提高全国匹配效率

    近日,由中国信息通信研究院开发的“互联公共服务平台”在重庆上线。作为该平台合作方之一,曙光智参与了
    的头像 发表于 07-16 15:45 686次阅读

    鲲泰新闻|神州鲲泰创新智之旅北京站开幕,发布全新智架构和液冷整机柜产品应对 “多云、异构、绿色

    加速平台HICA以及一体化交付的神州鲲泰全液冷整机柜产品。帮助企业客户在整个异构智资源池中匹配更优组合、
    的头像 发表于 05-22 10:56 373次阅读
    鲲泰新闻|神州鲲泰创新智<b class='flag-5'>算</b>之旅北京站开幕,发布全新智<b class='flag-5'>算</b>架构和液冷整机柜产品应对 “多云、异构、绿色

    潞晨科技Colossal-AI + 浪潮信息AIStation,大模型开发效率提升10倍

    的潞晨科技Colossal-AI系统,用户可实现在本地平台一键训练、微调、推理、部署大模型,将大模型开发
    的头像 发表于 03-01 09:43 485次阅读
    潞晨科技Colossal-AI + 浪潮信息AIStation,大<b class='flag-5'>模型</b>开发<b class='flag-5'>效率</b><b class='flag-5'>提升</b>10倍

    iBeLink KS MAX 10.5T大领跑KAS新领域

    挖掘机,它可以为用户提供超高的,低廉的功耗,以及舒适的使用体验。如果您想要加入Kaspa的挖掘行列,或者想要提升您的挖掘效率和收获,那么iBeLink ks max 10.5T是您
    发表于 02-20 16:11

    智能规模超通用,大模型对智能提出高要求

    电子发烧友网报道(文/李弯弯)是设备通过处理数据,实现特定结果输出的计算能力,常用FLOPS作为计量单位。FLOPS是Floating-point Operations Per Second
    的头像 发表于 02-06 00:08 6326次阅读

    大茉莉X16-P,5800M大称王称霸

    Rykj365
    发布于 :2024年01月25日 14:54:52