天数智芯支持智源研究院首次完成大模型异构算力混合训练，突破异构算力束缚
11月29日，北京智源人工智能研究院副院长兼总工程师林咏华在2023人工智能计算大会上宣布，正式开源700亿参数大模型Aquila2-70B-Expr（异构先驱版），这是首个基于英伟达混合资源及天数智芯混合资源完成训练的大模型，也是智源研究院与天数智芯合作取得的最新成果，再次证明了天数智芯通用GPU产品支持大模型训练的能力，以及与主流产品的兼容能力。
据林咏华副院长介绍，为了解决异构算力混合训练难题，智源研究院开发了高效并行训练框架FlagScale，支持异构算力混合训练，并在10月开源了FlagScale v0.1版本。此次基于FlagScale v0.2分别在英伟达混合资源（A100集群+A800集群）、天数智芯混合资源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型训练工作。
天数智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院开展70亿参数大模型训练。在此基础上，双方进一步深化合作。天数智芯首先搭建了128节点的BI-V100集群环境，支持智源研究院开展Aquila2-70B-Expr完整训练。训练到20万步，导出模型并完成总计11项性能指标的评估，涉及常识推断、多任务语言理解、真实性回答等场景，将基线实验和对比实验送到真实数据集上进行评测，计算差异在0.28%，在精度上与国际主流集群训练的权重文件水平相当。同时，天数智芯基于新一代产品天垓150（BI-V150）搭建了16节点集群环境，用于智源研究院混合并行训练研究。智源研究院利用120节点BI-V100集群加上8节点BI-V150集群进行Aquila2-70B-Expr大模型混合训练，混合集群性能达到上界（理想合池理论峰值）的85.3%。测试结果显示，在天数智芯产品上异构训练，对模型性能影响甚微。
END
据林咏华副院长介绍，为了解决异构算力混合训练难题，智源研究院开发了高效并行训练框架FlagScale，支持异构算力混合训练，并在10月开源了FlagScale v0.1版本。此次基于FlagScale v0.2分别在英伟达混合资源（A100集群+A800集群）、天数智芯混合资源（BI-V100集群+BI-V150集群）完成了Aquila2-70B-Expr大模型训练工作。
天数智芯在今年上半年搭建了天垓100（BI-V100）算力集群支持智源研究院开展70亿参数大模型训练。在此基础上，双方进一步深化合作。天数智芯首先搭建了128节点的BI-V100集群环境，支持智源研究院开展Aquila2-70B-Expr完整训练。训练到20万步，导出模型并完成总计11项性能指标的评估，涉及常识推断、多任务语言理解、真实性回答等场景，将基线实验和对比实验送到真实数据集上进行评测，计算差异在0.28%，在精度上与国际主流集群训练的权重文件水平相当。同时，天数智芯基于新一代产品天垓150（BI-V150）搭建了16节点集群环境，用于智源研究院混合并行训练研究。智源研究院利用120节点BI-V100集群加上8节点BI-V150集群进行Aquila2-70B-Expr大模型混合训练，混合集群性能达到上界（理想合池理论峰值）的85.3%。测试结果显示，在天数智芯产品上异构训练，对模型性能影响甚微。
这一成果极具商业价值和应用前景，有助于解决智算中心换代升级、增容后新旧计算卡并用难题，为智算中心高效运行提供了新方案。
END
原文标题：天数智芯支持智源研究院首次完成大模型异构算力混合训练，突破异构算力束缚
文章出处：【微信公众号：天数智芯】欢迎添加关注！文章转载请注明出处。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
天数智芯
+关注
关注
0文章
95浏览量
5541
原文标题：天数智芯支持智源研究院首次完成大模型异构算力混合训练，突破异构算力束缚
文章出处：【微信号：IluvatarCoreX，微信公众号：天数智芯】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
“芯合”异构混合并行训练系统1.0发布
近日，中国移动研究院副院长段晓东携手天数智芯、壁仞科技、中兴、海光、瀚博等一众产业合作伙伴，共同推出了“芯合”异构
壁仞科技联合中国电信等合作伙伴共同发布智算异构四芯混训解决方案
工智能实验室等发布了“智算异构四芯混训解决方案”，打造算力、网络、平台、通信库、框架全栈异构方案
澎峰科技助力中国移动 重磅发布智算“芯合”算力原生基础软件栈2.0
11月30日 ，由中国通信学会主办、中国移动研究院承办的2024中国信息通信大会“算力网络算网一体创新发展论坛 ”在成都召开。中国移动研究院
澎峰科技助力中国移动发布智算“芯合”算力原生基础软件栈2.0
近日 ，由中国通信学会主办、中国移动研究院承办的2024中国信息通信大会“算力网络算网一体创新发展论坛 ”在成都召开。中国移动研究院携手澎峰
安谋科技异构算力组合，破局生成式AI算力挑战
，“此芯P1”不仅异构集成了Armv9 CPU核心与Arm Immortalis GPU，还搭载了安谋科技（中国）有限公司（以下简称“安谋科技”）“周易”NPU等自研业务产品。凭借高能效的异构
安谋科技异构算力赋能AI计算，此芯科技首款AI PC芯片发布
底座，“此芯P1”不仅异构集成了Arm®v9 CPU核心与Arm Immortalis™ GPU，还搭载了安谋科技（中国）有限公司（以下简称“安谋科技”）“周易”NPU等自研业务产品。凭借高能效的异构
发表于 07-31 14:36
•1030次阅读
中国算力中心市场持续增长,智能算力规模快速崛起
7月24日，中国信息通信研究院（简称“中国信通院”）权威发布了《中国算力中心服务商分析报告（2024年）》，该报告深入剖析了中国算
神州鲲泰亮相北京数字安全大会，以智能算力构筑数据安全的坚实底座
GPU资源虚拟化或池化，完成跨集群之间的算力调度；打造异构智算加速平台HICA，屏蔽集群内底层算
异构混训整合不同架构芯片资源，提高算力利用率
电子发烧友网报道（文/李弯弯）随着AI威廉希尔官方网站
的飞速发展，大模型的训练和推理任务对算力的需求日益增长。然而，单一品牌的芯片往往难以满足所有需求，且可能存在供应链风险。因此，
鲲泰新闻｜神州鲲泰创新智算之旅北京站开幕，发布全新智算架构和液冷整机柜产品应对 “多云、异构、绿色
5月17日，神州鲲泰智算中国行北京站盛大召开。在本次活动上，神州鲲泰针对用户对大模型训练、大算力需求的痛点，重磅发布多云
工商网监
评论