2023年6月17日,由绍兴市人民政府主办的 2023 中国(绍兴)集成电路产业峰会隆重举行,“ChatGPT风向下的集成电路新趋势”论坛及集成电路项目路演也同期举行,为百余位产业从业者提供深入了解行业发展动态和交流合作的机会。沐曦首席解决方案架构师付轩受邀参会并发表演讲。
付轩在“ChatGPT风向下的集成电路新趋势”论坛中发表主题为《蹄急而步稳:ChatGPT与高性能GPU战略概览》的主题演讲,分析了ChatGPT的应用特点及软硬件需求,指出以ChatGPT为代表的大模型发展需要大的通用算力与矩阵算力作为支撑,并且作为基于GPU生态发展起来的模型,对GPU显存、GPU间互联通信、通用GPU编程框架及软件生态等多方面均有很高的要求。因此,作为算力底座的GPU不仅需要算得快,还要算得准、算得稳,不仅要提供高效计算,还要保证结果准确,并且灵活可靠。
对此,可以采取以下策略:首先,针对ChatGPT大模型训练,大集群3D并行是一种有效方式,能够集张量并行、流水并行和数据并行为一体,与只有数据并行的小模型相比,是一种完全不同的复杂并行结构。在大模型推理方面,推理精度要求高,延迟容忍度高,带来越来越多的云端高算力推理需求,更适合在数据中心中运行,也符合“东数西算”的战略规划。同时,基于高性能GPU生态的算法创新实现算子提速并极大减少显存消耗,通用算力与矩阵算力的高效协作实现算子融合加速,稳定可靠的千卡大集群、GPU软硬件结合、“训推一体”优化保障训练和推理的精度,均是能够使大模型计算实现快、准、稳的可行性措施。
沐曦作为一家提供全栈GPU芯片及解决方案的企业,其旗舰产品曦云C500系列通用GPU采用沐曦自研IP,能够提供强大的多精度混合算力,同时配以大容量存储和新一代高速IO接口及多卡互联威廉希尔官方网站 ,不论在矩阵算力、通用算力还是显存规格方面均可全面支持大模型推理和训练,并广泛应用于人工智能、数据中心以及教育和科研等多种场景。同时,沐曦自主研发的MXMACA软件栈能够全面兼容主流GPU生态,为客户提供软硬件一体的应用解决方案。目前,曦云MXC500芯片已于2023年6月13日成功回片点亮,预计将于今年年底实现量产。
总的来说,ChatGPT对于硬件和软件均有需求,我们要更好地利用现有的GPU生态,发挥通用算力与矩阵算力的全面优势,做好算子的算法创新和加速。同时,在做千卡大集群时,单节点内的多GPU互联也是必须的。此外,当前各种大模型创新层出不穷,我们要把各种各样的大模型迁移到曦云C500上来,因此生态兼容也至关重要。做到以上几点,大模型就能够更好地在国内实现高效迭代与应用落地。
关于沐曦
沐曦致力于为异构计算提供安全可靠的GPU芯片及解决方案,打造全栈GPU芯片产品,推出MXN系列GPU(曦思)用于AI推理,MXC系列GPU(曦云)用于AI训练及通用计算,以及MXG系列GPU(曦彩)用于图形渲染,满足数据中心对“高能效”及“高通用性”的算力需求。沐曦产品均采用完全自主研发的GPU IP,拥有完全自主的指令集和架构,配以兼容主流GPU生态的完整软件栈(MXMACA),具备高能效和高通用性的天然优势,能够为客户构建软硬件一体的全面生态解决方案,是“双碳”背景下推动数据中心建设和产业数字化、智能化转型升级的算力基石。
-
集成电路
+关注
关注
5387文章
11534浏览量
361648 -
gpu
+关注
关注
28文章
4729浏览量
128895 -
ChatGPT
+关注
关注
29文章
1560浏览量
7597
原文标题:沐曦付轩:蹄急而步稳,GPU助力ChatGPT快、准、稳全面发展
文章出处:【微信号:沐曦MetaX,微信公众号:沐曦MetaX】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论