0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

最强AI芯片发布,Cerebras推出性能翻倍的WSE-3 AI芯片

AI芯天下 来源:AI芯天下 2024-03-19 09:31 次阅读

前言: 近日,芯片行业的领军企业Cerebras Systems宣布推出其革命性的产品——Wafer Scale Engine 3,该产品成功将现有最快AI芯片的世界纪录提升了一倍。

WSE-3 AI芯片比英伟达H100大56倍

WSE-3芯片采用了台积电先进的5纳米工艺威廉希尔官方网站 ,集成了超过4万亿个晶体管与90万个核心,展现出惊人的125 petaflops计算性能。

此芯片不仅是台积电目前能制造的最大方形芯片,其独特的44GB片上SRAM设计。

摒弃了传统的片外HBM3E或DDR5内存方式,使内存与核心紧密结合,极大缩短了数据处理与计算的距离,提升了整体运算效率。

另一方面,Cerebras的CS-3系统代表了Wafer Scale威廉希尔官方网站 的第三代成就。

其顶部配置有先进的MTP/MPO光纤连接,以及完备的冷却系统包括电源、风扇和冗余泵,确保了系统在高负荷运行时的稳定与可靠。

相较于前代产品,CS-3系统及其新型芯片在保持相同功耗和成本的同时,实现了近两倍的性能提升。

值得注意的是,WSE-3芯片的核心数量高达英伟达H100 Tensor Core的52倍。

37a9e31c-e52b-11ee-a297-92fbcf53809c.png

由WSE-3驱动的Cerebras CS-3系统在训练速度上比英伟达的DGX H100系统快了8倍,内存扩大了1900倍。

更令人震惊的是,CS-3系统能够支持高达24万亿个参数的AI模型训练,这一数字是DGX H100的600倍。Cerebras公司高管表示,CS-3系统的能力已全面超越DGX H100。

举例来说,原本在GPU上需要30天才能完成的Llama 700亿参数模型训练,现在通过CS-3集群仅需一天即可完成。

37c1b8b6-e52b-11ee-a297-92fbcf53809c.png

第三代产品成功破圈

WSE-3在保持与前代产品Cerebras WSE-2相同功耗和价格的同时,其性能却实现了翻番,这无疑是对市场的一次重大突破。

WSE-3是Cerebras第三代产品,展现了其在晶圆级芯片设计和制造方面的威廉希尔官方网站 积累。

第一代WSE于2019年推出,采用台积电16nm工艺;第二代WSE-2于2021年发布,采用7nm工艺;WSE-3则使用5nm威廉希尔官方网站 。

相比第一代,WSE-3的晶体管数量增加了两倍以上,达到了4万亿的规模。根据其官方介绍,与晶体管数量的增长相比,芯片上的计算单元、内存和带宽的增长速度有所放缓。

这反映出Cerebras在追求整体性能提升的同时,也在芯片面积、功耗和成本之间进行权衡。

通过多代产品的迭代,Cerebras掌握了晶圆级芯片设计和制造的核心威廉希尔官方网站 ,为未来的创新奠定了基础。

37d0da08-e52b-11ee-a297-92fbcf53809c.png

专为AI打造的计算能力

以往,在传统的GPU集群环境下,研究团队在分配模型时不仅需要科学严谨,还需应对一系列复杂的挑战,如处理器单元的内存容量限制、互联带宽的瓶颈以及同步机制的协调等。

此外,团队还需持续调整超参数并开展优化实验,以确保模型的性能达到最佳状态。

然而,这些努力常常因微小的变动而受到影响,导致解决问题所需的总时间进一步延长,增加了研究的复杂性和不确定性。

相比之下,WSE-3的每一个核心均具备独立编程的能力,并且针对神经网络训练和深度学习推理中所需的基于张量的稀疏线性代数运算进行了专门的优化。

这一特点使得研究团队能够在WSE-3的支持下,以前所未有的速度和规模高效地训练和运行AI模型,同时避免了复杂分布式编程技巧的需求。

WSE-3配备的44GB片上SRAM内存均匀分布在芯片表面,使得每个核心都能在单个时钟周期内以极高的带宽(21 PB/s)访问到快速内存,是当今地表最强GPU英伟达H100的7000倍。

而WSE-3的片上互连威廉希尔官方网站 ,更是实现了核心间惊人的214 Pb/s互连带宽,是H100系统的3715倍。

CS-3可以配置为多达2048个系统的集群,可实现高达256 exaFLOPs的AI计算,专为快速训练GPT-5规模的模型而设计。

37e38ebe-e52b-11ee-a297-92fbcf53809c.png

大幅简化并行编程复杂度

传统的集群建设方式,通常需要数以万计的GPU或AI加速器来协同解决某一问题。

在英伟达所构建的GPU集群中,这些集群通过Infiniband、以太网、PCIe和NVLink交换机等设备进行连接,其中大部分功率和成本均投入到芯片间的重新连接上。

此外,为了管理这些芯片间的互连、通信和同步,还需编写大量的代码,这无疑增加了并行编程的复杂性。

然而,Cerebras采用了一种与英伟达截然不同的方法。他们选择保留整个晶圆,因此所需的芯片数量减少了50倍以上,从而显著降低了互连和网络的复杂性和成本。

在软件层面,Cerebras提供了一套优化的软件栈,其中包括内置的通信机制和自动化的内存管理。

这使得开发人员能够使用更少的代码实现复杂的模型,从而大幅降低了编程负担。

这种软硬件协同优化的策略,不仅简化了开发过程,也加速了AI应用的开发和部署。

业务模式与传统厂商存在显著差异

传统上,英伟达、AMD英特尔等公司倾向于采用大型台积电晶圆,并将其切割成更小的部分以生产芯片。

然而,Cerebras却选择了一种截然不同的路径,它保留了晶圆的完整性。

在当前高度互联的计算集群中,数以万计的GPU或AI加速器协同工作以处理复杂问题。

Cerebras的策略将芯片数量减少50倍以上,从而显著降低了互连和网络成本,同时减少了功耗。

在英伟达GPU集群中,这些集群配备了Infiniband、以太网、PCIe和NVLink交换机,大量的电力和成本消耗在重新链接芯片上。

通过维持整个芯片的完整性,Cerebras有效地解决了这一问题。

凭借WSE-3,Cerebras继续巩固其作为全球最大单芯片生产者的地位。

这款芯片呈正方形,边长达到21.5厘米,几乎占据了整个300毫米硅片的面积。

将Cerebras的设计理念与拼图游戏进行类比,可以清晰地揭示其创新之处。

传统的芯片制造过程类似于将拼图切成小块并逐一拼接,而Cerebras的方法则更像是保持拼图的完整性,使得各部件之间的连接更加紧密,从而提升了整体效率和性能。

这种前瞻性的设计理念为WSE-3芯片的成功提供了坚实的基石。

结尾:

综合评估,WSE-3标志着人工智能芯片设计领域的新趋势,它以单片规模之巨实现了性能与效率的显著提升。

对于其他公司而言,若要复制此类产品,必须在晶圆制造、封装互连、系统集成及软件栈等多个领域投入长期的研发努力,并克服众多威廉希尔官方网站 难关。

Cerebras之所以能够在市场中脱颖而出,其关键在于这些领域中所展现的持续创新能力及突破。




审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    19265

    浏览量

    229671
  • 晶圆
    +关注

    关注

    52

    文章

    4895

    浏览量

    127936
  • 晶体管
    +关注

    关注

    77

    文章

    9684

    浏览量

    138091
  • AI芯片
    +关注

    关注

    17

    文章

    1882

    浏览量

    34995
  • DDR5
    +关注

    关注

    1

    文章

    422

    浏览量

    24143

原文标题:热点丨最强AI芯片发布,Cerebras推出性能翻倍的WSE-3 AI芯片

文章出处:【微信号:World_2078,微信公众号:AI芯天下】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    天玑9400生成式AI威廉希尔官方网站 太牛了!打造最强AI体验

    联发科技再度突破威廉希尔官方网站 前沿,推出全新天玑9400旗舰芯片,这是业界首款集成智能体AI的5G SoC。继天玑9300首次将生成式AI应用引入手机后,天玑
    的头像 发表于 10-14 14:06 261次阅读
    天玑9400生成式<b class='flag-5'>AI</b>威廉希尔官方网站
太牛了!打造<b class='flag-5'>最强</b><b class='flag-5'>AI</b>体验

    NEO推出3D X-AI芯片AI性能飙升百倍

    近日,半导体行业的创新先锋NEO Semiconductor震撼发布了一项革命性威廉希尔官方网站 ——3D X-AI芯片,这项威廉希尔官方网站 旨在彻底颠覆人工智能处理领域的能效与
    的头像 发表于 08-21 15:45 639次阅读

    后摩智能引领AI芯片革命,推出边端大模型AI芯片M30

    在人工智能(AI)威廉希尔官方网站 飞速发展的今天,AI大模型的部署需求正迅速从云端向端侧和边缘侧设备迁移。这一转变对AI芯片性能、功耗和响应速度提出了
    的头像 发表于 06-28 15:13 681次阅读

    AI初创公司Cerebras秘密申请IPO

    近日,全球科技圈再次掀起波澜。据外媒最新报道,被誉为明星AI芯片独角兽的Cerebras Systems,已经悄然向证券监管机构递交了首次公开募股(IPO)的秘密申请。这一动作无疑为当前火爆的
    的头像 发表于 06-27 17:44 719次阅读

    AI初出企业Cerebras已申请IPO!称发布AI芯片比GPU更适合大模型训练

    美国加州,专注于研发比GPU更适用于训练AI模型的晶圆级芯片,为复杂的AI应用构建计算机系统,并与阿布扎比科技集团G42等机构合作构建超级计算机。基于其最新旗舰芯片构建的服务器可轻松高
    的头像 发表于 06-26 00:09 2914次阅读
    <b class='flag-5'>AI</b>初出企业<b class='flag-5'>Cerebras</b>已申请IPO!称<b class='flag-5'>发布</b>的<b class='flag-5'>AI</b><b class='flag-5'>芯片</b>比GPU更适合大模型训练

    AI芯片哪里买?

    AI芯片
    芯广场
    发布于 :2024年05月31日 16:58:19

    risc-v多核芯片AI方面的应用

    得RISC-V多核芯片能够更好地适应AI算法的不同需求,包括深度学习、神经网络等,从而提高芯片性能和效率,降低成本,使AI边缘计算晶片更具
    发表于 04-28 09:20

    世界第一AI芯片发布!世界纪录直接翻倍 晶体管达4万亿个

    3月14日消息,今天,美国芯片初创公司Cerebras Systems,推出了全球最强的第三代晶圆级AI
    的头像 发表于 03-21 17:34 590次阅读

    Cerebras推出性能翻倍WSE-3 AI芯片

    Cerebras Systems近日推出的Wafer Scale Engine 3WSE-3芯片无疑在人工智能领域掀起了一场革命。这款
    的头像 发表于 03-20 11:32 895次阅读

    Cerebras Systems推出迄今最快AI芯片,搭载4万亿晶体管

    美国芯片初创企业Cerebras Systems近日在人工智能领域取得了重大突破,成功推出了全新的5纳米级“晶圆级引擎3”(WSE-3
    的头像 发表于 03-19 11:29 791次阅读

    Cerebras发布WSE-3 AI芯片性能翻倍达4万亿晶体,能耗不变

    该款 WSE-3 AI芯片几乎完全由一块12英寸晶圆构成,形如边长21.5厘米之正方体。这款芯片设有90万个 AI 内核,理论上可输出每秒1
    的头像 发表于 03-18 16:37 912次阅读

    AI芯片界掀起狂潮,WSE-3性能飙升刷新纪录!

    WSE-3采用了4万亿晶体管的5纳米工艺制程,工艺水平达到了惊人的高度。
    的头像 发表于 03-15 16:08 972次阅读

    Cerebras推出WSE-3 AI芯片,比NVIDIA H100大56倍

    Cerebras 是一家位于美国加利福尼亚州的初创公司,2019 年进入硬件市场,其首款超大人工智能芯片名为 Wafer Scale Engine (WSE) ,尺寸为 8 英寸 x 8 英寸,比最大的 GPU 大 56 倍,
    的头像 发表于 03-14 17:11 1987次阅读
    <b class='flag-5'>Cerebras</b><b class='flag-5'>推出</b><b class='flag-5'>WSE-3</b> <b class='flag-5'>AI</b><b class='flag-5'>芯片</b>,比NVIDIA H100大56倍

    CerebrasWSE-3芯片性能翻倍,助力超大规模AI模型训练

    首先,WSE-3采用台积电最新的5nm工艺制作(目前领先业界)。其次,该芯片拥有超过4万亿个晶体管以及90万个AI核心,配合44GB片上SRAM高速缓存及三种可选片外存储方案(分别是1.5TB、12TB与1.2PB)。
    的头像 发表于 03-14 10:01 823次阅读

    英伟达将用AI设计AI芯片

    AI芯片行业资讯
    深圳市浮思特科技有限公司
    发布于 :2024年02月19日 17:54:43