0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI从GPU席卷至MCU,内存的重要性与算力等同

E4Life 来源:电子发烧友网 作者:周凯扬 2023-11-29 01:04 次阅读

电子发烧友网报道(文/周凯扬)在市场对AI的不懈追求中,似乎绝大多数人都把重心放在了算力上。然而决定真正AI计算表现的,还有内存这一重要组成部分。为此,除了传统的标准内存选项外,市面上也出现了专门针对AI进行优化的内存。

高性能AI芯片需要超高带宽内存

无论是英伟达最新的服务器GPU,还是一众初创公司推出的AI加速器,我们都可以看到HBM出现的越来越频繁,比如英伟达H100、谷歌TPU等等。美光、SK海力士和三星厂商都在布局这类超高带宽内存,用于解决 AI计算中时常出现的内存墙问题。

以LLM模型的训练负载为例,HBM3内存与处理器可以与处理器以最高6.4Gb/s的接口速率相连,并实现3.2TB/s的超大带宽。而且在3D堆叠威廉希尔官方网站 的支撑下,SoC芯片的面积依然控制在一个合理的范围内。超大的带宽显著减少了模型训练时间,所以我们才能看到如此快的LLM模型更迭速度。

当把模型推向终端应用时,效率就和效能一样重要了。推理带来的计算成本异常庞大,所以我们需要更低的系统功耗。而HBM内存恰好可以在维持“较低”速率的同时,实现与处理器的“近距离接触”和大带宽,从而进一步降低整体系统功耗。

当然了,HBM也并非那么完美,不然我们也不会只在服务器级别的产品上看到它们。随着HBM而来的是设计复杂度和更高的成本,比如需要额外设计硅中介层等等。但还是由于吃到了AI红利,HBM的成本也在慢慢降低,甚至有的初创公司在首个AI芯片上就直接采用HBM3内存,为的就是充分释放AI芯片的计算性能。

小芯片的AI梦

随着AI热潮的袭来,我们也看到了边缘端不少AIoT产品开始追逐这一风口,尤其是智能音箱等具备交互能力的设备。然而以这类设备主用的MCU芯片而言,本身计算性能就难以与GPU这样的高性能AI加速器媲美,更别说内存带宽了。

为此,英飞凌推出了HyperRAM这一高速内存,相较传统的pSRAM,HyperRAM成了更高效简洁的解决方案。HyperRAM基于HyperBus这一接口开发,相较于其他DRAM内存方案,HyperRAM并不见得有压倒性的带宽优势,比如最新的HyperRAM 3.0版本,其带宽最高可达800MB/s。

wKgaomVlu4GAeoD2AABIpN2JUwA500.png
不同内存的工作功耗对比 / 华邦电子


但在同等带宽下工作时,HyperRAM可以提供更少的引脚数和更低的功耗,对于不少可穿戴应用来说,采用HyperRAM不仅降低所需的PCB面积,也进一步降低了功耗,提高了这类设备的续航能力。根据华邦电子提供的数据,同样64MB的内存,HyperRAM可以实现比SDRAM低数十倍的待机功耗。

时至今日,我们已经看到不少顶尖MCU厂商,诸如NXP瑞萨TI等,都已经提供了支持HyperBus接口的MCU。新思、Cadence等厂商也开始提供HyperBus控制IP,华邦电子也加入HyperRAM的供应生态链中来,HyperRAM已然成了AIoT应用中MCU乃至MPU外部RAM的理想选择。

写在最后

无论是HBM还是HyperRAM,都是AI时代下开始发光发热的内存选择。他们的出现不仅为市场提供了更灵活的设计选择,也进一步推动了内存威廉希尔官方网站 在设计、工艺和封装上的进步。未来随着内存威廉希尔官方网站 迈入下一个阶段,或许不只有AI应用能从中受益。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • mcu
    mcu
    +关注

    关注

    146

    文章

    17128

    浏览量

    351005
  • AI
    AI
    +关注

    关注

    87

    文章

    30753

    浏览量

    268901
收藏 人收藏

    评论

    相关推荐

    AIGPU开始腾飞,背后是电源管理的持续支持

    AI PC元年。   不仅是AI PC,还包括AI服务器、AI手机、AI汽车等,众多AI实际应
    的头像 发表于 03-30 00:12 4456次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>GPU</b>开始腾飞,背后是电源管理的持续支持

    芯片 高性能 CPUGPUNPU 微架构分析》第3篇阅读心得:GPU革命:图形引擎到AI加速器的蜕变

    CPU、GPU的演进历程,AI专用芯片或将引领未来计算平台的新方向。正如爱因斯坦所说:\"想象比知识更重要\" —— 在芯片设计领域,创新思维带来的突破往往令人惊叹。
    发表于 11-24 17:12

    企业AI租赁是什么

    企业AI租赁是指企业通过互联网向专业的提供商租用所需的计算资源,以满足其AI应用的需求。
    的头像 发表于 11-14 09:30 508次阅读

    AI时代重要性及现状:平衡发展与优化配置的挑战

    AI时代,扮演着至关重要的角色。如果说数据是AI大模型的“燃料”,那么
    的头像 发表于 11-04 11:45 417次阅读

    【「芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】--了解芯片GPU

    着色器(Pixel shader)是图形流水线中相当强大的功能单元,因为它可以为每个片段执行复杂的计算,从而为最终渲染的图像添加细节和视觉效果。 DirectX API推动 GPU 演进
    发表于 11-03 12:55

    GPU开发平台是什么

    随着AI威廉希尔官方网站 的广泛应用,需求呈现出爆发式增长。AI租赁作为一种新兴的服务模式,正逐渐成为
    的头像 发表于 10-31 10:31 166次阅读

    【一文看懂】大白话解释“GPUGPU

    GPUGPU1.GPU是什么?2.GPU与CPU的区别?3.
    的头像 发表于 10-29 08:05 570次阅读
    【一文看懂】大白话解释“<b class='flag-5'>GPU</b>与<b class='flag-5'>GPU</b><b class='flag-5'>算</b><b class='flag-5'>力</b>”

    【「芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】--全书概览

    1章 TOP500和MLPerf看芯片格局 1.1科学最前沿TOP500 1.2 AI
    发表于 10-15 22:08

    并重:数据时代的双刃剑

    在2024年的今天,人工智能(AI)威廉希尔官方网站 已经全面渗透我们生活的方方面面,从医疗诊断到智能交通,金融分析到智能家居,AI正以前所未有的速度重塑我们的世界。这一变革背后,
    的头像 发表于 10-08 16:00 815次阅读

    名单公布!【书籍评测活动NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架构分析

    。这几年人工智能取得突破进展的时间关口,社会对芯片的需求将会更加旺盛,芯片在全社会中的重要性也将进一步增强。很高兴看到这本书的问世,看到作者在自己工作之余还能坚持对另一个领域的分
    发表于 09-02 10:09

    大模型时代的需求

    现在AI已进入大模型时代,各企业都争相部署大模型,但如何保证大模型的,以及相关的稳定性和性能,是一个极为重要的问题,带着这个极为重要的问
    发表于 08-20 09:04

    论RISC-V的MCU中UART接口的重要性

    RISC-V的MCU(微控制器单元)中UART(通用异步收发器)接口的重要性主要体现在以下几个方面: 广泛的适用 : UART接口是一种用于连接两个计算机设备的接口,允许一个设备向另一个设备发送
    发表于 05-27 15:52

    Sora需求引发业界对集结国内AI企业的探讨

    据周鸿祎观察,Sora视频分析所需恐远超千亿规模模型。因而,考虑到如今国内芯片供应受限,问题至关重要。事实上,Meta已有约50万台
    的头像 发表于 02-25 10:03 581次阅读

    夯实底座,顺网科技业务全面升级

    在当今数字化、智能化的时代,人工智能已经成为推动社会进步和发展的重要力量,力作为人工智能未来发展的核心驱动力,其重要性日益凸显。作为行业的先行者,顺网科技始终致力于推动行业的数字化进程,
    的头像 发表于 01-22 09:20 389次阅读
    夯实<b class='flag-5'>算</b><b class='flag-5'>力</b>底座,顺网科技<b class='flag-5'>算</b><b class='flag-5'>力</b>业务全面升级

    CPU与GPU散热器设计的异同及其重要性

    CPU与GPU散热器的设计异同及其重要性 在计算机的发展过程中,中央处理单元(CPU)和图形处理单元(GPU)在性能和热量产生方面的不断提升和增加,使得其在长时间工作时产生了大量的热量。为了保证
    的头像 发表于 01-09 14:00 1285次阅读