0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

美光高管看2024年AI数据中心、AI PC的存储趋势

花茶晶晶 来源:电子发烧友网 作者:黄晶晶 2024-10-13 15:22 次阅读

电子发烧友网报道(文/黄晶晶)生成式AI带来的产业威廉希尔官方网站 革新不仅在于性能越来越强大的GPU,它同时正在推进存储产品的变化和威廉希尔官方网站 的进步。近日,美光副总裁暨客户端存储事业部总经理Prasad Alluri在接受包括电子发烧友网在内的少数媒体采访时指出,与过往不同,闪存和内存曾各自为政,主要致力于提高密度。AI的兴起带来了两大转变,一是与系统架构的协同优化;二是将能效作为关键优化参数。为此,美光科技正积极优化存储产品、赋能AI在数据中心、PC、智能手机乃至汽车等各领域的应用与发展。

AI数据中心:两大存储池的不同存储策略


Prasad Alluri表示,在探讨AI基础设施对数据中心存储的具体影响时,我们可以将其视为两个独立的存储池来分析。

首先,存在一个庞大的数据池,用于存储供模型训练所需的数据。以GPT-4为例,据估算,其训练过程消耗了互联网上约四分之一的数据,这足以说明大模型所需数据的庞大规模。为了训练这类模型,必须具备存储海量数据的能力,我们可以形象地称之为“数据湖”,即所有待训练数据均汇聚于此。

对于这一存储场景,最关键的属性在于能够高效且经济地传输数据。将容量与经济性相结合,意味着需要摒弃主要依赖大容量硬盘驱动器的传统架构,转而采用大容量SSD。此举不仅能减少物理占用空间,还能降低能耗,从而提升整体能源经济性。在此方面,美光科技推出的6500 ION系列产品正是针对大容量存储需求而优化的理想解决方案。

另一方面是训练过程实际发生的存储池,即紧邻GPU的存储池。此时,需考虑的是如何将数据湖中的数据高效送入GPU内存以供训练。在此过程中,设备的读写性能至关重要,尤其是随机读取性能。对于这类靠近GPU训练集群的存储,美光9550 SSD从设计之初便旨在满足这些需求。9550 SSD随机读取性能领先业界,速率高达3,300 KIOPS,这正是训练集群所亟需的。

此外,美光9550 SSD提供业界领先的能效,并在支持各类AI工作负载方面表现出众,包括使用大规模存储加速器(BaM)进行图神经网络(GNN)训练(SSD平均功耗降低高达43%,整体系统能耗减少高达29%)、NVIDIA Magnum IO GPUDirect Storage(每传输1TB数据,SSD能耗降低高达81%)、MLPerf(SSD能耗降低高达35%,系统能耗降低高达13%)以及使用Microsoft DeepSpeed对Llama 大语言模型(LLM)训练进行微调(SSD能耗降低高达 21%)。

wKgZoWcLddKAHPtSAAOKConnGk0495.png

AI PC的存储需求,将远超微软的“基准要求”


微软为AI PC产品Copilot+设定了基准要求,其中NPU的算力起始于40 TOPS,内存方面则规定了至少16GB的容量,以及256GB的存储空间作为最低配置。不过,Prasad Alluri表示,这些仅是基础指导线,并未全面界定AI PC的真正内涵。

“要深入理解AI PC,我们需将焦点放在用户体验上。AI PC的核心在于通过诸如翻译或图像编辑等任务来提升生产力,且这些任务需在设备上高效完成。正是这种整体体验定义了AI PC,而非单纯的威廉希尔官方网站 规格。为了满足用户的这些期望,我们认为所需的内存量远超最低指导线。事实上,当前多数OEM在打造AI PC时,已配备了24GB至32GB的DRAM。”

从存储角度来看,尽管OEM目前提供的最低容量为512GB,但我们认为对于AI工作负载而言,更理想的容量应接近1TB。

不过,这不仅仅关乎容量大小,功耗效率和性能同样至关重要。在存储领域,目标是以最高效的方式将AI模型从存储加载到内存中。为此,需要在不增加功耗的前提下,获得尽可能高的吞吐量。美光高性能客户端3500 SSD在相同功耗下提供了业界领先的性能。

针对于AI PC,美光科技加速了LPDDR5X在AI PC中的应用普及。与同类SODIMM产品相比,LPDDR5X的性能提升了约1.5倍。此外,还专为AI个人电脑设计了一种新型内存模块——LPCAMM2。与传统SODIMM产品相比,LPCAMM2不仅性能提升1.5倍,而且功耗降低高达58%,空间节省达64%。这款新产品于今年早些时候推出,主要围绕三大目标设计:提升性能、降低功耗以及减小体积。在标准PC中,通常需要两个SODIMM并排放置,占用主板大量空间。而LPCAMM2则将这些功能集成到一个DIMM中,从而显著提升了电源效率和性能。

在当前的PC环境中,以我们内部使用的Microsoft Copilot为例,它高度依赖云计算,将大部分复杂任务卸载到云端。然而,未来的AI个人电脑将能够在本地处理部分工作负载,减少对云端的依赖。这样,模型复杂性将降低,AI个人电脑能在保持高性能的同时,实现更高效的能源利用,提高数据处理的灵活性和速率。

在PC的本地存储中完全可以放置多个模型,并根据用户查询的上下文加载这些模型。例如,如果用户需要语音转文本服务,您可以加载相关模型;如果用户需要图像创建,您可以加载相应的模型。在此过程中,关键在于以节能方式从存储中加载数据,因此,SSD的性能至关重要,它需在最低功耗下实现最高吞吐量,即充分利用PCIe 4.0 的四通道。

为此,美光科技的3500 SSD不仅在最低功耗下提供行业领先的性能。同时,该SSD中内置了启发式算法。当检测到AI工作负载时,驱动器可以主动加载所需的正确模型或数据。这些就是为实现高效能和电源效率所做的优化。

QLC越发重要,闪存层数应从纵横向提升


当本网记者问及当前QLC对于AI存储越来越重要,美光的看法与规划,以及3D NAND闪存的层数将如何发展等问题时,Prasad Alluri也给出了详细的分析。

Prasad Alluri表示,从NAND威廉希尔官方网站 的视角来看,最关键的因素在于每平方毫米的容量密度。也就是我们最终追求的是比特面密度(Bit Areal Density),因为这将有助于降低成本。

但是,有多种方法可以实现这一目的。其中一种是对单个物理单元提升容量。这正是四阶存储单元(QLC)威廉希尔官方网站 大显身手的地方,而我们在这一领域始终保持领先地位,特别是在PC市场率先推出了这一威廉希尔官方网站 。目前,美光科技在该领域的市场占有率位居前列。尽管我们尚未宣布针对数据中心的具体计划,但我们仍在持续投资QLC威廉希尔官方网站 ,并致力于提高容量密度,这是推动威廉希尔官方网站 进步的重要途径之一。

另外,在NAND威廉希尔官方网站 中可以通过堆叠更多层来增加单位面积内的容量。美光科技最近推出了第九代(G9)TLC NAND威廉希尔官方网站 。虽然目前尚不清楚3D NAND的层数何时会达到极限,但在未来的几代产品中,美光的闪存层数将继续增加。

wKgaoWcLdeyAPoT_AAH35i87vBg197.png

但他也强调,层数并非实现比特面密度提升的唯一关键因素,因为横向扩展同样至关重要。除了关注3D堆叠层的数量外,还需要考虑单元之间水平位置的接近程度。这种横向优化是美光提高比特面密度的另一个关键领域。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4296

    浏览量

    85801
  • 数据中心
    +关注

    关注

    16

    文章

    4761

    浏览量

    72035
  • AI
    AI
    +关注

    关注

    87

    文章

    30728

    浏览量

    268892
  • 美光
    +关注

    关注

    5

    文章

    709

    浏览量

    51418
  • AI PC
    +关注

    关注

    0

    文章

    123

    浏览量

    237
收藏 人收藏

    评论

    相关推荐

    华迅光通AI计算加速800G模块部署

    400G模块。更多信息可以在这篇文章中找到:NVIDIA DGX H100简介。这表明在叶脊架构下,数据中心对高速模块的需求呈指数级增长。随着数据中心规模的扩大,特别是对
    发表于 11-13 10:16

    AI PC存储远超“基准要求”,两大策略应对数据中心存储池”

    在接受包括电子发烧友网在内的少数媒体采访时指出,与过往不同,闪存和内存曾各自为政,主要致力于提高密度。AI的兴起带来了两大转变,一是与系统架构的协同优化;二是将能效作为关键优化参数。为此,科技正积极优化
    的头像 发表于 10-18 09:09 2577次阅读
    <b class='flag-5'>美</b><b class='flag-5'>光</b><b class='flag-5'>高</b><b class='flag-5'>管</b>:<b class='flag-5'>AI</b> <b class='flag-5'>PC</b><b class='flag-5'>存储</b>远超“基准要求”,两大策略应对<b class='flag-5'>数据中心</b>“<b class='flag-5'>存储</b>池”

    发布全新数据中心SSD

    近日,全球领先的存储解决方案提供商科技股份有限公司宣布了一项重大创新成果——9550 NVMe™ SSD的正式推出。这款专为
    的头像 发表于 07-30 16:41 636次阅读

    推出数据中心SSD产品9550 NVMe SSD新品

    科技股份有限公司(纳斯达克股票代码:MU)近日宣布,推出数据中心 SSD 产品 9550 NVMe SSD,性能业界领先,同时具备卓
    的头像 发表于 07-29 18:12 1153次阅读

    推出全新数据中心 SSD,性能业界领先

    数据中心 SSD 产品 9550 NVMe™ SSD,性能业界领先,同时具备卓越的 AI 工作负载性能及能效。[1]
    发表于 07-29 15:13 937次阅读

    HBM投资增加,2024资本支出预测上调至80亿美元

    科技适度调整了2024的资本开支预估,加大对带宽存储(HBM)半导体生产线的投入力度,以
    的头像 发表于 05-22 14:59 531次阅读

    HNS 2024:星河AI数据中心网络,赋AI时代新动能

    华为数据通信创新峰会2024在巴库隆重举办,在“星河AI数据中心网络,赋AI时代新动能”主题论坛中,华为面向中东中亚地区发布星河
    的头像 发表于 05-15 09:15 647次阅读
    HNS <b class='flag-5'>2024</b>:星河<b class='flag-5'>AI</b><b class='flag-5'>数据中心</b>网络,赋<b class='flag-5'>AI</b>时代新动能

    率先出货用于AI数据中心的关键内存产品

    科技近日在业界取得重大突破,成功验证并率先推出了一款针对AI数据中心的关键内存产品。这款新产品基于大容量32Gb单块DRAM芯片,构建成了128GB DDR5 RDIMM内存,其传
    的头像 发表于 05-10 09:38 377次阅读

    以信任为基,围绕AI推动存储革命

    为基础的存储革命。   在这场革命中,不仅提供高性能的存储产品,更是在AI时代构建起信任的基石,确保
    发表于 04-01 09:15 703次阅读
    以信任为基,围绕<b class='flag-5'>AI</b>,<b class='flag-5'>美</b><b class='flag-5'>光</b>推动<b class='flag-5'>存储</b>革命

    展望2024数据中心基础设施

    前阵子,DeLL'ORO GROUP发布预测报告,回顾了23年数据中心基础设施报告中的突出趋势,及展望了2024年数据中心基础设施的发展情况,以下是报告内容。
    的头像 发表于 03-25 15:59 395次阅读

    AI需求引爆存储市场,2024存储市场趋势如何?CFMS给出预测

    3月20日,2024中国闪存市场峰会CFMS在深圳前海华侨城JW万豪酒店盛大召开,三星、SK海力士、、铠侠、长江存储等内存大厂
    的头像 发表于 03-21 18:17 4702次阅读
    <b class='flag-5'>AI</b>需求引爆<b class='flag-5'>存储</b>市场,<b class='flag-5'>2024</b><b class='flag-5'>存储</b>市场<b class='flag-5'>趋势</b>如何?CFMS给出预测

    是德科技推出AI数据中心测试平台旨在加速AI/ML网络验证和优化的创新

    20242月29日,是德科技(Keysight Technologies,Inc.)宣布,针对人工智能(AI)和机器学习(ML)基础设施生态系统,推出了 AI
    的头像 发表于 02-29 09:32 629次阅读
    是德科技推出<b class='flag-5'>AI</b><b class='flag-5'>数据中心</b>测试平台旨在加速<b class='flag-5'>AI</b>/ML网络验证和优化的创新

    让数字世界坚定运行 | 华为发布2024数据中心能源十大趋势

    深圳20241月17日 /通社/ -- 近日,华为举办2024数据中心能源十大趋势发布会并发
    的头像 发表于 01-17 20:45 553次阅读
    让数字世界坚定运行 | 华为发布<b class='flag-5'>2024</b><b class='flag-5'>数据中心</b>能源十大<b class='flag-5'>趋势</b>

    华为发布2024数据中心能源十大趋势,引领未来变革

    20241月15日,华为举办2024数据中心能源十大趋势发布会并发布《白皮书》。JAEALOT2024
    的头像 发表于 01-17 08:25 559次阅读
    华为发布<b class='flag-5'>2024</b><b class='flag-5'>数据中心</b>能源十大<b class='flag-5'>趋势</b>,引领未来变革

    从CES 2024AI PC江湖

    CES 2024有闭幕的一天,但这场名为AIPC产业协奏,才初试啼声
    的头像 发表于 01-13 14:53 1898次阅读
    从CES <b class='flag-5'>2024</b><b class='flag-5'>看</b><b class='flag-5'>AI</b> <b class='flag-5'>PC</b>江湖