0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

最新MLCommons结果公布 英特尔展现强大AI推理性能

英特尔中国 来源:未知 2023-09-15 19:35 次阅读

近日,MLCommons公布针对60亿参数大语言模型及计算机视觉与自然语言处理模型GPT-J的MLPerf推理v3.1性能基准测试结果,其中包括英特尔所提交的基于HabanaGaudi2加速器、第四代英特尔至强可扩展处理器,以及英特尔至强CPU Max系列的测试结果。该结果显示了英特尔在AI推理方面极具竞争力的表现,并进一步加强了其对加速从云到网络到边缘再到端的工作负载中大规模部署AI的承诺。

正如最新的MLCommons结果显示,我们拥有强大的、具有竞争力的人工智能产品组合以满足客户对高性能、高效率的深度学习推理及训练的需求,同时,针对各种规模的人工智能模型,英特尔产品组合均具有领先的性价比优势。

--Sandra Rivera

英特尔执行副总裁

兼数据中心与人工智能事业部总经理

根据6月披露的MLCommonsAI训练结果1和Hugging Face性能基准测试2验证,Gaudi2在先进的视觉语言模型上拥有卓越的性能,而今天的结果进一步证明了英特尔能够提供满足AI计算需求的绝佳解决方案。

考虑到客户的个性化需求,英特尔正在通过能够帮助解决AI工作负载中推理与训练问题的产品,让AI无处不在。英特尔的AI产品为客户提供了可根据各自性能、效率及目标成本进行灵活匹配以获取最佳AI解决方案的理想选择,同时亦帮助客户开放生态系统。

wKgZomUEQpSAGFIyAABOUcjx2Xw150.gif

关于Habana Gaudi2的测试结果:

Habana Gaudi2在GPT-J模型上的推理结果强有力地验证了其具有竞争力的性能。

Gaudi2在GPT-J-99和GPT-J-99.9上的服务器查询和离线样本的推理性能分别为78.58次/秒和84.08次/秒。

Gaudi2提交的结果采用FP8数据类型,并在这种新数据类型上达到了99.9%的准确率。

随着每6-8周公布的Gaudi2软件更新,英特尔将继续在MLPerf基准测试中展现其产品的性能提升,以及持续扩大的模型覆盖范围。

wKgZomUEQpSAOHLSAAXSxMWr49Y014.png

Habana Gaudi2在GPT-J模型上的推理结果

验证了其具有竞争力的性能

wKgZomUEQpSAGFIyAABOUcjx2Xw150.gif

关于第四代至强可扩展处理器的测试结果:

英特尔提交了基于第四代英特尔至强可扩展处理器的7个推理基准测试,其中包括GPT-J模型。结果显示,包括视觉、语言处理、语音和音频翻译模型,以及更大的DLRM v2深度学习推荐模型及ChatGPT-J模型在内,第四代至强处理器对于通用AI工作负载拥有出色的性能。此外,截至目前,英特尔仍是唯一一家使用行业标准的深度学习生态系统软件提交公开CPU结果的厂商

第四代英特尔至强可扩展处理器是通过流行的AI框架与库构建及部署通用AI工作负载的理想选择。对于GPT-J对约1000-1500字新闻稿进行100字总结的任务,第四代至强可扩展处理器可在离线模式下完成每秒两段的总结提要,在实时服务器模式下完成每秒一段的总结提要。

英特尔首次提交了英特尔至强CPU Max系列的MLPerf结果,该系列可提供高达64GB的高带宽内存。对于GPT-J而言,它是仅有的能够达到99.9%准确度的CPU,这对于对精度要求极高的应用来说至关重要。

英特尔与OEM厂商合作提交了测试结果,进一步展示了其AI性能的可扩展性,以及基于英特尔至强处理器的通用服务器的可获取性,充分满足客户服务水平协议(SLA)。

wKgZomUEQpWAFJSKAAO8Ll3VFIE534.png

第四代至强可扩展处理器

是构建及部署通用AI工作负载的理想选择

MLPerf是业内享有盛名的AI性能基准测试,旨在实现公平、可重复的产品性能比较。英特尔计划为下一个MLPerf测试提交新的AI训练性能结果。持续的性能更新彰显了英特尔致力于帮助客户、助力AI威廉希尔官方网站 演进所迈出的每一步,无论是低成本的AI处理器,还是面向网络、云和企业用户的高性能AI硬件加速器或是GPU

注释:

  1. https://www.intel.com/content/www/us/en/newsroom/news/new-mlcommons-results-ai-gains-intel.html#gs.51njha

  2. https://huggingface.co/blog/bridgetower


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    61

    文章

    9953

    浏览量

    171699
  • cpu
    cpu
    +关注

    关注

    68

    文章

    10855

    浏览量

    211604

原文标题:最新MLCommons结果公布 英特尔展现强大AI推理性能

文章出处:【微信号:英特尔中国,微信公众号:英特尔中国】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    MLCommons推出AI基准测试0.5版

    开放式机器学习工程联盟 MLCommons 在美国加州当地时间公布推出适用于消费类 PC 的 AI 性能的 MLPerf Client 基准测试的 0.5 版,这是该测试的第一个公开版
    的头像 发表于 12-12 16:47 291次阅读

    英特尔推出全新英特尔锐炫B系列显卡

    备受玩家青睐的价格提供卓越的性能与价值1,很好地满足现代游戏需求,并为AI工作负载提供加速。其配备的英特尔Xe矩阵计算引擎(XMX),为新推出的XeSS 2提供强大支持。XeSS 2的
    的头像 发表于 12-07 10:16 680次阅读
    <b class='flag-5'>英特尔</b>推出全新<b class='flag-5'>英特尔</b>锐炫B系列显卡

    同花顺携手英特尔,推出基于强大算力的AI PC版,引领金融科技新潮流

    作——同花顺AI PC版。这一创新产品标志着同花顺在金融科技领域的又一次重大突破,为投资者带来了前所未有的智能投顾服务体验。 同花顺AI PC版是同花顺与英特尔合作的成果,利用英特尔
    的头像 发表于 11-27 15:13 261次阅读
    同花顺携手<b class='flag-5'>英特尔</b>,推出基于<b class='flag-5'>强大</b>算力的<b class='flag-5'>AI</b> PC版,引领金融科技新潮流

    英特尔聚焦AI座舱

    英特尔推出首款锐炫车载独立显卡(dGPU)和第一代英特尔软件定义车载SoC系列,满足当前消费者对汽车内部配备更多屏幕、获得更高清晰度等AI座舱体验需求。 英特尔副总裁、汽车事业部总经理
    的头像 发表于 10-30 16:26 199次阅读

    英特尔AI PC无所不能的实力

    百业的最后一公里问题。而客户端的AI能力也在不断提升,最终将解决个人AI的数据隐私和个性化问题。可见,AI非常适合云边端三级架构,按照用户场景进行针对性部署。英特尔为云边端都提供了
    的头像 发表于 10-12 10:26 400次阅读

    四大核心展区,英特尔在工博会展现AI与制造深度融合

    2024年9月25日,上海——  在第24届中国国际工业博览会(CIIF)上,英特尔携手多家生态合作伙伴亮相展会,通过精心布局的 “机器视觉”、“负载整合”、“工业控制”、及“工业AI与大模型”四大
    的头像 发表于 09-27 09:30 250次阅读
    四大核心展区,<b class='flag-5'>英特尔</b>在工博会<b class='flag-5'>展现</b><b class='flag-5'>AI</b>与制造深度融合

    开箱即用,AISBench测试展示英特尔至强处理器的卓越推理性能

    。 中国电子威廉希尔官方网站 标准化研究院赛西实验室依据国家标准《人工智能服务器系统性能测试规范》(征求意见稿)相关要求,使用AISBench 2.0测试工具,完成了第五代英特尔至强可扩展处理器的AI大模型
    的头像 发表于 09-06 15:33 320次阅读
    开箱即用,AISBench测试展示<b class='flag-5'>英特尔</b>至强处理器的卓越<b class='flag-5'>推理性能</b>

    英特尔IT的发展现状和创新动向

    AI大模型的爆发,客观上给IT的发展带来了巨大的机会。作为把IT发展上升为战略高度的英特尔,自然在推动IT发展中注入了强劲动力。英特尔IT不仅专注于创新、AI和优化,以及
    的头像 发表于 08-16 15:22 551次阅读

    英特尔发布AI创作应用AI Playground,将于今夏正式上线!

    AI PC入门应用程序AI Playground,让广大用户在本地即可快速实现AI个性化创作。 英特尔Xe2 GPU架构,带来50%的性能
    的头像 发表于 06-14 09:44 464次阅读
    <b class='flag-5'>英特尔</b>发布<b class='flag-5'>AI</b>创作应用<b class='flag-5'>AI</b> Playground,将于今夏正式上线!

    英特尔CEO:AI时代英特尔动力不减

    英特尔CEO帕特·基辛格坚信,在AI威廉希尔官方网站 的飞速发展之下,英特尔的处理器仍能保持其核心地位。基辛格公开表示,摩尔定律仍然有效,而英特尔在处理器和芯片威廉希尔官方网站 上的创新能力将持续驱动公司前进。
    的头像 发表于 06-06 10:04 420次阅读

    英特尔助力京东云用CPU加速AI推理,以大模型构建数智化供应链

    英特尔助力京东云用CPU加速AI推理,以大模型构建数智化供应链
    的头像 发表于 05-27 11:50 531次阅读
    <b class='flag-5'>英特尔</b>助力京东云用CPU加速<b class='flag-5'>AI</b><b class='flag-5'>推理</b>,以大模型构建数智化供应链

    宁畅B5000 G5多节点服务器采用第五代英特尔至强可扩展处理器

    “基于第五代英特尔 至强 可扩展处理器的宁畅B5000 G5多节点服务器,可以在满足大量AI推理场景在吞吐量、时延、容量、并发能力等方面的需求,而且与专用的GPU服务器相比,在灵活性方面更具优势。我们希望能够与
    的头像 发表于 05-27 11:46 817次阅读
    宁畅B5000 G5多节点服务器采用第五代<b class='flag-5'>英特尔</b>至强可扩展处理器

    英特尔重磅发布全新AI战略,携手生态共同释放企业AAI潜力

    在近期举行的Intel Vision 2024大会上,英特尔重磅发布其开放的、可扩展的全新AI战略,同时公布英特尔®至强®6处理器的品牌焕新,满足客户对于处理器能效和
    的头像 发表于 04-28 11:11 555次阅读
    <b class='flag-5'>英特尔</b>重磅发布全新<b class='flag-5'>AI</b>战略,携手生态共同释放企业AAI潜力

    英特尔vPro让AI PC造福企业

    全新vPro平台为各种规模的企业提供出色的生产力、安全性、可管理性和稳定性 最新消息:今天,英特尔在2024年世界移动通信大会(MWC 2024)上宣布,全新英特尔® vPro®平台将AI
    的头像 发表于 02-28 16:01 373次阅读

    英特尔首推面向AI时代的系统级代工—英特尔代工

    英特尔首推面向AI时代的系统级代工——英特尔代工(Intel Foundry),在威廉希尔官方网站 、韧性和可持续性方面均处于领先地位。
    的头像 发表于 02-25 10:38 539次阅读
    <b class='flag-5'>英特尔</b>首推面向<b class='flag-5'>AI</b>时代的系统级代工—<b class='flag-5'>英特尔</b>代工