0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Ampere AI优化框架如何加速 AI 推理

科技绿洲 来源:安晟培半导体 作者:安晟培半导体 2022-05-26 10:01 次阅读

Microsoft Build 是为来自全球各地的开发人员、工程师、IT 专业人员、学生和初创公司打造的年度威廉希尔官方网站 盛会。今年的会议采用线上的方式,展示 Microsoft 威廉希尔官方网站 、Windows、Office 等威廉希尔官方网站 及应用的最新前沿资讯。

此前,Ampere Computing 和 Microsoft 宣布,双方携手开发了基于全球第一款云原生处理器 Ampere® Altra® 的 Azure 虚拟机(VM),不仅为开发人员带来全新的性能和能效优势,还带来了比 x86 的同款解决方案高出 66% 的优越性价比。

Ampere Computing 受邀以精选合作伙伴身份参加今年的 Microsoft Build 大会,通过演讲、demo 展示、威廉希尔官方网站 趋势探讨等多种方式详细地介绍基于Ampere Altra 的 Azure VM 解决方案,为全球科技迷们创造了大饱眼福的机会。

您可以观看 Ampere Computing 解决方案高级总监 Sean Varley 先生发表的题为 The Essential Nature of Cloud Native Processor: Foundations, Solutions, and Benefits 的演讲,详细介绍了 Ampere Computing 如何通过领先的云原生处理器解决方案助力解决云计算未来十年的难题。

可预测性、可扩展性、高性能、安全和可持续性是助力云计算下一阶段发展的关键。Ampere Computing 推出的全球第一款云原生处理器,具备业界最高能效、最多核数。其中 128 核 Ampere® Altra® Max 在 SpecRate Integer 2017 的 Performance per Socket 跑分高达 360 的顶尖水平,而实际功耗仅为 190 瓦。

目前,Ampere Computing 的解决方案在各种工作负载上都有优秀的表现,包括 Web 服务、内存数据库、缓存、媒体转码和 AI 推理等。您可以点击「阅读原文」前往我们的虚拟展厅观看完整视频

Ampere 威廉希尔官方网站 专家带来更多精彩内容

Demo Center

带来全方位演示

云原生工作负载(如 NGINX)运行在 Ampere Altra 的 Azure VM 上的性价比远超传统 x86。

Redis 和 Memcached 等云原生工作负载如何在 Ampere Altra 上显示出比传统 x86 高 30% 的性价比优势。

Cloud Native 自动化工具可以在 Azure 上轻松配置 Ampere 虚拟机。

Innovation Center

畅谈云端最新潮流

观看 Victor Jakubiuk 关于“以 Warp Speed 进行 AI 推理”的演讲,了解 Ampere AI 优化框架如何以极少的成本和精力加速 AI 推理。

最大化视频编码的吞吐量需要一致的性能和大量的核心数。John O‘Neill 分享了在 Ampere 处理器上运行的几个视频相关基准测试的结果。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    19314

    浏览量

    230073
  • AI
    AI
    +关注

    关注

    87

    文章

    30998

    浏览量

    269328
  • 虚拟机
    +关注

    关注

    1

    文章

    918

    浏览量

    28241
  • Ampere
    +关注

    关注

    1

    文章

    67

    浏览量

    4546
收藏 人收藏

    评论

    相关推荐

    FPGA和ASIC在大模型推理加速中的应用

    随着现在AI的快速发展,使用FPGA和ASIC进行推理加速的研究也越来越多,从目前的市场来说,有些公司已经有了专门做推理的ASIC,像Groq的LPU,专门针对大语言模型的
    的头像 发表于 10-29 14:12 509次阅读
    FPGA和ASIC在大模型<b class='flag-5'>推理</b><b class='flag-5'>加速</b>中的应用

    NVIDIA助力丽蟾科技打造AI训练与推理加速解决方案

    丽蟾科技通过 Leaper 资源管理平台集成 NVIDIA AI Enterprise,为企业和科研机构提供了一套高效、灵活的 AI 训练与推理加速解决方案。无论是在复杂的
    的头像 发表于 10-27 10:03 229次阅读
    NVIDIA助力丽蟾科技打造<b class='flag-5'>AI</b>训练与<b class='flag-5'>推理</b><b class='flag-5'>加速</b>解决方案

    RISC-V如何支持不同的AI和机器学习框架和库?

    RISC-V如何支持不同的AI和机器学习框架和库?还请坛友们多多指教一下。
    发表于 10-10 22:24

    AMD助力HyperAccel开发全新AI推理服务器

    提高成本效率。HyperAccel 针对新兴的生成式 AI 应用提供超级加速的芯片 IP/解决方案。HyperAccel 已经打造出一个快速、高效且低成本的推理系统,加速了基于转换器的
    的头像 发表于 09-18 09:37 374次阅读
    AMD助力HyperAccel开发全新<b class='flag-5'>AI</b><b class='flag-5'>推理</b>服务器

    LLM大模型推理加速的关键威廉希尔官方网站

    LLM(大型语言模型)大模型推理加速是当前人工智能领域的一个研究热点,旨在提高模型在处理复杂任务时的效率和响应速度。以下是对LLM大模型推理加速关键威廉希尔官方网站 的详细探讨,内容将涵盖模型压缩、
    的头像 发表于 07-24 11:38 906次阅读

    ai大模型和ai框架的关系是什么

    AI大模型和AI框架是人工智能领域中两个重要的概念,它们之间的关系密切且复杂。 AI大模型的定义和特点 AI大模型是指具有大量参数的深度学习
    的头像 发表于 07-16 10:07 4w次阅读

    AI大模型与AI框架的关系

    在探讨AI大模型与AI框架的关系时,我们首先需要明确两者的基本概念及其在人工智能领域中的角色。AI大模型通常指的是具有极大规模、高度复杂性和强大能力的人工智能系统,它们能够处理复杂的任
    的头像 发表于 07-15 11:42 1114次阅读

    AI真·炼丹:整整14天,无需人类参与

    为了科普CPU在AI推理新时代的玩法,量子位开设了《最“in”AI》专栏,将从威廉希尔官方网站 科普、行业案例、实战优化等多个角度全面解读。我们希望通过这个专栏,让更多的人了解英特尔® 架构CPU在
    的头像 发表于 07-02 14:15 295次阅读
    <b class='flag-5'>AI</b>真·炼丹:整整14天,无需人类参与

    英特尔助力京东云用CPU加速AI推理,以大模型构建数智化供应链

    英特尔助力京东云用CPU加速AI推理,以大模型构建数智化供应链
    的头像 发表于 05-27 11:50 549次阅读
    英特尔助力京东云用CPU<b class='flag-5'>加速</b><b class='flag-5'>AI</b><b class='flag-5'>推理</b>,以大模型构建数智化供应链

    开发者手机 AI - 目标识别 demo

    Network Runtime 神经网络运行时,作为中间桥梁连通上层AI推理框架和底层加速芯片,实现AI模型的跨芯片
    发表于 04-11 16:14

    ONNX Runtime支持龙架构,AI推理生态再添新翼

    近日,备受瞩目的AI推理框架开源社区ONNX Runtime宣布推出支持龙架构的新版本1.17.0,这一里程碑式的更新意味着龙芯平台上的AI推理
    的头像 发表于 03-27 10:58 737次阅读

    AI推理框架软件ONNX Runtime正式支持龙架构

    近日,知名AI推理框架开源社区ONNX Runtime正式发布支持龙架构的版本1.17.0。
    的头像 发表于 03-12 12:23 595次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b><b class='flag-5'>框架</b>软件ONNX Runtime正式支持龙架构

    使用NVIDIA Triton推理服务器来加速AI预测

    这家云计算巨头的计算机视觉和数据科学服务使用 NVIDIA Triton 推理服务器来加速 AI 预测。
    的头像 发表于 02-29 14:04 592次阅读

    是德科技推出AI数据中心测试平台旨在加速AI/ML网络验证和优化的创新

    2024年2月29日,是德科技(Keysight Technologies,Inc.)宣布,针对人工智能(AI)和机器学习(ML)基础设施生态系统,推出了 AI数据中心测试平台,旨在加速AI
    的头像 发表于 02-29 09:32 647次阅读
    是德科技推出<b class='flag-5'>AI</b>数据中心测试平台旨在<b class='flag-5'>加速</b><b class='flag-5'>AI</b>/ML网络验证和<b class='flag-5'>优化</b>的创新

    【国产FPGA+OMAPL138开发板体验】(原创)5.FPGA的AI加速源代码

    FPGA架构的优化。以下是我写的一个简化版的代码,用来展示FPGA如何加速AI计算中的某个简单操作(比如矩阵乘法)。 // Verilog代码,用于FPGA上的AI
    发表于 02-12 16:18