0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用 NVIDIA AI Enterprise 3.0 优化生产级 AI 的性能和效率

NVIDIA英伟达 来源:未知 2023-04-17 23:15 次阅读

NVIDIA AI Enterprise 是一款端到端的安全云原生 AI 软件套件。最近发布的 NVIDIA AI Enterprise 3.0 加入了帮助优化生产级 AI 性能与效率的新功能。本文将详细介绍以下新功能及其工作原理

· Magnum IO GPUDirect Storage

· VMware vSphere 8.0的 GPU 虚拟化功能

· Red Hat Enterprise Linux(RHEL)KVM 8 和 9

· Fractional multi-vGPU 支持

· 对 NVIDIA AI 的扩展支持

生产级 AI 功能

NVIDIA AI Enterprise 3.0 版本中的新 AI 工作流有助于缩短生产级 AI 的开发时间。这些工作流是常见 AI 用例的参考应用,包括联络中心智能虚拟助理、音频转录、数字指纹等。

未加密的预训练模型也首次包括在内,这确保了 AI 的可解释性并使开发者能够查看模型的权重和偏差,并了解模型的偏差。

NVIDIA AI Enterprise 现在支持 NGC 目录中发布的所有 NVIDIA AI 软件。已经使用过 NGC 的开发者现在可以无缝过渡到 NVIDIA AI Enterprise 并使用支持 50 多个 AI 框架、预训练模型和 SDK 的 NVIDIA Enterprise Support。

基础设施性能功能

NVIDIA AI Enterprise 3.0 包含许多有助于优化基础设施性能的新功能,因此用户可以从他们的 AI 投资中获得最大收益并最大程度地节约成本和时间。下面将对这些功能进行详细说明。

Magnum IO GPUDirect Storage

企业现在可以在部署 NVIDIA AI Enterprise 3.0 的情况下,利用 Magnum IO GPUDirect Storage 的性能优势来加速和扩展他们的 AI 工作负载。GPUDirect Storage 1.4 打通了本地或远程存储与 GPU 内存之间的直接数据路径,为复杂的工作负载提供无与伦比的性能。

GPUDirect Storage 简化并提高了存储和 GPU 缓冲区之间的数据流的效率,适用于在 GPU 上消耗或产生数据而不需要 CPU 处理的应用。该功能通过远程直接内存访问(RDMA),在从存储到 GPU 内存的直接路径上快速移动数据,减少延迟并通过消除回弹缓冲区产生的多余复制来减轻 CPU 的负担。

GPUDirect Storage 带来了明显的性能提升。与 NumPy 相比,使用 NVIDIA DALI 进行深度学习推理时,性能提高了 7.2 倍。

美国国家航空航天局(NASA)的火星探测器演示项目使用 NVIDIA IndeX 和 GPUDirect Storage 以及 27000 多个 NVIDIA GPU 来interwetten与威廉的赔率体系 逆向推进,在使用 PCIe 交换机和 NVLinks 以及 GPUDirect Storage 时,带宽提高了 5 倍。

406dec70-dd32-11ed-bfe3-dac502259ad0.png

图 1. GPUDirect Storage 提供了一条从存储出发、完全跳过 CPU 的直接路径,消除了绑定在 CPU 上的回弹缓冲。

VMware vSphere 8.0 的 GPU 虚拟化功能

NVIDIA AI Enterprise 3.0 引入了对 VMware vSphere 8 的支持,包括多项可加速性能和提高运行效率的功能。VMware 环境现在可以在一个虚拟机上添加多达 8 个虚拟 GPU,vGPU 数量比之前的版本多了一倍。这提高了大型 ML 模型的性能,为复杂的 AI 和 ML 工作负载提供了更高的可扩展性。

随着设备组的引入,IT 管理员现在可以更好的控制虚拟机的放置。vSphere 附带的管理工具分布式资源调度(DRS)可确定虚拟机的最佳放置位置。

新的设备组功能提供了对 PCIe 设备的洞察,这些设备在硬件层面上(通过 NVLink 或 PCIe 开关)相互配对,IT 管理员可以从中选择一个子集,提交给虚拟机作出 DRS 调度决策。

通过设备组,IT 管理员可以确保设备子集被一起分配给虚拟机。例如,如果用户想要通过扩展 GPU 来加速大型模型,IT 管理员可以创建一个包含 GPU 的设备组并通过 NVLink 连接这些设备,比如图 2 中的设备组 1。

如果用户想要向外扩展到多台服务器以进行分布式训练,可以使用共享同一 PCIe 交换机的 GPU 和 NIC 组成设备组,比如图 2 中的设备组 2。

4091dd92-dd32-11ed-bfe3-dac502259ad0.png

图 2. 有两个 GPU 的设备组(左)和服务器上有一个 GPU 与网卡的设备组(右)

Red Hat Enterprise Linux KVM

NVIDIA AI Enterprise 3.0 将虚拟化支持扩展至 Red Hat Enterprise Linux 8.4、8.6、8.7、9.0 和 9.1,使企业能够将 KVM 功能扩展到他们的 AI 工作负载。通过 RHEL KVM,管理员可以在一个虚拟机上添加多达 16 个虚拟 GPU,将计算密集型工作负载的处理速度提高数倍。

Fractional multi-vGPU 支持

管理员现在可以通过 NVIDIA AI Enterprise 3.0,为一台虚拟机配置多个 Fractional vGPU,从而更加灵活地根据工作负载优化虚拟机的配置。在该版本发布之前,每台虚拟机只能通过一个或多个整数份 GPU 加速。

管理员现在能够更加灵活地根据工作负载的计算需求,为一个虚拟机分配多个部分 vGPU 配置文件。例如,当运行具有不同计算需求的多个推理工作负载时,管理员可以根据工作负载的内存需求,为一个虚拟机分配不同数量帧缓冲器的 NVIDIA A100 Tensor Core GPU 的部分配置文件。

需要注意的是,所有部分配置文件必须是相同的板卡类型和系列。可以将一个或多个物理 GPU 分成这些份额的 vGPU 配置文件。该功能在 VMware vSphere 8 和 RHEL KVM 8 和 9 上均可以使用。

40abb082-dd32-11ed-bfe3-dac502259ad0.png

图 3. 将一个配置文件分成多个 vGPU 分配给一个虚拟机

对 NVIDIA AI 的扩展支持

NVIDIA AI Enterprise 为 NGC 目录中发布的所有 NVIDIA AI 软件提供支持,该目录目前包含 50 多个框架和模型。所有受支持的模型都标有“NVIDIA AI Enterprise Supported”以帮助用户轻松识别支持的软件。

40c3de96-dd32-11ed-bfe3-dac502259ad0.png

图 4. 所有 NVIDIA AI Enterprise 支持的模型在 NGC 目录中都有标注

总结

通过最新 3.0 版本的 NVIDIA AI Enterprise,企业可以使用最新的性能和效率优化功能缩短生产级 AI 的开发时间。NVIDIA LaunchPad 使用户可以在私有加速计算环境中即时、短期访问 NVIDIA AI Enterprise 软件套件,包括各种动手实操实验室。

即刻点击“阅读原文”扫描下方海报二维码在 NVIDIA On-Demand 上观看 GTC 精选回放,包括主题演讲相关精选、中国本地精选内容、生成式 AI 专题以及全球各行业及领域最新成果!


原文标题:使用 NVIDIA AI Enterprise 3.0 优化生产级 AI 的性能和效率

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    22

    文章

    3772

    浏览量

    91013

原文标题:使用 NVIDIA AI Enterprise 3.0 优化生产级 AI 的性能和效率

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA加速AI在日本各行各业的应用

    企业借助基于 NVIDIA AI Enterprise 与 Omniverse 工业 AI 构建的创新中心和服务加速 AI 转型。
    的头像 发表于 11-19 15:45 229次阅读

    赖耶科技通过NVIDIA AI Enterprise平台打造超级AI工厂

    NVIDIA 威廉希尔官方网站 团队保持合作。赖耶科技通过NVIDIA AI Enterprise平台打造的超级 AI 工厂,致力于加速大模型场景应用
    的头像 发表于 11-19 14:55 366次阅读

    初创公司借助NVIDIA Metropolis和Jetson提高生产线效率

    初创公司使用 NVIDIA Metropolis 视觉 AI 和 Jetson 边缘 AI 平台提高生产线效率
    的头像 发表于 11-19 14:39 179次阅读

    使用全新NVIDIA AI Blueprint开发视觉AI智能体

    为提高生产力、优化流程和创造更加安全的空间,埃森哲、戴尔科技和联想等公司正在使用全新 NVIDIA AI Blueprint 开发视觉 AI
    的头像 发表于 11-06 13:58 384次阅读

    印度头部IT企业与NVIDIA合作加速AI采用

    Infosys、TCS、Tech Mahindra 和 Wipro 这四家公司的近 50 万名开发者和顾问使用 NVIDIA AI Enterprise 软件设计和部署 AI 智能体,
    的头像 发表于 10-29 15:08 377次阅读

    NVIDIA与思科合作打造企业生成式AI基础设施

    NVIDIA 加速计算平台、NVIDIA AI Enterprise 软件和 NVIDIA NIM 推理微服务加持的思科 Nexus H
    的头像 发表于 10-10 09:35 344次阅读

    NVIDIA AI助力SAP生成式AI助手Joule加速发展

    在美国佛罗里达州奥兰多举行的 SAP Sapphire 大会上,NVIDIA 与这家企业软件公司公布了搭载NVIDIA AI Enterprise软件的生成式
    的头像 发表于 09-09 09:37 429次阅读

    NVIDIA RTX AI套件简化AI驱动的应用开发

    NVIDIA 于近日发布 NVIDIA RTX AI套件,这一工具和 SDK 集合能够帮助 Windows 应用开发者定制、优化和部署适用于 Windows 应用的
    的头像 发表于 09-06 14:45 439次阅读

    Supermicro推出适配NVIDIA Blackwell和NVIDIA HGX H100/H200的机柜即插即用液冷AI SuperCluster

    生成式AI SuperCluster与NVIDIA AI Enterprise、NIM微服务整合,并通过大规模可扩展的计算单元,提供立即性投资报酬率效益和更低的
    发表于 06-07 15:12 258次阅读
    Supermicro推出适配<b class='flag-5'>NVIDIA</b> Blackwell和<b class='flag-5'>NVIDIA</b> HGX H100/H200的机柜<b class='flag-5'>级</b>即插即用液冷<b class='flag-5'>AI</b> SuperCluster

    NVIDIA 通过 Holoscan 为 NVIDIA IGX 提供企业软件支持

    Enterprise-IGX软件现已在NVIDIA IGX平台上正式可用,以满足工业边缘对实时 AI 计算日益增长的需求。它们将共同帮助医疗、工业和科学计算领域的解决方案提供商利用企业
    的头像 发表于 06-04 10:21 502次阅读

    NVIDIA 通过 Holoscan 为 NVIDIA IGX 提供企业软件支持,实现边缘实时医疗、工业和科学 AI 应用

    医疗、工业和科学计算领域的解决方案提供商利用企业软件和支持来加快开发和部署边缘 AI 解决方案。   NVIDIA AI Enterprise
    发表于 06-03 09:48 303次阅读
      <b class='flag-5'>NVIDIA</b> 通过 Holoscan 为 <b class='flag-5'>NVIDIA</b> IGX 提供企业软件支持,实现边缘实时医疗、工业和科学 <b class='flag-5'>AI</b> 应用

    NVIDIA AI Enterprise荣获金奖

    NVIDIA AI Enterprise、GH200 Grace Hopper 超级芯片和 Spectrum-X 在 COMPUTEX 2024 获得认可。
    的头像 发表于 05-29 09:27 446次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> <b class='flag-5'>Enterprise</b>荣获金奖

    研华与英伟达深化合作,成为NVIDIA AI Enterprise软件全球分销商

    近日,研华宣布扩大与英伟达的合作,未来将通过工业边缘计算和英伟达 AI Enterprise 软件平台提升全球企业的AI生产力。
    的头像 发表于 05-10 10:25 440次阅读

    研华与英伟达深化合作, 成为NVIDIA AI Enterprise软件全球分销商

    台北,2024年4月 - 研华科技(2395.TW)宣布,已扩大与NVIDIA的合作,成为台湾首家获得NVIDIA AI Enterprise认证的、用于开发和部署
    发表于 05-07 11:21 352次阅读
    研华与英伟达深化合作, 成为<b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> <b class='flag-5'>Enterprise</b>软件全球分销商

    NVIDIA 发布全新交换机,全面优化万亿参数 GPU 计算和 AI 基础设施

    NVIDIA Quantum-X800 InfiniBand 网络,打造性能最强大的 AI 专用基础设施 NVIDIA Spectrum-X800 以太网络,数据中心必备的
    发表于 03-19 10:05 333次阅读
    <b class='flag-5'>NVIDIA</b> 发布全新交换机,全面<b class='flag-5'>优化</b>万亿参数<b class='flag-5'>级</b> GPU 计算和 <b class='flag-5'>AI</b> 基础设施