0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA NIM助力企业高效部署生成式AI模型

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2024-10-10 09:49 次阅读

Canonical、Nutanix 和 Red Hat 等厂商的开源 Kubernetes 平台集成了 NVIDIA NIM,将允许用户通过 API 调用来大规模地部署大语言模型。

在企业中部署生成式 AI 将变得空前简单。

NVIDIA NIM是一套生成式 AI 推理微服务,将支持 KServe 开源软件,可以自动将 AI 模型以云计算应用的规模运行。

NVIDIA NIM 与 KServe 的组合确保了生成式 AI 可以像任何其他大型企业级应用一样进行部署,还让用户能够通过 Canonical、Nutanix 和 Red Hat 等数十家公司的平台广泛使用 NIM。

NIM 在 KServe 上的集成将使 NVIDIA 的威廉希尔官方网站 扩展到开源社区、生态系统合作伙伴和客户。借助 NIM,他们可以通过 API 调用(即现代编程的一键式操作)来获得NVIDIA AI Enterprise软件平台的性能、支持和安全性。

在 Kubernetes 上提供 AI

KServe 最初是基于 Kubernetes 的机器学习工具包 Kubeflow 的一部分。Kubernete 是一个开源系统,用于部署和管理包含大型分布式应用组件的软件容器。

随着 Kubeflow 在 AI 推理方面的不断扩展,KServe 诞生了,并最终演变成为独立的开源项目。

许多公司都为 KServe 软件做出了贡献并采用了该软件。目前,运行 KServe 软件的公司包括亚马逊科技、彭博、Canonical、思科、慧与、IBM、Red Hat、Zillow 和 NVIDIA 等。

深入解析 KServe

KServe 本质上是 Kubernetes 的扩展,它像一个强大的云应用一样运行 AI 推理。它使用标准协议,以经过优化的性能运行,并支持 PyTorch、Scikit-learn、TensorFlow 和 XGBoost,而用户无需了解这些 AI 框架的细节。

在新的大语言模型(LLM)层出不穷的情况下,该软件尤其有用。

KServe 让用户可以轻松地在模型之间来回切换,测试哪一个最符合他们的需求。当模型的新版本发布时,KServe 的 “金丝雀发布(canary rollouts)” 功能会自动执行详细验证,并逐步将其部署到生产系统中。

其另一项功能 “GPU 自动缩放” 可以随着服务需求的起伏来高效地管理模型的部署方式,从而使客户和服务提供商获得最佳体验。

生成式 AI 的 API 调用

KServe 的优势现在将通过 NVIDIA NIM 的便捷性提供。

使用 NIM ,只需一个简单的 API 调用即可应对所有的复杂性。企业 IT 管理员能够获得确保应用以最佳性能和效率运行所需的指标,无论应用是在他们的数据中心还是在远程云服务上,即使是在更改了 AI 模型的情况下。

NIM 让 IT 专家成为生成式 AI 专家,变革了公司的运营。这就是为什么 Foxconn 和 ServiceNow 等众多企业都正在部署 NIM 微服务的原因。

NIM 支持数十个 Kubernetes 平台

由于 NIM 与 KServe 的集成,用户将能够在数十个企业平台上访问 NIM,比如 Canonical 的 Charmed KubeFlow 和 Charmed Kubernetes、Nutanix GPT-in-a-Box 2.0、Red Hat 的 OpenShift AI 等等。

KServe 贡献者、Red Hat 首席软件工程师 Yuan Tang 表示:“Red Hat 一直在与 NVIDIA 合作,以便让企业更轻松地使用开源威廉希尔官方网站 来部署 AI。通过增强 KServe 并在 Red Hat OpenShift AI 中增加对 NIM 的支持,我们能够让 Red Hat 的客户更方便地访问 NVIDIA 的生成式 AI 平台。”

“通过将 NVIDIA NIM 推理微服务与 Nutanix GPT-in-a-Box 2.0 集成,客户将能够从云端到边缘以一致的方式去构建可扩展、安全、高性能的生成式 AI 应用。” Nutanix 工程副总裁 Debojyoti Dutta 表示,其团队为 KServe 和 Kubeflow 做出了贡献。

Canonical 的 MLOps 产品经理 Andreea Munteanu 表示:“作为一家对 KServe 做出重大贡献的公司,我们很高兴通过 Charmed Kubernetes 和 Charmed Kubeflow 提供 NIM。在我们的共同努力下,用户将能够轻松地使用生成式 AI 的全部功能,并使其保持最高的性能和效率。”

数十家其他软件提供商都能感受到 NIM 的好处,因为他们的产品中也包含了 KServe。

服务开源社区

NVIDIA 一直积极地参与 KServe 项目。正如最近的一篇威廉希尔官方网站 博客中所提到的,KServe 的开放推理协议已经被用于NVIDIA Triton 推理服务器,可以帮助用户跨多个 GPU、框架和操作模式同时运行许多 AI 模型。

基于 KServe,NVIDIA 专注于在多个 GPU 上一次运行一个 AI 模型的用例。

作为 NIM 集成的一部分,NVIDIA 计划在其开源软件(包括 Triton 和TensorRT-LLM)的基础上,成为 KServe 的积极贡献者。NVIDIA 还是云原生计算基金会(CNCF)的活跃成员,该基金会支持生成式 AI 和其他项目的开源代码。

立即通过 NVIDIA API 目录试用 Llama 3 8B 或 Llama 3 70B 大语言模型的 NIM API。全球数百家 NVIDIA 合作伙伴也正在使用 NIM 来部署生成式 AI。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4981

    浏览量

    102995
  • 数据中心
    +关注

    关注

    16

    文章

    4764

    浏览量

    72097
  • AI
    AI
    +关注

    关注

    87

    文章

    30757

    浏览量

    268902

原文标题:COMPUTEX 2024 | KServe 提供商在云和数据中心提供由 NIM 赋能的推理

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA推出全新生成AI模型Fugatto

    NVIDIA 开发了一个全新的生成 AI 模型。利用输入的文本和音频,该模型可以创作出包含任意
    的头像 发表于 11-27 11:29 333次阅读

    全新NVIDIA NIM微服务实现突破性进展

    全新 NVIDIA NIM 微服务实现突破性进展,可助力气象威廉希尔官方网站 公司开发和部署 AI 模型,实现
    的头像 发表于 11-21 10:07 197次阅读

    NVIDIA助力企业创建定制AI应用

    NVIDIA 近日宣布与众多威廉希尔官方网站 领导者一同使用最新NVIDIA NIM Agent Blueprint以及NVIDIA NeMo和NVIDIA
    的头像 发表于 11-20 09:12 338次阅读

    NVIDIA助力Amdocs打造生成AI智能体

    正在使用NVIDIA DGX Cloud 与 NVIDIA AI Enterprise软件开发和交付基于商用大语言模型(LLM)和领域适配模型
    的头像 发表于 11-19 14:48 329次阅读

    NVIDIA 携手全球合作伙伴推出 NIM Agent Blueprints,助力企业打造属于自己的 AI

    可定制工作流目录加快核心生成 AI 用例的部署速度。首批用例包括客户服务、药物研发和 PDF 数据提取,未来将加入更多用例 企业可以使用
    发表于 08-28 10:10 214次阅读
    <b class='flag-5'>NVIDIA</b> 携手全球合作伙伴推出 <b class='flag-5'>NIM</b> Agent Blueprints,<b class='flag-5'>助力</b><b class='flag-5'>企业</b>打造属于自己的 <b class='flag-5'>AI</b>

    借助NVIDIA NIM加速AI应用部署

    大语言模型(LLM)在企业组织中的应用日益广泛,许多企业都将其整合到 AI 应用中。虽然从基础模型着手十分
    的头像 发表于 08-23 16:38 388次阅读
    借助<b class='flag-5'>NVIDIA</b> <b class='flag-5'>NIM</b>加速<b class='flag-5'>AI</b>应用<b class='flag-5'>部署</b>

    全新NVIDIA NIM微服务将生成AI引入数字环境

    生成物理 AI NIM 微服务以及 NVIDIA Metropolis 参考工作流旨在协助创建智能的沉浸
    的头像 发表于 08-02 15:20 534次阅读

    NVIDIA NIM:打造AI领域的AI-in-a-Box,提高AI开发与部署高效

    据7月30日官方发布的资讯显示,在全球备受瞩目的计算机图形学盛会——SIGGRAPH 2024上,NVIDIA公司对外展示了其在诸如渲染、仿真及生成AI等前沿领域所取得的卓越成果,而
    的头像 发表于 07-30 16:27 661次阅读

    NVIDIA携手Meta推出AI服务,为企业提供生成AI服务

    NVIDIA近日宣布了一项重大举措,正式推出NVIDIA AI Foundry服务与NVIDIA NIM
    的头像 发表于 07-25 16:57 532次阅读

    英伟达推出全新NVIDIA AI Foundry服务和NVIDIA NIM推理微服务

    NVIDIA 宣布推出全新 NVIDIA AI Foundry 服务和 NVIDIA NIM 推理微服务,与同样刚推出的 Llama 3.1
    的头像 发表于 07-25 09:48 698次阅读

    NVIDIA AI Foundry 为全球企业打造自定义 Llama 3.1 生成 AI 模型

    Foundry 提供从数据策管、合成数据生成、微调、检索、防护到评估的全方位生成 AI 模型服务,以便
    发表于 07-24 09:39 706次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> Foundry 为全球<b class='flag-5'>企业</b>打造自定义 Llama 3.1 <b class='flag-5'>生成</b><b class='flag-5'>式</b> <b class='flag-5'>AI</b> <b class='flag-5'>模型</b>

    生成AI医疗崭露头角:Meta Llama 3 NIM引数十公司关注

    NVIDIA NIM推理微服务在ai.nvidia.com网站上供大家下载。这使得医疗健康开发者、科研人员及企业能在各类应用中合理创新,而NIM
    的头像 发表于 06-07 15:25 1536次阅读

    英伟达推出AI模型推理服务NVIDIA NIM

    英伟达近日宣布推出一项革命性的AI模型推理服务——NVIDIA NIM。这项服务将极大地简化AI模型
    的头像 发表于 06-04 09:15 674次阅读

    NVIDIA将全球数百万开发者转变为生成 AI 开发者

    来自 AI 生态系统各个领域的 150 余家合作伙伴嵌入了 NIM 推理微服务,将企业AI 应用的部署时间从数周缩短至几分钟
    的头像 发表于 06-03 18:21 1024次阅读

    NVIDIA NIM 革命性地改变模型部署,将全球数百万开发者转变为生成 AI 开发者

    部署在云、数据中心或工作站上。借助 NVIDIA NIM,开发者能够轻松地为 copilots、聊天机器人等构建生成
    发表于 06-03 09:12 225次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>NIM</b> 革命性地改变<b class='flag-5'>模型</b><b class='flag-5'>部署</b>,将全球数百万开发者转变为<b class='flag-5'>生成</b><b class='flag-5'>式</b> <b class='flag-5'>AI</b> 开发者