NVIDIA 于今日推出数十项企业级生成式 AI 微服务,企业可以利用这些微服务在自己的平台上创建和部署定制应用,同时保留对知识产权的完整所有权和控制权。
这些云原生微服务目录在NVIDIA CUDA平台上开发,其中包括NVIDIA NIM微服务,可适用于 NVIDIA 及合作伙伴生态系统中 20 多个热门的 AI 模型进行推理优化。此外,用户现能够以NVIDIA CUDA-X微服务的形式使用 NVIDIA 加速软件开发套件、库和工具,用于检索增强生成(RAG)、护栏、数据处理、HPC 等。NVIDIA 还发布了 20 多项医疗 NIM 和 CUDA-X 微服务。
这些精心挑选的微服务为 NVIDIA 全栈计算平台增添了新的一层,连接起了由模型开发人员、平台提供商和企业组成的 AI 生态系统,使其能够通过标准化的路径来运行针对 NVIDIA CUDA 安装基础(在云、数据中心、工作站和 PC 中的数以亿计的 GPU)优化的定制 AI 模型。
NVIDIA 创始人兼首席执行官黄仁勋表示:“成熟的企业平台坐拥数据金矿,这些数据可以转化为生成式 AI 助手。我们与合作伙伴生态系统一起创建的这些容器化 AI 微服务,是各行业企业成为 AI 公司的基石。”
NIM 推理微服务将部署时间从几周缩短至几分钟
NIM 微服务提供基于 NVIDIA 推理软件的预构建容器,包括 Triton 推理服务器 和 TensorRT-LLM,使开发者能够将部署时间从几周缩短至几分钟。
它们为语言、语音和药物发现等领域提供行业标准 API,使开发者能够使用安全托管在自己的基础设施中的专有数据,来快速构建 AI 应用。这些应用可按需扩展,从而为在 NVIDIA 加速计算平台上运行生产级生成式 AI 提供灵活性和性能。
面向 RAG、数据处理、护栏、HPC 的 CUDA-X 微服务
CUDA-X 微服务为数据准备、定制和训练提供端到端的构建模块,助力各行各业加快开发生产级 AI。
为了加快 AI 采用,企业可以使用 CUDA-X 微服务,包括用于定制语音和翻译 AI 的 NVIDIA Riva、用于路由优化的 NVIDIA cuOpt,以及用于高分辨率气候和天气interwetten与威廉的赔率体系 的 NVIDIA Earth-2。
生态系统通过生成式 AI 微服务赋能企业平台
除了领先的应用提供商外,NVIDIA 生态系统中的数据、基础设施和计算平台提供商也在使用 NVIDIA 微服务,为企业带来生成式 AI。
包括 Box、Cloudera、Cohesity、Datastax、Dropbox 和 NetApp 在内的顶级数据平台提供商正在使用 NVIDIA 微服务,帮助客户优化 RAG 管道,并将专有数据集成到生成式 AI 应用中。Snowflake 正在使用 NeMo Retriever,充分利用企业数据来构建 AI 应用。
可用性
开发者可以在 ai.nvidia.com 免费试用 NVIDIA 微服务。企业则可以在 NVIDIA 认证系统和领先的云平台上使用 NVIDIA AI Enterprise 5.0 部署生产级 NIM 微服务。
审核编辑:刘清
-
NVIDIA
+关注
关注
14文章
4981浏览量
102997 -
GPU芯片
+关注
关注
1文章
303浏览量
5804 -
生成式AI
+关注
关注
0文章
502浏览量
471
原文标题:GTC24 | NVIDIA 推出生成式 AI 微服务,供开发者在 CUDA GPU 系统中创建部署生成式 AI 助手
文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论