0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA AI模型QUEEN实现高效内容直播

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2024-12-19 16:42 次阅读

这个被称为 QUEEN 的模型支持低带宽、高质量的场景生成,可用于工业机器人操作、3D 视频会议和直播等流媒体应用。

NVIDIA Research 与马里兰大学合作开发的 AI 模型 QUEEN 将内容直播带入全新的维度。有了 QUEEN,直播自由视角视频有望成为现实,也就是说,观众可以从任意视角体验 3D 场景。

QUEEN 可用于构建沉浸式直播应用,例如教授烹饪等技能、让球迷就像身处球场一样从任意视角观看比赛,或者在工作场所举行更加身临其境的视频会议。QUEEN 也能用于工业环境,帮助操作员远程操控仓库或工厂中的机器人

该模型在本月于温哥华举行的年度 AI 盛会 NeurIPS 上进行了展示。

NVIDIA 研究总监、杰出研究科学家 Shalini De Mello 表示:“要想近乎实时地直播自由视角视频,就必须同时重建和压缩 3D 场景。QUEEN 巧妙地平衡了压缩率、视觉质量、编码时间和渲染时间等各种因素,从而创建了一个优化的流程,为视觉质量和可直播性树立了新的标杆。”

通过减少渲染量,重复利用

和循环利用等方式实现高效直播

自由视角视频通常使用来自各种摄像角度拍摄的视频素材制作而成,例如多机位拍摄、仓库里的一组安防摄像头或是办公室中的视频会议摄像头系统。

以往用于生成自由视角视频的 AI 方法要么占用过多的内存用于直播,要么为了缩小文件大小而牺牲视觉质量,而 QUEEN 在两者之间取得了平衡。即便是存在火花、火焰或毛茸动物的动态场景,也能轻松地把高质量的视频内容从主机服务器传输到客户端设备。而且,与之前的方法相比,它还能够更快地渲染视频内容以进行直播。

在大多数真实环境中,场景中的许多元素都是静止不动的。在视频中,这意味着某个帧中的大部分像素与其它帧中的像素相同。为了节省计算时间,QUEEN 跟踪并重复使用这些静态区域的渲染,从而腾出资源来专注于重建那些随时间变化的内容。

研究人员使用了一块 NVIDIA Tensor Core GPU,在多个基准测试中评估 QUEEN 的性能,他们发现该模型的表现在一系列指标上都优于目前最先进的在线自由视角视频制作方法。对于从不同角度拍摄同一场景的 2D 视频,通常只需不到五秒的训练时间,就能以每秒约 350 帧的速度渲染自由视角视频。

同时实现高速度和高视觉质量,这意味着音乐会和体育赛事转播能够提供身临其境般的虚拟现实体验或比赛集锦的即时回放。

在仓库场景中,机器人操作员可以利用 QUEEN,在操纵物体时更精准地测量深度。在视频会议中,例如 SIGGRAPH 和 NVIDIA GTC 大会上的 3D 视频会议 demo,它可以帮助主持人演示烹饪或折纸等场景,同时让观众可以选择最适合自己学习的视角。

NVIDIA 为 NeurIPS 制作和撰写了 50 多篇学术海报和论文,QUEEN 是其中之一。这些学术海报和论文介绍了在interwetten与威廉的赔率体系 、机器人和医疗等领域具有巨大应用前景的开创性 AI 研究成果。

首次介绍了 GAN 模型的论文《生成式对抗网络》在 NeurIPS 2024 大会上荣获“时间检验奖”。该论文被引用超过 8.5 万次,其中一个作者是 NVIDIA 的杰出工程师 Bing Xu。

NVIDIA Research 在全球拥有数百名科学家和工程师,专注于 AI、计算机图形学、计算机视觉自动驾驶汽车和机器人等领域的研究,欢迎点击“阅读原文”查看他们的最新研究成果 。

大型语言模型、模拟和建模、边缘 AI 等领域的学术科研人员可以申请 NVIDIA 学术资助计划。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4979

    浏览量

    102994
  • AI
    AI
    +关注

    关注

    87

    文章

    30746

    浏览量

    268896
  • 模型
    +关注

    关注

    1

    文章

    3229

    浏览量

    48810

原文标题:NVIDIA Research 开发的模型实现了快速、高效的动态场景重建

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA推出全新生成式AI模型Fugatto

    NVIDIA 开发了一个全新的生成式 AI 模型。利用输入的文本和音频,该模型可以创作出包含任意的音乐、人声和声音组合的作品。
    的头像 发表于 11-27 11:29 333次阅读

    使用NVIDIA AI平台确保医疗数据安全

    三井物产株式会社子公司借助 NVIDIA AI 平台实现数据集的安全共享并使用在这些数据集上建立的强大模型加速药物研发。
    的头像 发表于 11-20 09:37 173次阅读

    NVIDIA AI助力实现更好的癌症检测

    由美国顶级医疗中心和研究机构的专家组成了一个专家委员会,该委员会正在使用 NVIDIA 支持的联邦学习来评估联邦学习和 AI 辅助注释对训练 AI 肿瘤分割模型的影响。
    的头像 发表于 11-19 15:54 172次阅读

    NVIDIA NIM助力企业高效部署生成式AI模型

    Canonical、Nutanix 和 Red Hat 等厂商的开源 Kubernetes 平台集成了 NVIDIA NIM,将允许用户通过 API 调用来大规模地部署大语言模型
    的头像 发表于 10-10 09:49 383次阅读

    直播预告】AI系统的多相电源原理与应用

    系统对电源性能要求更加严格。不仅需要灵活且精确的控制,同时还需要满足高效率和高功率密度。本次直播主要分享AI系统的多相电源的原理与应用,结合双通道多相电流模式控制器
    的头像 发表于 09-19 08:05 219次阅读
    【<b class='flag-5'>直播</b>预告】<b class='flag-5'>AI</b>系统的多相电源原理与应用

    NVIDIA CorrDiff生成式AI模型能够精准预测台风

    NVIDIA GPU 上运行的一个扩散模型向天气预报工作者展示了加速计算如何实现新的用途并提升能效。
    的头像 发表于 09-13 17:13 696次阅读

    NVIDIA助力提供多样、灵活的模型选择

    在本案例中,Dify 以模型中立以及开源生态的优势,为广大 AI 创新者提供丰富的模型选择。其集成的 NVIDIAAPI Catalog、NVIDIA NIM和Triton 推理服务器
    的头像 发表于 09-09 09:19 461次阅读

    借助NVIDIA NIM加速AI应用部署

    大语言模型(LLM)在企业组织中的应用日益广泛,许多企业都将其整合到 AI 应用中。虽然从基础模型着手十分高效,但需要花费一定的精力才能将它们整合到生产就绪型环境中。
    的头像 发表于 08-23 16:38 388次阅读
    借助<b class='flag-5'>NVIDIA</b> NIM加速<b class='flag-5'>AI</b>应用部署

    NVIDIA Broadcast助力实现高质量直播和远程工作

    AI 为计算领域带来了深远的改变。虽然最近的焦点是生成式 AI,但多年来,由 NVIDIA RTX 提供支持的 AI 加速工具也在改善游戏、内容
    的头像 发表于 08-23 15:35 562次阅读

    英伟达推出全新NVIDIA AI Foundry服务和NVIDIA NIM推理微服务

    NVIDIA 宣布推出全新 NVIDIA AI Foundry 服务和 NVIDIA NIM 推理微服务,与同样刚推出的 Llama 3.1 系列开源
    的头像 发表于 07-25 09:48 698次阅读

    NVIDIA AI Foundry 为全球企业打造自定义 Llama 3.1 生成式 AI 模型

    借助 NVIDIA AI Foundry,企业和各国现在能够使用自有数据与 Llama 3.1 405B 和 NVIDIA Nemotron 模型配对,来构建“超级
    发表于 07-24 09:39 706次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>AI</b> Foundry 为全球企业打造自定义 Llama 3.1 生成式 <b class='flag-5'>AI</b> <b class='flag-5'>模型</b>

    直播预告】基于ISO 26262实现高质量的MBD过程

    直播时间:2024年6月12号20:00直播平台:视频号、CSDN、B站、抖音下方一键预约直播大纲•基于模型的软件开发(MBD)基本原则和优势模型
    的头像 发表于 06-06 08:25 374次阅读
    【<b class='flag-5'>直播</b>预告】基于ISO 26262<b class='flag-5'>实现</b>高质量的MBD过程

    英伟达推出AI模型推理服务NVIDIA NIM

    英伟达近日宣布推出一项革命性的AI模型推理服务——NVIDIA NIM。这项服务将极大地简化AI模型部署过程,为全球的2800万英伟达开发者
    的头像 发表于 06-04 09:15 674次阅读

    NVIDIA在加速识因智能AI模型落地应用方面的重要作用介绍

    本案例介绍了 NVIDIA 在加速识因智能 AI模型落地应用方面的重要作用。生成式大模型已广泛应用于各领域,通过学习人类思维方式,能快速挖掘海量
    的头像 发表于 03-29 15:28 622次阅读

    NVIDIA生成式AI研究实现在1秒内生成3D形状

    NVIDIA 研究人员使 LATTE3D (一款最新文本转 3D 生成式 AI 模型实现双倍加速。
    的头像 发表于 03-27 10:28 492次阅读
    <b class='flag-5'>NVIDIA</b>生成式<b class='flag-5'>AI</b>研究<b class='flag-5'>实现</b>在1秒内生成3D形状