0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

研究人员提出通过机器学习管道实现实时CG渲染

Dbwd_Imgtec 来源:新智元 作者:新智元 2021-05-10 10:19 次阅读

神经辐射场(NeRF)这一威廉希尔官方网站 能够创建人工智能生成的三维环境和三维物体。但这种新的图像合成威廉希尔官方网站 需要大量的训练时间,并且缺乏实现实时、高度响应接口的实现。然而,企业和学术界之为这一挑战提供了新的思路——新视图合成 (NVS)。

近日,一篇题为Neural Lumigraph Rendering的研究论文声称,它对现有的2个数量级图像进行了改进,展示了通过机器学习管道实现实时 CG 渲染的几个步骤。与以前的方法相比,神经光图渲染提供了更好的混合伪像分辨率,并改进了遮挡的处理。除了斯坦福大学(Stanford University)和全息显示威廉希尔官方网站 公司 Raxium 的研究人员,这篇论文的贡献者还包括谷歌首席机器学习架构师、 Adobe 的计算机科学家,以及 StoryFile 的首席威廉希尔官方网站 官。体积捕获的原理是拍摄主题的静态图像或视频,并使用机器学习来「填充」原始文档未涵盖的观点的想法。

上图取自 Facebook AI 的 2019 AI 研究 ,可以看出体积捕获的四个阶段:

多个摄像机获取图像/画面;

编码器/解码器架构(或其他架构)计算并连接视图的相关性;

射线行进算法计算空间中每个点的体素(或其他 XYZ 空间几何单位) ;

训练合成一个完整的实体,可以实时操作。

到目前为止,正是这种数据量大的训练阶段使得新视图合成超出了实时或高响应捕获的范畴。事实上,新视图合成制作了一个完整3D地图的体积空间,意味着它是把这些点缝合到一个传统的计算机生成的网格,有效地捕捉和连接一个实时CGI 角色。使用 NeRF 的方法依靠点云和深度图在捕获设备的稀疏视点之间生成插值。尽管 NeRF 能够计算网格,但大多数并不使用它来生成体积场景。相比之下,魏茨曼科学研究所(Weizmann Institute of Science)在2020年10月发布的隐式可区分渲染(IDR)方法,取决于利用从捕获数组自动生成的3D网格信息。虽然 NeRF 缺乏 IDR 的形状估计能力,IDR无法比拟的nerf的图像质量,而且两者都需要大量的资源来训练和整理。NLR的Custom相机装置具有16台GoPro HERO7和6台中央Back-Bone H7PRO相机。对于实时渲染,它们的最低运行速度为60fps。

相反,神经光图渲染利用 SIREN (正弦表示网络)将每种方法的优点整合到它自己的框架中,目的是生成直接可用于现有实时图形管道的输出。在过去一年中,SIREN 已被用于类似场景,现在是图像合成社区中业余爱好者 Colabs 的一个流行的 API 调用。然而,NLR 的创新是将 SIREN 应用于二维多视图图像监控。从阵列图像中提取 CG 网格后,通过 OpenGL 对网格进行栅格化,将网格的顶点位置映射到适当的像素点,然后计算各种贡献图的融合。结果得到的网格比 NeRF 的网格更加具有代表性,需要更少的计算,并且不会将过多的细节应用到不能从中受益的区域(如光滑的面部皮肤) 。

另一方面,NLR 还没有任何动态照明或重点照明的能力,输出仅限于阴影地图和其他照明时获得的信息。研究人员打算在未来的工作中解决这个问题。此外,论文承认由 NLR 生成的图形并不像一些替代方法那样精确,或者前面提到的魏茨曼科学研究。利用神经网络从一系列有限的照片中创建3D实体的想法早于 NeRF,而相关研究可以追溯到2007年或更早。在2019年,Facebook 的人工智能研究部门发表了一篇开创性的研究论文Neural volume: Learning Dynamic Renderable volume from Images),该论文首次为基于机器学习的体积捕获生成的合成人启用了响应界面。

原文标题:做出电影级的 CG 渲染!斯坦福大学研究人员提出神经光图渲染

文章出处:【微信公众号:Imagination Tech】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1791

    文章

    47229

    浏览量

    238340
  • 机器学习
    +关注

    关注

    66

    文章

    8411

    浏览量

    132597

原文标题:做出电影级的 CG 渲染!斯坦福大学研究人员提出神经光图渲染

文章出处:【微信号:Imgtec,微信公众号:Imagination Tech】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    【「具身智能机器人系统」阅读体验】+初品的体验

    的快速发展,相关人才的需求也在不断增加,通过阅读该书可以帮助大家系统性地了解和分析当前具身智能机器人系统的发展现状和前沿研究,为未来的研究和开发工作提供指导。此外,本书还可以为
    发表于 12-20 19:17

    什么是机器学习通过机器学习方法能解决哪些问题?

    来源:Master编程树“机器学习”最初的研究动机是让计算机系统具有人的学习能力以便实现人工智能。因为没有
    的头像 发表于 11-16 01:07 391次阅读
    什么是<b class='flag-5'>机器</b><b class='flag-5'>学习</b>?<b class='flag-5'>通过</b><b class='flag-5'>机器</b><b class='flag-5'>学习</b>方法能解决哪些问题?

    【书籍评测活动NO.51】具身智能机器人系统 | 了解AI的下一个浪潮!

    ,为学生和研究人员提供系统的学习资源,培养更多的专业人才。 同时,随着具身智能机器人威廉希尔官方网站 对社会的影响越来越大,通过本书可以向公众普及相关知识,提升社会对新威廉希尔官方网站 的认知和接受度,为威廉希尔官方网站 的发
    发表于 11-11 10:20

    使用OpenVINO C# API部署YOLO-World实现实时开放词汇对象检测

    的快速准确识别,并通过AR威廉希尔官方网站 将虚拟元素与真实场景相结合,为用户带来沉浸式的交互体验。在本文中,我们将结合OpenVINO C# API使用最新发布的OpenVINO 2024.0部署 YOLO-World实现实时开放词汇对象检测:
    的头像 发表于 08-30 16:27 641次阅读
    使用OpenVINO C# API部署YOLO-World<b class='flag-5'>实现实时</b>开放词汇对象检测

    功率放大器在管道定位系统的硬件实现研究中的应用

    实验名称:管道定位系统的硬件实现实验内容:开展基于PCM的管道定位系统的可行性研究:采用函数发生器产生4Hz、8Hz和72Hz的多频电流,并将信号输出到AigtekATA-308B功率
    的头像 发表于 08-27 14:36 213次阅读
    功率放大器在<b class='flag-5'>管道</b>定位系统的硬件<b class='flag-5'>实现</b><b class='flag-5'>研究</b>中的应用

    vue+spring boot人员定位系统源码,实现实时定位、智慧调度、轨迹追踪

    随着经济的高速发展,现代制造业生产设备日益繁多,生产车间面积广阔,生产工人数量多,存在难以进行有效管理和不便实施全方位风险管控的难题。定位管理系统通过在厂区、车间部署UWB定位基站,实时采集人员
    的头像 发表于 08-08 14:27 694次阅读
    vue+spring boot<b class='flag-5'>人员</b>定位系统源码,<b class='flag-5'>实现实时</b>定位、智慧调度、轨迹追踪

    基于DOE的管道爬行机器人轻量化研究

    的效率和可靠性。因此,基于DOE的管道爬行机器人轻量化研究成为了当前研究的热点之一。 首先,我们需要明确什么是DOE。DOE,即设计优化实验,是一种基于统计学原理的优化设计方法。
    的头像 发表于 06-14 09:33 2606次阅读

    研究人员利用人工智能提升超透镜相机的图像质量

    研究人员利用深度学习威廉希尔官方网站 提高了直接集成在 CMOS 成像芯片上的超透镜相机(左)的图像质量。超透镜利用 1000 纳米高的圆柱形氮化硅纳米柱阵列(右图)操纵光线。 研究人员利用深度学习
    的头像 发表于 06-11 06:34 378次阅读
    <b class='flag-5'>研究人员</b>利用人工智能提升超透镜相机的图像质量

    【RTC程序设计:实时音视频权威指南】音频采集与渲染

    在进行视频的采集与渲染的同时,我们还需要对音频进行实时的采集和渲染。对于rtc来说,音频的实时性和流畅性更加重要。 声音是由于物体在空气中振动而产生的压力波,声波的存在依赖于空气介质,
    发表于 04-28 21:00

    【RTC程序设计:实时音视频权威指南】视频采集与渲染

    屏幕等等,这些都是显示器件。人眼观察的最低要求一般是60赫兹,渲染的过快,会使人眼无法分辨过低,则会出现闪烁和不流畅。在2000年以来渲染威廉希尔官方网站 主要是实时渲染与图形加速,
    发表于 04-25 08:40

    研究人员发现提高激光加工分辨率的新方法

    通过透明玻璃聚焦定制激光束可以在材料内部形成一个小光斑。东北大学的研究人员研发了一种利用这种小光斑改进激光材料加工、提高加工分辨率的方法。 他们的研究成果发表在《光学通讯》(Optics
    的头像 发表于 04-18 06:30 340次阅读
    <b class='flag-5'>研究人员</b>发现提高激光加工分辨率的新方法

    视觉机器人焊接的研究现状

    视觉机器人焊接威廉希尔官方网站 是将计算机视觉与机器人威廉希尔官方网站 相结合,实现自动焊接过程中的实时检测、跟踪和控制。这一领域的研究一直处于不断发展之中,吸引了众多
    的头像 发表于 04-02 15:34 521次阅读
    视觉<b class='flag-5'>机器</b>人焊接的<b class='flag-5'>研究</b>现状

    功率放大器在管道定位系统的硬件实现研究中的应用

    实验名称:功率放大器在管道定位系统的硬件实现研究中的应用研究方向:管道无损检测实验设备:ATA-308C功率放大器,函数信号发生器,数字万用
    的头像 发表于 03-28 08:01 342次阅读
    功率放大器在<b class='flag-5'>管道</b>定位系统的硬件<b class='flag-5'>实现</b><b class='flag-5'>研究</b>中的应用

    通过实时加速器威廉希尔官方网站 实现实时应用程序的 Windows

    功能应用程序。这是通过专门为实时应用程序保留一个或多个CPU来实现的,设置 Windows 适当的参数化并利用 acontis 内核驱动程序进行精确定时和直接硬件
    的头像 发表于 01-29 16:03 866次阅读
    <b class='flag-5'>通过</b><b class='flag-5'>实时</b>加速器威廉希尔官方网站
<b class='flag-5'>实现实时</b>应用程序的 Windows

    揭秘:实时渲染、离线渲染、云渲染和混合渲染的区别

    遇到这些概念,或者一些3D渲染引擎产品的时候,可以按照这些渲染分类,去快速的进行定位和分析,更好的帮助我们理解和学习。一、实时渲染
    的头像 发表于 12-26 08:27 816次阅读
    揭秘:<b class='flag-5'>实时</b><b class='flag-5'>渲染</b>、离线<b class='flag-5'>渲染</b>、云<b class='flag-5'>渲染</b>和混合<b class='flag-5'>渲染</b>的区别