0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于在广泛的计算平台上进行高效渲染的神经场体系结构

3D视觉工坊 来源:3D视觉工坊 2023-06-25 11:11 次阅读

Neural Radiance Fields (NeRF) 通过合成 3D 场景新视角图像展现出惊人的能力。然而,它们依赖于基于光线行进的专门体积渲染算法,这些算法不符合广泛部署的图形硬件的能力。本文提出了一种基于纹理多边形的新型 NeRF 表示法,它将 3D 场景转化为一组多边形。这种方法使用传统的多边形光栅化管道进行渲染,提供了大规模的像素级并行性,可以在广泛的计算平台上实现交互式帧率。

1 前言

NeRF 是表示 3D 场景的方法,通过估计从任何位置和方向发射的密度和辐射的隐式函数,用于体积渲染框架生成新视角图像。然而,传统的 NeRF 实现的渲染过程太慢以至于无法进行交互式可视化。本文提出了一个名为 MobileNeRF 的方法,将 NeRF 表示为一组纹理多边形,利用现代图形硬件的光栅化管道和 Z-buffer 实现像素级并行性,以实现交互式帧率渲染,并在 标准测试场景上优于 SNeRG 10 倍,适用于各种常见移动设备。

MobileNeRF 的贡献如下:

在与最先进的方法(SNeRG)具有相同输出质量的情况下,渲染速度提高了 10 倍;

通过存储表面纹理而不是体积纹理,使用的内存较少,使本文的方法能够在具有有限内存和功率的集成 GPU 上运行;

可以在 Web 浏览器上运行,并且与本文测试过的所有设备兼容,因为本文的查看器是一个 HTML 网页;

允许对重建的对象/场景进行实时操作,因为它们是简单的三角形网格。

2 相关背景

本文介绍了在视图综合方面的多种方法和威廉希尔官方网站 ,包括光场、几何图形、神经网络等。不同的方法有不同的优势和局限性,但是它们的共同目标是实现高质量的实时渲染。作者的方法通过缓存发射辐射来实现高质量的视图综合,并且适用于低功率硬件上的实时渲染。同时,它不需要输入重构的3D几何体。与现有的方法相比,作者的方法在低功率设备上具有更好的可用性。

3 方法

本文介绍了一种优化表示以实现高效新视图综合的方法。该表示包含一个多边形网格和纹理映射,采用两阶段延迟渲染过程来绘制图像。该方法需要初始三维几何体,并通过迭代过程中修改网格来进行优化。本文提出了一种离散表示来实现高效的新视图综合的方法。该方法通过渲染阶段1和渲染阶段2实现。作者采用三个训练阶段来构建本方法的离散表示。在最后的训练阶段,作者提取了一个稀疏的多边形网格,将不透明度和特征烘焙到纹理映射中,并存储了神经延迟着色器的权重。同时,作者提出了一种基于超采样的简单且计算高效的抗锯齿解决方案。由于采用标准的GPU光栅化管道,因此我们的实时渲染器只是一个HTML网页。

ad8cfd82-12e3-11ee-962d-dac502259ad0.png

3.1 Continuous training (Training Stage 1) - 连续训练(训练阶段1

ada4827c-12e3-11ee-962d-dac502259ad0.png

本文提出了一个新颖的渲染框架,构建了一个以多边形网格为基础的渲染器,其中使用透明合成和神经渲染器来产生高保真度的图像。作者使用MLPs来表示网格中的颜色和不透明度,使用MLP的输入来表示网格中的几何完成,从而实现了从场景数据到图像的连续训练。作者使用了加速格子来限制每条光线上的积分点数量,从而减少了渲染时间。与现有的渲染框架相比,作者的方法可以更好地处理反射,折射,阴影和非连续性的材料,并且对于多个数据集进行了广泛的实验和评估,结果表明它可以生成具有可比性的视图。

3.2 Binarized training (Training Stage 2) - 二值化训练(训练阶段2)

adaf50a8-12e3-11ee-962d-dac502259ad0.png本文介绍了如何使用离散/分类不透明度来避免处理半透明物体时需要排序的问题。作者使用一个直通估计器优化离散操作,并提出了一个联合训练策略来同时训练连续模型和离散模型。离散模型的输出辐射度由离散不透明度和颜色加权组成。最后,文章提到将进行微调来优化训练结果。

3.3 Discretization (Training Stage 3) - 交叉注意力实现可微分渲染

本文介绍了如何将离散/分类不透明度的表示转换为显式的多边形网格,并将其存储为纹理图像。作者实验中使用的威廉希尔官方网站 包括可见的四边形的剪裁、尺寸调整和离散不透明度值和特征值的烘焙。值得注意的是,8位的量化精度在反向传播中没有被考虑到,但对渲染质量的影响不大。

3.4 Anti-aliasing - 训练和损失函数

本文采用超采样来实现抗锯齿,并通过对特征进行平均来避免每帧多边形排序。抗锯齿的变化应用于训练阶段2中,最终作者平均子像素特征来获得抗锯齿表示并将其传递给神经推迟着色器。

3.5 Rendering - 渲染

本文使用优化的延迟渲染管线进行渲染,包含两个步骤:光栅化多边形以及渲染纹理矩形并将其与特征图像叠加。采用二进制透明度的z-buffer使得多边形不需要按照深度排序,且由于特征转换的小型MLP可以在GLSL片元着色器中并行运行,所以能够在GPU上高度优化,以实现在各种设备上以交互式帧速率运行。

4 实验

MobileNeRF通过在三个数据集上进行测试,包括NeRF合成的场景,LLFF前向场景和Mip-NeRF 360的无界户外场景,证明了在各种场景和设备上表现良好。与SNeRG进行比较显示MobileNeRF可以在常见设备上实时运行。详细的消融研究进一步研究了不同设计选择的影响。

4.1 比较

本研究通过在各种设备上测试证明了MobileNeRF的出色性能和兼容性。在渲染质量方面,使用PSNR、SSIM和LPIPS等指标显示本文的方法具有与SNeRG相近的图像质量,且优于NeRF。此外,MobileNeRF需要的GPU内存比SNeRG少5倍。渲染质量在相机距离适当的情况下与SNeRG类似,但当相机缩放时,SNeRG容易渲染过度平滑的图像。三角形面不与实际物体表面对齐,因此需要更好的正则化损失或训练目标来改善表面质量。adc2ba62-12e3-11ee-962d-dac502259ad0.png

addc2a74-12e3-11ee-962d-dac502259ad0.pngade8f8d0-12e3-11ee-962d-dac502259ad0.png

4.2 消融研究

本文讨论了在表中展示的消融研究,分析了在每个阶段中各种修改对渲染效果的影响。在第一阶段中,使用固定网格或不使用视角相关效果会显着降低性能。在第二阶段中,不进行微调或仅使用二进制不透明度会导致性能下降。在第三阶段中,使用更大的纹理大小可以提高性能,但空间成本也会增加。超采样步骤和小型MLP对性能影响最大。adf8e038-12e3-11ee-962d-dac502259ad0.png

ae160654-12e3-11ee-962d-dac502259ad0.png

5 总结

MobileNeRF介绍了一种可以在广泛的计算平台上进行高效渲染的神经场体系结构,可以比之前的最新威廉希尔官方网站 更快地生成同等质量的图像。然而,它存在一些限制,如估计的表面可能不准确,它无法处理半透明和高光表面等。扩展多边形渲染管道可以解决这些问题,并将该架构扩展到快速训练的体系结构这是未来工作的一个激动人心的方向。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 光栅
    +关注

    关注

    0

    文章

    286

    浏览量

    27500
  • 3D
    3D
    +关注

    关注

    9

    文章

    2875

    浏览量

    107487
  • 计算平台
    +关注

    关注

    0

    文章

    52

    浏览量

    9622

原文标题:CVPR最佳候选文章 l MobileNeRF:利用多边形光栅化管道在移动架构上实现高效神经场渲染

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    无线传感器网络的体系结构分析

    本文对无线传感器网络体系结构进行了较为深入的研究,从物理体系结构、软件体系结构和通信体系结构三个层面进行
    发表于 11-03 16:24 8918次阅读
    无线传感器网络的<b class='flag-5'>体系结构</b>分析

    带你了解Linux内核体系结构

    的是在这种大小和复杂性的前提下,依然具有良好的可移植性。Linux 编译后可在大量处理器和具有不同体系结构约束和需求的平台上运行。一个例子是 Linux 可以一个具有内存管理单元(MMU)的处理器上运行
    发表于 08-27 10:31

    如何​Android上进行高刷新率渲染

    Android上进行高刷新率渲染
    发表于 01-26 06:37

    工业以太网协议可以分成哪几类体系结构

    工业以太网发展状况是怎样的工业以太网协议可以分成哪几类体系结构单个FPGA平台上采用多种工业以太网标准进行设计
    发表于 04-15 06:48

    面向计算体系结构的电机控制,看完你就懂了

    面向计算体系结构的电机控制,看完你就懂了
    发表于 05-18 07:03

    了解计算机硬件体系结构

    模块一知识点1.了解计算机硬件体系结构2.掌握常见的计算机硬件设备3.了解计算机软件体系结构4.掌握主板
    发表于 09-17 09:03

    计算机体系结构的相关资料推荐

    第一部分 IO基础知识计算机系统软件体系结构采用一种层的结构,有人说过一句名言:“Any problem in computer science can be solved by anther
    发表于 01-07 06:42

    怎样阿里云物联网平台上进行单片机程序的编写呢

    阿里云物联网平台是怎样设置的?怎样阿里云物联网平台上进行单片机程序的编写呢?
    发表于 02-22 06:04

    了解体系结构 - 介绍 Arm 体系结构

    机。该体系结构为软件开发人员公开了一个通用的指令集和工作流程,也称为程序员模型。这有助于确保架构的不同实现之间的互操作性,以便软件可以不同的 Arm 设备上运行。本指南为任何对此感兴趣的人介绍了 Arm
    发表于 08-01 14:35

    Arm的DRTM体系结构规范

    本规范定义了基于Arm A配置文件体系结构的处理器的动态测量信任根(DRTM)体系结构。本规范基于TCG D-RTM体系结构[4]的概念,但作为一个独立的独立文档发挥作用。它使用了TCG体系结
    发表于 08-08 07:45

    Arm CoreSight体系结构规范

    本文档描述了CoreSight体系结构平台和系统使用。
    发表于 08-09 06:08

    LTE体系结构

    LTE体系结构 LTE体系结构可以借助SAE 体系结构来做详细描述。SAE 体系结构中,RNC部分功能、GGSN、SGSN 节点将被融合
    发表于 06-16 13:09 9827次阅读

    网络体系结构,什么是网络体系结构

    网络体系结构,什么是网络体系结构 通过通信信道和设备互连起来的多个不同地理位置的计算机系统,要使其能协同工作实现信息交换和资源共享
    发表于 04-06 16:30 1702次阅读

    计算机体系结构

    计算机体系结构介绍资料
    发表于 06-21 16:27 0次下载

    软件体系结构的分析

    软件系统因具有节点众多、节点间联系复杂、随时间演化、自组织临界等特性可将其视为复杂系统。软件安全领域,对软件体系结构的分析一直是研究的重点。软件体系结构具有自身的脆性,这体现在软件系统的运行过程
    发表于 11-24 10:34 15次下载
    软件<b class='flag-5'>体系结构</b>的分析