UrbanScene3D大型数据集平台用于研究城市场景感知和重建

本次导读论文提出了一个用于研究城市场景感知和重建的大型数据平台UrbanScene3D。该数据集包含超过12.8万张高分辨率图像，涵盖16个场景，包括总面积136平方公里的大型真实城市场景和虚拟城市场景。该数据集还包含高精度激光雷达扫描和数百个具有不同观察模式的图像集，为设计和评估无人机路径规划和三维重建算法提供了全面的基准。此外，基于Unreal引擎和Airsiminterwetten与威廉的赔率体系 器，数据集中每个建筑物均手动标注了唯一的实例标签，可以生成各种数据，例如二维深度图、二维/三维边界框和三维点云/网格分割等。带有物理引擎和照明系统的模拟器不仅可以生成各种数据，还可以让用户在提供的城市环境中模拟无人车和无人机，为未来的研究提供帮助。下表展示了UrbanScene3D中不同场景的统计数据：

表1 UrbanScene3D不同场景数据统计

II 数据集特点

下表对比了UrbanScene3D与不同的户外场景数据集：

表2 不同户外场景数据集对比

该论文提出的UrbanScene3D数据集具有以下特点：

采集视角大：大多数户外数据集是利用地面扫描设备采集的，不能够完整地覆盖整个场景。UrbanScene3D使用无人机根据不同的算法得到的路径来采集场景信息，得到精度更高、更加完整的城市场景数据；

场景覆盖范围大：UrbanScene3D提供了16个不同的城市场景，总面积136平方公里。其中包括三个覆盖面积超过24平方公里的大规模城市场景和两个覆盖面积超过一平方公里的完整真实场景；

不同模式的观测数据：UrbanScene3D针对同一个场景提供在不同航拍路径与不同时间、不同天气条件、不同光照条件下采集到的数据，增加了观测数据的多样性；

融合虚拟数据与真实数据的仿真环境：UrbanScene3D提供的模拟器可以导入虚拟城市模型与真实世界的重建场景，不仅能够用于无人机、无人车的仿真，还可以用于解决虚拟数据与真实数据之间的跨领域误差问题；

针对无人机路径规划的数据集基准： UrbanScene3D针对不同无人机路径规划算法在不同的因素下对最终重建结果的影响进行了详细的对比与测试，为新的无人机路径规划算法与重建算法提供了新的评估基准。

图2 UrbanScene3D提供的模拟器能够用于实时模拟、生成场景物体实例分割标签与深度图 III 无人机路径规划基准 UrbanScene3D主要针对倾斜摄影、Smith ［1］等人提出的算法、Zhou ［2］等人提出的算法与Zhang ［3］等人提出的算法进行测试。这四种算法生成的无人机路径如图3所示：

图3 不同算法在两个场景上生成的路径示意图

当前的无人机路径规划算法主要依赖于预先得到的场景粗糙模型，即代理模型，来进行无人机路径的优化。同样的路径规划算法利用精细的代理模型通常可以得到更好的重建结果。UrbanScene3D对虚拟场景提供了从粗糙到精细四个层级的代理模型，对真实场景提供了三个层级的代理模型，如图4所示。UrbanScene3D分别使用不同层级的代理模型在不同的采样点重叠率下对以上四种无人机路径规划算法进行对比评估。

图4 不同层级的代理模型示意图 为了对重建得到的真实场景模型进行重建精度与完整度评估，UrbanScene3D利用搭载GPS定位设备的高端激光雷达扫描仪对场景中的整栋建筑进行扫描，得到高精度的场景扫描点云，如图5所示：

图5 两个真实场景的高精度激光点云与对应重建模型的误差示意图

由于倾斜摄影具有最简单的路径模式，因此电量消耗最小，但重建结果最差。Zhang 等人的方法在规划路径的同时对生成路径的质量进行优化，因此能够在得到高精度模型的同时减小电量的消耗。Smith 等人与Zhou等人提出的算法都能够得到更好的重建结果，但Zhou等人提出的算法的飞行消耗更低。

图6 不同方法的采集电量消耗对比

图7 不同方法的采集重建精度对比

UrbanScene3D的下载与使用

UrbanScene3D一共包含1.43TB数据（压缩包形式），其中带有虚拟场景和真实场景模拟器63GB，带有真实场景扫描数据的重建结果评估程序190MB。我们在项目主页 https://vcc.tech/UrbanScene3D/ 中提供UrbanScene3D相关数据的分类下载与相关的使用说明，支持Google Drive、Dropbox与百度云网盘三种下载方式。用户可以根据需求按照不同的场景、不同的算法、不同的代理模型、不同的采样重叠率下载航拍路径、图片与重建结果，也可以选择将整个数据集打包下载。从仿真环境到评估程序的整套工具能够有效地帮助相关研究工作的开展和推进。

总结

这篇文章详细介绍了一个大型数据集平台UrbanScene3D，为广大用户提供了丰富的数据标签和六个代表性场景在不同观察模式下采集得到的不同数据。相应的不同重建模型和GT模型/扫描点云可用于评估路径规划算法和MVS算法。此外，UrbanScene3D中包含的模拟器允许用户进一步探索和采集具有不同照明模式/天气条件（如图9所示）的城市场景数据。作者还计划在不久的将来为数据集加入更高级的几何描述信息，例如不同建筑的三维结构点、横截面轮廓、线框或面片等，以支持计算机图形学和计算机视觉相关方向的进一步探究。

审核编辑：郭婷