3D成像：飞行时间法（ToF）可望推动CMOS图像传感器的发展

3D成像（3D imaging）威廉希尔官方网站 问世已有几十年之久，但商用产品却在本世纪初才开始上市。起初，电影制作公司使用最新高分辨率摄影机制作3D影片；在那之后，3D成像威廉希尔官方网站 发展迅速，横扫消费品市场与机器视觉产业。

第四次工业革命对目前的流程监控与自动化规模提出了前所未有的要求，也为3D视觉带来了新的发展驱动力。传统的2D视觉方法已无法满足复杂物件识别与尺寸标示应用的精确度与测距要求，日益难以因应越来越多的人机协同工作等复杂互动状况。本文回顾工业市场的3D成像威廉希尔官方网站 ，探讨为何飞行时间法（Time of Flight，ToF)成为当前最具发展前景的方法，最后概述ToF系统专用的CMOS图像传感器最新发展。

3D成像概述取得3D图像主要有四种方法，包括立体视觉法（Stereo Vision）、结构光法（Structured light）、激光三角法（Laser triangulation）以及ToF。后三种方法属于自动成像系列，需要用到人造光源。

立体视觉法

立体视觉法需要安装两台摄影机来取得物件的不同视角（图1）。采用校正方法调整摄影机与准确深度信息之间的像素信息使之一致，这类似于大脑目测距离的原理。因此，在系统中融入认知过程仍离不开大量的运算工作。

立体视觉法采用标准图像传感器，因而降低了成本。传感器越复杂（例如高性能传感器或全域快门装置），系统成本越高。其应用的距离范围受到机械局限的限制：过程中需要一条实体基准线，因而需要更大尺寸的模组，同时还需要精确的机械对准与重新校正。此外，此方法不适用于光线条件差或变化不定的情况，很大程度上取决于物件的反光特性。

图1 立体视觉（来源：Tech Briefs）

结构光法

在结构光方法中，预先确定的光图案被投射于物件上，然后通过分析图案如何失真变形而取得深度信息。由于frame周期并无概念上的限制，也不至于造成任何动作模煳不清，对于多路径界面非常适用。然而，自动照明要求配置复杂的摄影机，以及在镜头与图形投影仪之间提供精确、稳定的机械校正功能。此外，这种方法存在着标定降级（de-calibration）的风险，反射的图案对于环境中的光干扰非常敏感，而且也仅限于室内应用。

图2 结构光法（来源：University of Kentucky、Laser Focus World）

激光三角法

激光三角法针对一条光束的几何偏移量进行测量，其数值与物件高度相关。这是一种基于物件扫描的单维成像方法。激光点出现于摄影机视野范围内的不同位置，具体取决于激光打在物件表面的距离范围。由于激光点、摄影机与激光发射器形成了一个三角形，因此这种方法被称为三角法。

图3 激光三角法位移与位置监控应用要求高准确度、高稳定性以及低温度变化，因此，一般采用高分辨率激光。激光三角法的缺点在于这种方法只能覆盖到一段较小的距离范围，易受环境光线影响，并且仅限制于扫描应用。同时，它需要用到复杂算法与校正，而且受到结构性或复杂表面的影响。

飞行时间法

此方法体现了在摄影机与场景之间，通过光子双向飞行时间直接获取或计算距离的所有测量实施方法——可通过直接飞行时间法（D-ToF）或间接飞行时间法（I-ToF）测量方式执行。D-ToF的概念很简单，但需要配置复杂且具有限制时间解析（time-resolved）的装置；I-ToF的操作更简单：光源与图像传感器同步。光的脉冲以与摄影机快门一致的相位发射。采用光脉冲去同步化作用计算光子飞行时间，就能推导出发射点与物件之间的距离。

图4 ToF工作原理这确保我们能够对每个像素的深度与幅度进行直接测量。这种图像称为深度图像。该系统具有较小的高宽比，只需一次校正，即可在环境光线条件下运作良好。不足之处在于它需要主动照明同步，而且可能出现多路径干扰与距离混叠。

3D成像威廉希尔官方网站 方案比较

每种方法都具有各自不同的优缺点，如表1。

表1 常用的3D成像威廉希尔官方网站 比较

目前，3D系统的应用尚未普遍，因此主要采用3D立体视觉法、结构光摄影机或激光三角法系统。这些系统在固定的工作距离内运作，针对特定的测距区域则需要进行大量的校正工作。ToF系统可克服这些方面的挑战，从应用面提供更大的灵活性。目前，由于像素的复杂度或耗电问题，大部份的商用解决方案仍受限于采用视频图形阵列（VGA）或更低的图像分辨率。

飞行时间法的CMOS图像传感器方案看好ToF的应用前景，Teledyne e2v开发出首款3D ToF解决方案，支持130万像素分辨率深度以及1英吋光学格式，并配置高灵敏度、高动态范围的CMOS图像传感器。

这种ToF途径可实现灰阶图像与深度融合功能：

- 先进的130万像素深度图解析度：全分辨率的深度图，准确度达±1cm、速度快

- 可获取快速移动的物件3D图像：速度高达120格/秒(fps)，30fps的分辨率深度图、全域快门效率高

- 3D检测范围大：0.5~5m，支持90dB高动态范围(HDR)

- 可见光与近红外光(NIR)高灵敏度传感器：850nm波长时量子效率约50%，支持HDR：夜间/日夜视觉

- 嵌入式3D处理：多个感兴趣区域(multi-ROI)——双视窗、像素合并(binning)、芯片长条图资料统计功能

最新开发的展示平台可用于评估以深度图或点云格式输出的独特1.3MP深度分辨率。

如图5所示的ToF系统展示平台由一个精巧的1英吋光学成像系统构成，配置高灵敏度的1.3MP图像传感器。该平台内建多整合芯片功能(闸极传感器)、光源以及相关光学元件，并以1.3MP全分辨率实现ToF成像。

图5 ToF展示平台（来源：Teledyne e2v）

采用ToF的5T CMOS图像传感器主动成像

主动成像使用同步光源。辅助自动对焦功能是主动成像的简单形式，可见于低光条件下采用红外光测距的现代摄影机中。主动成像可应用于恶劣天气条件(如下雨或起雾时)。而采用同样的传感器则可能实现两种主动成像方法：距离选通法与ToF。距离选通法(range gating)结合了两种组成：脉冲光波前端装置与一台专业高速快门摄影机。首先将光线发射至目标物件，当反射光从反射表面返回时，摄影机高速电子快门适时地开启。距离选通成像可依据光与传感器的同步特性选择图像平面距离。因雨天、多雾或雾气粒子弥漫的环境导致目标物件与摄影机隔离时，部份光子仍得以穿过介质返回摄影机。这些光子被称为「弹道光子」(ballistic photon)。虽然这类光子数量较少，但可同步获取这些光子，因此可通过散射介质进行成像。距离选通方法可在远距离成像，且几乎不受任何限制，但具体也取决于光源的强度。飞行时间法(ToF)的工作原理不同于距离选通。它可以直接测量ToF光线，从而推导出反射面的距离。由于物件与摄影机之间距离短，因此，基于ToF的系统需要配置一个全域快门摄影机。相较于主动成像，ToF并非聚焦于特定的图像平面，因而能在理想范围内直接成像。如图6所示，距离选通图像获取的建置主要依据同步的摄影机光源系统。它能在主/从模式下运行，具体采用哪种模式取决于应用环境的状况。摄影机配置了快速的全域快门，速度快达数百纳秒(ns)。光源根据T0时间点摄影机的触发情况发射光脉冲。经过一段时间后(T1)，光脉冲到达此距离范围，并根据是否存在物件而发生反射与否。在发生反射的情况下，光线在T2期间返回摄影机；在此情况下，T3 = T0 + 2 τ，其中τ是摄影机快门开启并获取到反射信号的返程飞行时间。在信号格的时间内，这种周期过程周而复始几千次，最终累积到足够的信噪比(SNR)。产生的图像为灰阶图像，且仅与出现在距离范围内的物件一致。为了产生一个深度图像，必须在距离选通模式下扫描多个深度以取得一组图像，或调整延迟时间。然后根据这组图像计算各个点的距离。

图6 距离选通工作原理图7描述了全域快门的像素传感器结构，以及其产生短曝光与信号同步的原理。最简单的全域快门形式采用五个电晶体(5T)构成的像素，以及一个专用相位驱动器。因此，信号积分相位并不是一次性完成的，而是随着同步多次积分而逐渐形成的。

图7 全域快门像素结构Teledyne e2v的专利威廉希尔官方网站 基于5T像素结构与计时产生器，以实现Δt周期(Δt周期缩短至10ns左右)。这表明在暂态分辨率方面已获得了巨大的提升。支持高灵敏度/低杂讯的1.3MP CMOS图像传感器正配置了这项功能，并带有多暂态积分模式(又称「累积」模式)。此外，在图像传感器还需要有高寄生电荷灵敏度(PLS)，也称为「消光比」(extinction ratio)，能避免摄影机选通「关闭」期间的杂散光线，进而获得清晰的图像。

图8 支持计时调整与同步电路的5T像素CMOS需要充份的「消光比」，以避免场景的背景光线

为了提高工业系统的有效性与自主性，视觉系统在视觉引导机器人与其他自主机器设备中的应用日渐增多，目前已开始采用3D视觉系统（如物件识别、准确度）。现有的几种3D方法都各自具有优点与限制，可取决于具体的应用要求作选择；其中，飞行时间法（ToF）提供了非凡的3D视角，可望推动新一代专用CMOS图像传感器的发展。