面向SLAM鲁棒应用提出了基于RGB特征点提取算法

摘 要 ：视觉 SLAM（Simultaneous Localization And Mapping）的鲁棒性是困扰其走向应用的瓶颈，其中特征点提取算法的鲁棒性是重要影响因素。针对目前特征点提取算法普遍基于灰度图像，造成较大信息损失的问题，提出 RGB 图像的信息熵度量，验证了 RGB 图像变换为灰度图像的信息损失。在此基础上，提出了基于信息熵评价的特征点提取算法，根据 RGB 图像三个通道的信息熵确定灰度变换权重，最大限度保留图像信息 ；然后利用 FAST算法进行特征提取 ；最后直接基于 RGB 三通道构建特征描述子，实现特征在像素级的融合，为特征匹配提供可靠的依据。通过实验证明，改进的 RGB 特征点提取算法的匹配精度相比经典 ORB 算法在一定程度上有所提高 ；同时，相较于使用 RANSC 算法的 ORB 算法，二者精度基本相同，但较大程度地缩短了处理时间，基本可以满足实时处理的需求。

0 引 言

视觉SLAM（Simultaneous Localization And Mapping）的关键是建立图像间鲁棒的特征点匹配关系，其决定着摄像机运动参数的求解精度和目标点三维世界坐标重建精度[1]，而影响匹配效果的重要因素是特征点提取算法。当前相对成熟的视觉SLAM解决方案有 Mono[2]、PTAM[3]、ORBSLAM[4]、SVO[5]、LSD-SLAM[6]和ORBSLAM2[7]等，普遍基于灰度图像进行特征点提取即匹配，对于环境对比明显的情况表现相对稳定，尤其ORBSLAM2更是因采用ORB特征在室外环境也有着较好的表现 ；相比于 SIFT、SURF 等多尺度提取算法，ORB特征提取算法简单，匹配精度相对较高，适合实时应用的场合。但也存在着当环境局部纹理或结构相似时所提取特征点的描述子无法加以区别的问题，从而造成错误匹配，而这种错误在多数应用场景下是无法接受的。为此，寻求更为鲁棒的特征点提取算法对于视觉SLAM就显得尤为重要。随着彩色图像处理威廉希尔官方网站 的不断发展，基于彩色图像的特征提取已经应用在很多场合。彩色图像包含的特征信息要多于灰度图像，它不仅包含灰度图所携带的特征信息，还包含饱和度及色度分量的特征信息。据统计，基于灰度图像提取的特征信息仅占原始彩色图像的百分之九十。本文将充分挖掘彩色图像所包含的信息，构建基于RGB图像特征点提取算法，以此提高视觉SLAM的鲁棒性。

1 RGB图像信息熵度量

图像特征点提取的本质即信息的提取，如果能对灰度图像和彩色图像包含信息进行特定度量和比较，将为信息提取算法提供理论上的指导。按照 Marr 计算理论 [8]，图像中的信息即图像中颜色或亮度的变化，呈现出的是物体和物体的关系以及与人的关系的要素。如果把一幅图像看作一个虚构零记忆“灰度信源”的输出时，可以通过观察图像的直方图来估计该信源的符号概率。假设图像大小为M×N，灰度范围为 [0，L-1]，rk为此区间的离散灰度随机变量，nk为第k级灰度在图像中出现的次数。这时，灰度信源的熵变为 ：

其中，

目前对于RGB值和灰度的转换，从心理学的角度来看满足人眼从彩色到亮度的感觉转换，对红、绿、蓝三种颜色赋以固定权重，通过加权求和得到灰度值，数学关系如下 ：

其中：R、G、B 分别为对应像素的红、绿、蓝分量；Grey为转换后像素的灰度值。

根据式（1）图像信息熵的定义，变换后的灰度图像的信息熵可轻易求得，而原始 RGB 图像的信息熵成为问题的关键。如果将 RGB 图像看作三个独立图层的简单叠加，则它的信息熵就是三个图层信息熵的和，即 ：

其中：HR、HG、HB 分别为R、G、B三个图层对应的信息熵，而HRGB为彩色图像总的信息熵。此种定义在形式上比较简单，但其割裂了三个图层的彼此联系，这与实际情况不符。为最大限度反映彩色图像的信息规律，将R、G、B 三个图层看作一个整体，某个像素看作随机向量rRGB=(R, G, B)，R∈[0,L-1]，G ∈[0, L-1]，B∈[0, L-1]，则其信息熵可定义为：

其中，

在此运用上述定义对变换前后的RGB图像和灰度图像的信息进行比较，为得到可靠的结果，选用了4幅不同场景的图像进行变换，其结果如图1所示。

由图1可以看出，RGB信息熵都远大于相对应的灰度图像信息熵。也就是彩色图像变换为灰度图像后，图像的信息量有比较大的损失，对后续的特征提取必将产生影响。

2 基于RGB特征点提取算法

基于RGB图像的特征点提取算法可分为三类 ：一是基于输出融合，分别对RGB图像三个通道进行特征提取，根据设计的融合准则得到整体的特征，实现相对简单，但容易导致信息丢失 ；二是基于RGB颜色向量，将RGB图像看作二维网格上的三维向量场，通过求解向量值函数实现特征提取 ；三是多维梯度方法，属于信息级的融合策略，可实现最终RGB特征信息增强[9-10]。

2.1 RGB 特征点查找算法

本文将采用第二类方法，基于信息熵计算RGB每个分量的最优融合权值，实现像素级的融合。算法步骤如下 ：

（1）计算RGB图像三个通道IR、IG、IB的信息熵 ：

其中，pR(Rk)、pG(Gk)、pB(Bk) 分别是IR、IG、IB三个通道的直方图统计量。

（2）根据图像信息量确定三个通道的权重。为了最大限度地保留图像信息，按照信息量的大小分配权重 ：

（3）基于信息量将RGB图像线性变换为灰度图像 ：

式中，R、G、B分别是RGB图像任意像素的分量。

由此证明基于信息熵的线性变换的信息量得到最大保留， 该命题可等效为 ：任意假设线性变换Grey=λRR+λGG+λBB，对应的信息量HGrey≤HGreyI。

证明 ：假设 Greyk 为变换后灰度图像的离散灰度随机变量，Rk、Gk、Bk分别为原始RGB图像三通道IR、IG、IB的离散随机变量。根据信息论可知，当信源的方差越大，则信息熵越大。

假设IR、IG、IB的方差分别为D(Rk)、D(Gk)、D(Bk)，且D(Rk)>D(Gk)>D(Bk)， 则可推出HR>HG>HB， 从而推出λRI>λGI>λBI。

根据方差性质 ：D(Greyk)=λR2D(Rk)+λG2D(Gk)+λB2D(Bk)，则有λR+λG+λB=1,推出：λR2D(Rk)+λG2D(Gk)+λB2D(Bk) ≤ λ2RID(Rk)+λ2GID(Gk)+λ2BI D(Bk)，从而有：HGrey ≤ HGreyI。

（4）运用FAST算法确定特征点，此处不再赘述。

2.2 RGB 特征点描述子

本文采用的特征点描述子是在 Brief 描述子基础上加以改进的。为充分利用 RGB 三个通道的信息，描述子建立如下 ：

（1）将RGB图像看作M×N×3的数组，IR、IG、IB 由上至下分布，以IG某二维特征点 (x,y)为中心，取S×S×3的立体邻域。

（2）在邻域内随机选取一对点。随机规则设计如下 ：在图层选择上采取均匀随机采样 ；图层上像素采用高斯两步随机采样，即首先对xi 按照高斯分布采样，然后对yi 按照高斯分布采样。

（3）比较二者像素的大小，并按照如下公式进行二进制赋值。

其中，p(xi, yi)和p(xi', yi')是随机点(xi, yi)和(xi', yi')处的像素值。

（4）重复步骤 1 ～3，生成一个二进制编码，此编码即为特征点描述子。

3 实验及分析

为验证本文提出的特征点提取算法，拟与原始ORB特征点检测算法进行比较。分别采集两组图片 ：第一组是在相同场景下通过平移、旋转、尺度等变换得到的 ；第二组为完全不同的场景图片。分别对两组图片进行特征点提取，并进行特征点匹配，采用改进的 ORB特征点提取算法（为使ORB 算法具有尺度、旋转不变性，在此将原算法中的Brie描述子更换为 Surf 描述子）的结果如图2、图3所示。

由图中可看出，相同场景下大部分点的匹配是正确的，由于未采用RANSC算法，有少数点发生了匹配错误。如果采用RANSC算法，误匹配点对可以避免，但匹配时间会大大增加，平均为218.902 ms。对完全不同的场景进行特征提取，即使使用了RANSC算法仍然存在明显的3处误匹配，这种错误对于人类视觉而言是荒唐的。特征描述子采用的是局部邻域编码，从原理上只是经过编码的特征点的匹配，不代表客观物体间关系的匹配。产生这一现象一方面是由于特征定义的问题，另一方面是由于算法普遍是基于灰度图像，未能充分利用原始RGB图像信息的问题。

对以上两组图片采用本文提出的基于RGB特征点提取算法进行处理，同时采用基于距离的匹配算法进行匹配，其结果如图4、图5所示。

相较于原算法，相同场景下基于RGB特征点的提取算法降低了错误匹配，其与原算法组合使用RANSC算法的性能相近，但处理时间缩短了62.014 ms。也说明了在算法充分利用RGB信息后，对于匹配结果的提升是有效的。但在不同场景下基于RGB特征提取仍然存在着极少的明显误匹配，这是因为算法本身仍是基于图像局部范围，当不同场景存在着较大的相似度时，这种错误发生的概率就会增加，通过扩大描述子随机范围可以降低错误率，但不可能完全避免。

4 结 语

本文面向SLAM鲁棒应用提出了基于RGB特征点提取算法，通过与目前普遍使用的ORB特征提取算法进行比较，发现误匹配率有明显降低，性能与使用RANSC算法相当，但处理时间得到了明显降低，从而也验证了本文提出的RGB图像信息熵度量方法的正确性，从信息论的角度解释了算法的有效性。今后，将围绕不同场景下误匹配发生的机理展开理论研究，进一步提升特征提取的鲁棒性。

审核编辑 ：李倩