用CPLD实现嵌入式平台上的实时图像增强

    关键词：嵌入式 CPLD 实时处理 图像增强

通常，在拥有ＤＳＰ或ＦＰＧＡ的嵌入式平台上，有关图像信号处理的算法部分都由ＤＳＰ和ＦＰＧＡ完成。但是相对于标准的ＰＣ平台来说，嵌入式平台的资源有限得多，而且由于成本的原因，中央处理器的速度也通常无法与ＰＣ相比。因此，在ＰＣ机上用软件可以轻易实现的图像处理算法，完全移植到嵌入式平台上就要颇费一番周折了。

为了达到实时图像处理的目的，除了最大限度地发挥中央处理器的图像处理能力外，还需要合理地分配任务。ＤＳＰ芯片的优势在于乘除运算的能力，由于其特殊的流水线结构和处理单元，大部分ＤＳＰ都能在单周期内完成在ＰＣ上需若干个周期才能完成的乘法运算，所以在进行诸如ＦＦＴ、ＤＣＴ等运算时优势明显；相反在进行简单的加减运算时，由于时钟频率和总线宽度都无法与ＰＣ机相比，效率不高。因此，如果能用硬件实时实现这些相对简单却又繁琐的运算，就可以大大提高系统的总体性能。

１ 改进的图像增强算法

图像增强是图像处理中用于改善图像质量以及图像视觉效果的一种方法。在ＤＳＰ平台上采用直方图均衡实现实时图像增强是一种常用的方法。对一幅连续图像，其具有灰度Ｇ的阈值面积（所有轮廓线所包围的面积）为Ａ（G），则其直方图Ｈ（G）定义为：

Ｈ(G)=lim[A(G+ΔG)-A(G)/ΔG=d/dcA(G)，

ΔＧ→０

对于数字图像，G为整数，A（G）表示灰度值大于等于G的象素个数，当ΔG=1,H（G）=A(G+1)-A(G)。

如果对A（G）做一次系数为Gm/A0的比例变换，Gm表示灰度的最大值，A0表示图像的面积（在数字图像中为象素总数）。这就是种线性直方图均衡。这种直方图均衡的具体实现如下：

（1）对于图像{Pi,j|i=1,2,...，n;j=1,2,...,m}，就灰度G,G=0，1，...255，求出直方图H（G）；

    （2）由A（G+1）=A(G)+H(G)求出阈值面积A（G），G=1,2,...，255；

(3)求出变换后的灰度分度值hnew(G)=255 A（G）/A0,A0=nm；

（4）Pij=hnew(Pij)。

借助ＬＵＴ，可使运算以最快速度实现。

考察直方图均衡的实现过程可以发现，这是一种有限区间内的单调变换。从其频域特性看，直方图均衡改变了已有频率成分的分布，使它们分布得更加均匀，但并不增加新的频率成分。直方图均衡对于彩色（灰度）值集中在低端的图像，可起到较明显的视觉改善作用。但对于那些色彩分布很不均匀、频带较窄，特别是整体偏亮的图像，效果就不明显了。

本文采用一种新的图像增强方法，将对图像的边缘增强处理与均衡结合起来，并且这些运算最终可由硬件实现。

对于连续图像Ｐ，其局部边缘可由对应空间梯度的幅值，取其一阶近似ΔＰｉ,j=2Pi,j-Pi,j-Pi-1,j，可得图像{Pi,j|i=1,2,...,n;j=1,2,...,m}在（i,j）的边缘信息。

如果不计Pi,j的取值范围，可直接对图像{Pi,j|i=1,2,...，n；j=1,2,...,m}进行修正：

Ｐ′i,j=Pi,j+ΔPi,j,

其中，Ｐ′i,j表示Ｐi,j修正后的值。显然，图像{Pi,j|i=1,2,...,n；j=1，2，...，m}按此规则修正后边缘值的变化更为强烈，边缘更为突出，可达到边缘增强的效果。同时，由于在原图像上叠加了梯度值，使得修正后的图像的频谱有一定的扩展。但由于没有对Pi,j的取值作约束，这样处理后的象素值可能会溢出，例如对于每个色彩通道为８位的图像，处理后的数值可能会大于２５５或小于０。因此，通常要对其进行归一化处理，即：

Ｐｎｅｗ＝２５５×(Ｐ′－Ｐ′ｍｉｎ)／（Ｐ′ｍａｘ－Ｐ′ｍｉｎ)。

但用硬件实现乘除运算可能会占用很多资源，上述公式即便以运算实现都是很不经济的。本文采用预拉伸加饱和／截止的方法，在不牺牲频率特性的基础上达到减少计算量的目的。

考察ΔPi,j与Ｐi,j的直方图，分别取得它们的右峰值所对应的横座标，记为ＧΔ和Ｇ，并找到ｋ，使得ｋＧΔ＋Ｇ＝２５５，则修正公式变为Ｐ′i,j=Pi,j+kΔPi,j。其中kΔPi,j可以ＬＵＴ实现。修正后的Ｐ′i,j可在[0,255]上进行饱和／截止运算。

２ 用ＣＰＬＤ实现实时的图像增强

本文所采用的改进图像增强算法的主要成份是差分、累加以及饱和／截止。这些运算都是加减法及逻辑运算，都属于ＡＬＵ的简单操作，适合硬件实现。本文采用ＣＰＬＤ实现所提出的算法。以对具有３０ｆｐｓ的１２８０×１０２４ ＲＧＢ图像计算ΔＰi,j为例，每计算一点ΔＰｉ,ｊ需要４次加（减）运算，即总的需要１２８０×１０２４×３×３０×４＝４７１,895,２００次加（减）运算。如果采用的ＤＳＰ的速度是１００ＭＨｚ，且假定所有运算都是单周期的，则仅仅该运算就需要４．７ｓ！所以采用ＣＰＬＤ实现某些运算是必需的。

图3 图像增强算法的硬件实现结构

    采用ＣＰＬＤ实现运算（例如边缘处理中涉及的求梯度运算），还需解决数据的暂存问题。本文以一片高速ＳＲＡＭ作为数据缓冲区。由于图像数据的采样输入的频率也很高，需要充分合理地安排好每一次操作的时序，充分利用已参与运算的数据及中间结果，减少数据进出ＳＲＡＭ的次数。

２．１ 基于Ｅ１－ＤＳＰ的网络图像采集平台

在分析具体实现方法前，先简要介绍所采用的硬件平台。该平台主要用于远程图像采集和以太网传输，其图像通道结构如图１所示。

ＯＶ９６２０是ＣＭＯＳ的数字图像传感器，负责采集连续的数字图像；中央处理器使用德国ＨＹＰＥＲＳＴＯＮＥ公司的Ｅ１系列ＲＩＳＣ ＤＳＰ，它集ＤＳＰ和ＲＩＳＣ于一身，可以加载ＯＳ，方便地实现任务调度、内存管理等功能，大大提高系统的总体性能；ＣＰＬＤ的基本功能是作为Ｅ１总线接口控制模块，本文还将用它实现图像增强运算。

２．２ 算法的总流程

为了实现实时的读写和运算，需要由外部电路产生２４ＭＨｚ×４的时钟ＥＸＣＬＫ作为读写时钟，所有时序都由ＣＭＯＳ时钟和ＥＸＣＬＫ控制，可以做到完全同步。具体流程如图２所示。

(1)在ＣＭＯＳ时钟到来时，从ＣＭＯＳ传感器的数据输出口采集Ｐｉ,ｊ，并实现加法运算ＲＥＳＵＬＴ＝Ｐｉ,ｊ＋Ｐｉ,ｊ，同时用ＥＸＣＬＫ的第０个时钟向ＳＲＡＭ写入Ｐ′ｉ,ｊ－１或Ｐ′ｉ,ｍ－１ （本行最后一个数据，下一次操作应换行）；

（2）在ＥＸＣＬＫ的第１个时钟锁存ＲＵＳＥＬＴ，由ＳＲＡＭ读入Ｐｉ－１，ｊ，并做减法运算ＲＥＳＵＬＴ＝ＲＥＳＵＬＴ－Ｐｉ－１,ｊ；

（３）在ＥＸＣＬＫ的第２个时钟锁存ＲＵＳＥＬＴ，由ＳＲＡＭ读入Ｐｉ,ｊ－１，并做减法运算ＲＥＳＵＬＴ＝ＲＥＳＵＬＴ－Ｐｉ,ｊ－１；

（４）在ＥＸＣＬＫ的第３个时钟锁存ＲＵＳＥＬＴ，同时写入Ｐｉ,ｊ。

然后开始下一个点的运算。

２．３ 硬件实现的逻辑结构

用ＣＰＬＤ实现该算法所采用的逻辑结构如图３所示。

其中?熏加模块实现２×Ｐｉ,ｊ运算，生成９位的运算结果交给减模块；减模块在ＥＸＣＬＫ的第二和第三个时钟分别读入Ｐｉ－１,ｊ和Ｐｉ,ｊ－１进行减法运算，并把结果存回ｒｅｓｕｌｔ寄存器。由于两次减法在时间上是错开的，因此只需要一个减法器就够了，节约了内部资源。

图３中的脉冲计数器是一个模４计数器，所有的读写时序和运算时序都由它控制。数据通道切换模块控制流入ｒｅｓｕｌｔ寄存器的数据流，在第一个ＥＸＣＬＫ时钟让加法器的结果进入ｒｅｓｕｌｔ，其余的时间都让减法器的结果进入ｒｅｓｕｌｔ。两个选通逻辑模块对ＥＸＣＬＫ起门控作用，选通逻辑１允许第１个和第２个时钟通过，用来锁存从ＳＲＡＭ读入的数据；选通逻辑２允许第１、２、３个时钟通过，用来锁存三次运算的结果。

ＳＲＡＭ的读写操作由地址发生器和读写控制模块共同实现。由于四次读写操作的地址都不同，且不连续，无法用普通的地址计数器实现。这里采用地址计数器加偏移的相对寻址法，具体结构如图４所示。

地址计数器中保存Ｐｉ,ｊ的地址，它由ｃｍｏｓ ｃｌｋ作为时钟实现累加；偏移地址则由脉冲计数器模块控制，分别选择Ｐ′ｉ,ｊ－１、Ｐｉ－１,ｊ、Ｐｉ,ｊ－１和Ｐｉ,ｊ的偏移地址；最后做减法运算得到绝对地址送到ＳＲＡＭ。

通过上述设计和优化，完全可以在结构和功能都比较简单的ＣＰＬＤ上实现实时的图像增强处理。

由于采用了改进的图像增强算法，在处理窄频带的图像时收到了非常好的效果，部分测试结果如图５所示。

    与传统的处理方法相比，改进后的算法对图像的均衡效果更为明显一些，而且由于展宽了频带，图像的细节更加丰富，图像更加明艳和清晰。

以上算法都在ＣＰＬＤ上实现，并没有占用ＤＳＰ的处理时间，因而节省了大量的运算时间。笔者做过一个实际测试，在１００ＭＨｚ主频的Ｅ１ ＤＳＰ上用Ｃ编程实现一帧６４０×４８０ ＲＧＢ图像的增强算法大约需要１００ｍｓ（如果用汇编语言编程或对程序作优化可使性能提高一些），而且要占用大量存储资源。这样的运算速度只适合静止图像的处理。所以，如果不做简化处理或采用更高性能的ＤＳＰ，根本无法做到实时处理。由此可见，采用硬件处理的方法可以极大地提高系统的总体性能。

综上所述，在拥有ＤＳＰ的嵌入式平台上使用ＣＰＬＤ实现改进的图像增强算法是可行的，对于实时的图像处理是一种高效的解决方法。