0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于颜色感知背景的文档图像阴影去除

CVer 来源:CSIG文档图像分析与识别专 2023-06-12 14:20 次阅读

6c0443f6-08df-11ee-962d-dac502259ad0.png

本文简要介绍今年CVPR 2023的录用论文“Document Image Shadow Removal Guided by Color-Aware Background”的主要工作。现有的文档图像阴影去除方法 [1,2]依赖于固定值背景而忽略文档的其他印刷颜色,可能会对具有复杂背景的图像造成颜色失真或阴影残留问题。为了解决上述问题,作者提出了颜色感知背景提取网络(CBENet)提取彩色背景用于指导阴影去除网络(BGShadowNet)进行阴影去除。BGShadowNet分为两个阶段,在阶段一采用背景约束解码器生成一个粗略的结果,在阶段二通过在编码-解码模型中嵌入基于背景的注意力模块(BAModule)维持文档外观的一致性,用细节增强模块(DEModule)提高纹理细节来改进初步去阴影的结果。在两个基准数据集RDD和Kligler上定性和定量的实验证实了本文所提出方法的优越性。

一、研究背景

目前的文档阴影去除算法 [1,2]通常假设文档的背景颜色是一个固定值。用聚类 [1]或是深度学习 [2]的方法得到背景颜色指导文档图像阴影的去除。但是这样的做法会忽略文档中存在的其它印刷颜色,对文档背景复杂的图像可能会造成颜色失真或阴影残留的问题。如图1(d)存在颜色失真和阴影残留,(f) 存在阴影残留。而本文提出的基于颜色感知背景的文档图像阴影去除方法能很好地避免这两个问题。

6c0f9da0-08df-11ee-962d-dac502259ad0.png

图1 本文基于颜色感知背景的方法可以更好地去除文档图像阴影,避免颜色失真和阴影残留。

二、方法原理简述

6c2bc534-08df-11ee-962d-dac502259ad0.png

图2 模型结构图

图2是模型的整体结构图,它包含颜色感知背景提取网络(Color-aware Background Extraction Network, CBENet)和阴影去除网络(Background-guided Shadow Removal Network , BGShadowNet)。CBENet采用U-Net [3]结构用于提取颜色随空间变化的彩色背景,提供一些有用的颜色信息帮助BGShadowNet进行阴影去除。彩色背景的GT计算过程如下,首先将无阴影的图像分为16×16的Patch,然后对于每个区域,根据像素强度聚类成两个簇,分别是背景和文字。一般来说背景比文字亮一些,用更亮的簇的均值作为这个Patch的背景颜色。最后对这个区域做平滑,避免边界颜色过度不平滑。图3展示了彩色背景的可视化。

6c4022fe-08df-11ee-962d-dac502259ad0.png

图3 彩色背景可视化:(a) 阴影图像,(b) 局部背景图像,(c) 最终背景图像。

BGShadowNet包含两个阶段,阶段1的目的是生成一个粗略的阴影去除图像,采用U-Net [3]结构。为了利用背景图像的编码特征,在解码的时候将CBENet的编码特征集成到对应的层级,最后生成一个粗略的去阴影结果。在阶段2对阶段1的结果进行改进和提升。输入粗略的去阴影结果和原图的堆叠,进入一个编码-解码网络(DenseUnet [4]),在基于背景的注意力模块(Background-based Attention Module, BAModule)结合彩色背景信息保持文档外观的一致性。在细节增强模块(Detail Enhancement Module, DEModule)利用底层特征来恢复粗糙结果的纹理细节。最后的结果经过判别器判断文档的真实性。

6c604994-08df-11ee-962d-dac502259ad0.png

图4 BAModule结构图

有相似背景的区域应该具有类似的外观(颜色和光照)。然而,粗略的去除阴影结果中可能存在光照或颜色伪影。为了保持图像的整体一致性,本文引入了一种基于背景的注意力模块(BAModule),其结构如图4所示。编码特征和背景特征堆叠后经过卷积生成颜色感知注意力图与堆叠后的输入特征相乘得到输出特征。

由于网络中存在多个卷积和下采样操作,高层次的特征可能会丢失部分细节信息,导致细节模糊的结果。与高层次特征相比,CNN层的低层特征通常包含更多的纹理细节。因此,本文引入了一个细节增强模块(DEModule) 来利用网络中的低层特征,恢复粗略结果的纹理细节,其结构如图5所示。取编码器前两层的编码特征堆叠后经过两次卷积得到特征图M,全局平均池化后得到6c852228-08df-11ee-962d-dac502259ad0.png,计算两者之间的余弦相似度得到S。通过以下公式对S进行量化得到量化编码图E,和量化级别L一起得到反映低层信息的相对统计信息的量化计数图C。C通过卷积后与上采样后的结果堆叠得到绝对统计信息H。H通过图5右侧的分支生成新的量化级别与量化编码图E相乘后得到输出特征。

6c8d038a-08df-11ee-962d-dac502259ad0.png

6c99d31c-08df-11ee-962d-dac502259ad0.png

图5 DEModule结构图

网络的Loss包括CBENet的背景重建Loss,第二个是阶段1和阶段2输出结果的Loss,第三个是结构一致性损失,最后一个是对抗损失。

6cb0250e-08df-11ee-962d-dac502259ad0.png

三、主要实验结果及可视化效果

本文构建了一个真实的文档阴影去除数据集RDD,4371份用于训练,545用于测试。测试的数据集还包括Kligler [5]。表1实验结果证明本文方法的有效性。两个数据集上的RMSE、PSNR和SSIM都优于现有的文档阴影去除方法。

表1 RDD和Kligler测试集的实验结果

6cc08b6a-08df-11ee-962d-dac502259ad0.png

6ce7665e-08df-11ee-962d-dac502259ad0.png

6d272262-08df-11ee-962d-dac502259ad0.png

图6 各种阴影去除方法的可视化比较:(a) 输入图像,(b) Jung,(c) DSC,(d) Fu,(e) DHAN,(f) CANet,(g) BEDSR-Net,(h) 本文的BGShadowNet,以及 (i) 真实标注图像。

用户测试的实验结果也表明本文的方法去阴影的效果排名最高。有20.32%的志愿者认为本文的方法去阴影的效果最好。

表2展示了本文提出的BAModule和DEModule的消融实验,图7是对应的可视化结果。表3展示了彩色背景的消融实验。

表2 在RDD和Kligler上的消融实验,BASE1:一个DenseUnet;BASE2:两个堆叠的DenseUnet;BGShadowNet1:没有Stage2;BGShadowNet2:没有DEModule和BAModule;BGShadowNet3:没有BAModule;BGShadowNet4:没有DEModule。

6d48767e-08df-11ee-962d-dac502259ad0.png

6d5b0154-08df-11ee-962d-dac502259ad0.png

图7 消融实验的可视化比较:(a) 输入图像,(b) BASE1,(c) BASE2,(d) BGShadowNet1,(e) BGShadowNet2,(f) BGShadowNet3,(g) BGShadowNet4,以及 (h) 本文的BGShadowNet。

表3 在RDD数据集上彩色背景的消融实验

6d7ee75e-08df-11ee-962d-dac502259ad0.png

四、总结及讨论

1. 为了解决现有方法对具有复杂背景的图像造成颜色失真或阴影残留问题,本文提出了颜色感知背景提取网络(CBENet)提取彩色背景用于指导阴影去除网络(BGShadowNet)进行阴影去除。

2. 本文提出基于背景的注意力模块(BAModule)维持文档外观的一致性,以及细节增强模块(DEModule)提高纹理细节。

3. 当图像受到严重的噪声干扰时,本文方法的阴影去除结果可能会包含一些残留噪声,导致与周围环境的亮度不均匀。

五、相关资源

论文地址:https://openaccess.thecvf.com/content/CVPR2023/papers/Zhang_Document_Image_Shadow_Removal_Guided_by_Color-Aware_Background_CVPR_2023_paper.pdf

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 图像
    +关注

    关注

    2

    文章

    1084

    浏览量

    40457
  • 模型
    +关注

    关注

    1

    文章

    3233

    浏览量

    48816
  • 数据集
    +关注

    关注

    4

    文章

    1208

    浏览量

    24693

原文标题:CVPR 2023 | 基于颜色感知背景的文档图像阴影去除

文章出处:【微信号:CVer,微信公众号:CVer】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    给照片轻松换背景(让ps更轻松)

    给照片轻松换背景(让ps更轻松)在PS图象处理时常常会遇到去除图象背景操作,通过PS去除有时候非常的墨迹,通过“照片轻松换背景”软件可以轻轻
    发表于 09-19 10:00

    如何去除背景

    如何去除图片中的绿色背景,而保留蓝色区域
    发表于 02-08 21:48

    对彩色原图像分割后将目标还原成彩色图像

    当对彩色图像进行二值化处理后,如何将获得的二值化图像转变为原彩色图像中的颜色,比如上传图像中的绿色为背景
    发表于 02-09 09:09

    改变表格控件,表格一整行背景颜色 字体颜色,一个单元格背景颜色 字体颜色

    改变表格控件,表格一整行背景颜色 字体颜色,一个单元格背景颜色 字体颜色
    发表于 03-22 10:15

    怎么设置去除Altium阴影部分重叠报错?

    阴影部分重叠报错应该怎么设置来去除这报错
    发表于 09-17 05:09

    LabVIEW背景颜色设为和其他程序或图像中一样

    LabVIEW背景颜色设为和其他程序或图像中一样 有时候LabVIEW背景色要和其他程序或者图片的颜色保持一致,如果要求不高可以大致设置一下
    发表于 10-30 20:11

    基于超像素和局部颜色恒常性的自适应阴影去除

    为快速有效地去除监控视频中运动目标的投射阴影,提出了一种基于超像素和阴影区域的局部颜色恒常性的自适应阴影
    发表于 12-11 16:23 1次下载

    基于暗原色先验原理的颜色空间转换算法去除图像浓雾

    在浓雾天气下,针对基于常规偏振特性去雾算法去雾效果不理想的特点,提出了一种基于暗原色先验原理的颜色空间转化算法去除偏振图像的浓雾。相比传统的成像威廉希尔官方网站 ,偏振图像探测威廉希尔官方网站 在复杂环境下的目标
    发表于 12-28 16:29 2次下载
    基于暗原色先验原理的<b class='flag-5'>颜色</b>空间转换算法<b class='flag-5'>去除</b><b class='flag-5'>图像</b>浓雾

    LCD显示器不同色温下相同颜色感知图像增强方法

    本文针对 LCD 显示器不同色温下相同颜色感知图像增强方法研究,对于提升不同色温下的图像处理能力具有重要性研究意义,对于 LCD 显示器自身的图像显示威廉希尔官方网站 应用能力提升也具有重要性研究意
    发表于 02-20 08:00 10次下载
    LCD显示器不同色温下相同<b class='flag-5'>颜色感知</b><b class='flag-5'>图像</b>增强方法

    如何使用RGB颜色传感器进行反射式颜色感

    利用Avago Technologies的RGB颜色传感器进行反射式颜色感测 摘要—反射式颜色感测通常是通过具有多个光源的光电二极管或涂有包含单个光源的滤色镜的光电二极管来实现的。本文介绍了
    的头像 发表于 05-06 15:31 6020次阅读
    如何使用RGB<b class='flag-5'>颜色</b>传感器进行反射式<b class='flag-5'>颜色感</b>测

    基于全局背景光估计和颜色校正的图像增强算法

    针对水下成像过程中的图像降质和颜色衰减现象,提出一种基于全局背景光估计和颜色校正的图像增强算法。利用雾
    发表于 03-19 11:00 6次下载
    基于全局<b class='flag-5'>背景</b>光估计和<b class='flag-5'>颜色</b>校正的<b class='flag-5'>图像</b>增强算法

    可解析图片颜色及设置多彩阴影控件PaletteImageView

    控制控件四个角的圆角大小(如果控件设置成正方向,随着圆角半径增大,可以将控件变成圆形) 可以控制控件的阴影半径大小 可以分别控制阴影在x方向和y方向上的偏移量 可以将图片中的颜色解析出六种主题
    发表于 03-23 09:09 1次下载

    颜色感应器能判别物体的有无吗?

    使用光电二极管或光敏电阻等光传感器来感知物体发射或反射的光线。不同颜色的物体会吸收或反射不同波长的光,颜色感应器通过测量光的强度和波长来确定物体的颜色。这种测量过程可
    的头像 发表于 06-05 16:15 726次阅读
    <b class='flag-5'>颜色感</b>应器能判别物体的有无吗?

    用于颜色感知的超低功耗垂直集成的尖峰视锥感受器阵列

    pW的功耗(与人眼视锥感受器功耗相当),实现了高生物相似性的颜色感知能力的模拟。该成果将为低功耗的动态视觉处理系统提供基础元件,并为高智能仿生机器人的发展提供重要参考价值。
    的头像 发表于 06-21 09:36 815次阅读
    用于<b class='flag-5'>颜色感知</b>的超低功耗垂直集成的尖峰视锥感受器阵列

    颜色感应器能判别物体的有无吗?

    使用光电二极管或光敏电阻等光传感器来感知物体发射或反射的光线。不同颜色的物体会吸收或反射不同波长的光,颜色感应器通过测量光的强度和波长来确定物体的颜色。这种测量过程可
    的头像 发表于 06-26 12:01 607次阅读
    <b class='flag-5'>颜色感</b>应器能判别物体的有无吗?