0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于事件相机的超分辨率图像恢复

3D视觉工坊 来源:3D视觉工坊 2023-03-08 16:36 次阅读

摘要 由于事件相机具有极高的时间分辨率,其在机器人计算机视觉方面具有很大的潜力。然而,它的异步成像机制往往会加重测量对噪声的敏感性,给提高图像空间分辨率带来物理负担。

为了恢复高质量的强度图像,算法需要同时解决事件相机的去噪和超分辨率问题。由于事件描述了图像亮度的变化,利用基于事件增强的图像退化模型,可以从存在噪声的、模糊和低分辨率的强度观测中恢复清晰的高分辨率潜在图像。利用稀疏学习框架,可以同时考虑事件和低分辨率强度图像

在此基础上,我们提出了一种可解释网络,即基于事件增强的稀疏学习网络(eSL-Net),用于从事件相机中恢复高质量图像。在使用合成数据集进行训练后,所提出的eSL-Net可以极大地提高7-12 dB的性能。此外,不需要额外的训练过程,所提出的eSL-Net可以很容易地扩展到帧率与事件相同的连续帧生成任务中。

30445546-bbd6-11ed-bfe3-dac502259ad0.png

图1 eSL-Net的算法流程示意图以及模型效果

目前需要解决的问题

利用事件相机恢复高质量图像应同时解决以下问题:

1)运动模糊:主动像素传感器(APS)帧率相对较低 (≥5 ms延迟),其在记录高速场景时,运动模糊是不可避免的。

2)图像噪声:热效应或不稳定的光环境会产生大量的噪声事件,再加上APS自身的噪声,强度图像的重建将陷入混合噪声的问题。

3)低空间分辨率:目前消费级事件相机通常具有非常低的空间分辨率,这是为了平衡事件数据的空间分辨率和延迟。

本文的贡献

1)作者结合基于事件增强的图像退化模型以及稀疏学习框架,提出了一种可解释网络——基于事件增强的稀疏学习网络eSL-Net,用于从事件相机中恢复高质量图像。

2)作者提出了一种简单的方法来扩展eSL-Net,以实现高帧率和高质量的视频恢复。

3)作者为事件相机建立了一个合成数据集,其中事件数据、LR模糊图像和HR清晰图像。

算法原理

30665c90-bbd6-11ed-bfe3-dac502259ad0.png

30a881c4-bbd6-11ed-bfe3-dac502259ad0.png

30d696fe-bbd6-11ed-bfe3-dac502259ad0.png

最后将公式运用在整个图像的所有像素上,就可以得到一个关于[tr,t]时间间隔内的事件流、t时刻的观测强度图像以及tr时刻潜在清晰强度图像三者之间的简单模型:

30e6671e-bbd6-11ed-bfe3-dac502259ad0.png

在实际应用中,传感器的非理想性以及相机与目标场景之间的相对运动会极大地降低观测到的强度图像Y[f]的质量,使其具有噪声和运动模糊。此外,尽管事件相机具有极高的时间分辨率,但由于硬件设计的限制,其空间像素分辨率相对较低。考虑到这些因素,公式需要加入一些不定因素,改写为:

30fa8a1e-bbd6-11ed-bfe3-dac502259ad0.png

3127400e-bbd6-11ed-bfe3-dac502259ad0.png

31407a24-bbd6-11ed-bfe3-dac502259ad0.png

3170dd2c-bbd6-11ed-bfe3-dac502259ad0.png

图2 eSL-Net的模型细节

受到基于深度学习的稀疏编码方法的启发,作者将稀疏编码过程集成到CNN架构中,提出了一种基于事件增强的稀疏学习网络eSL-Net,在统一的框架下解决噪声、运动模糊和低空间分辨率的问题。

如图2所示,eSL-Net的基本思想是将基于事件的强度图像重建方法的更新步骤映射到由多个固定阶段组成的深度网络架构,每个阶段对应于公式(9)的一次迭代,因此eSL-Net是一个可解释的深度网络。

当公式(9)中的系数为非负时,ISTA不受影响,则很容易发现逐元素软阈值函数与ReLU激活函数的相等性。然后公式中的加减运算也可以看成是神经网络的卷积运算。由公式(5)可知,

3183bc62-bbd6-11ed-bfe3-dac502259ad0.png

为事件的二重积分。在离散情况下,连续积分转化为离散求和,更一般地,用加权求和卷积来代替积分。这样,通过两个具有合适参数的卷积层,可以将输入的事件流转换为近似的E。此外,卷积对事件流有一定的去噪效果。最后,迭代模块输出的最优稀疏编码

3198b478-bbd6-11ed-bfe3-dac502259ad0.png

与高分辨率字典Dx计算得到最终的清晰图像。在eSL-Net中,使用卷积层和shuffle层来实现高分辨率字典Dx,因为shuffle算子对不同通道的像素进行排列,可以看作是一个线性算子。

实验结果

31aaeb16-bbd6-11ed-bfe3-dac502259ad0.png

作者使用NVIDIA Titan-RTX GPU在50个epoch的合成训练数据集上训练提出的eSL-Net,并将其与最先进的基于事件的强度重建方法进行比较,包括EDI,互补滤波器方法(CF)和manifold正则化方法(MR)。此外,为了证明其同时解决去噪、去模糊和超分辨率三个问题的能力,将其与EDI、CF和MR进行了比较,并配置了性能优良的SR网络RCAN

我的思考

作者用压缩感知领域的字典和稀疏编码的思路来设计轻量化稀疏学习网络同时处理图像与事件信息是一个新颖的思路,利用对稀疏编码ɑ进行迭代优化的方式巧妙地将事件信息作用在图像信息中,完成清晰图像的生成,解决了运动模糊的问题。

不过针对去噪和超分辨率这两个问题,作者在模型设计时只是简单提了一下,说利用作用在事件流和潜在清晰图像Dx上的卷积操作就可以实现去噪和超分辨率了,并在实验部分用更高的PSNR和SSIM指标来验证模型确实有超分辨率的效果,但是我认为只是单纯用基于数据驱动的卷积运算来解决事件相机的去噪和超分辨率问题,还有很大的提升空间。

摘要

由于运动模糊和低空间分辨率,单运动模糊图像(SRB)的超分辨率是一个严重的不适定问题。在本文中,作者利用事件数据来减轻SRB的情况,并提出了一种基于事件增强的SRB (E-SRB)算法,该算法可以从一张低分辨率的模糊图像生成一系列清晰清晰的高分辨率图像。

为了达到这一目的,作者设计了一个基于事件增强的图像退化模型,同时考虑低空间分辨率、运动模糊和事件噪声。然后,作者基于双重稀疏学习方案构建了一个基于事件增强的稀疏学习网络(eSL-Net++),其中事件和强度图像都用稀疏表示建模。

此外,作者还提出了一种基于事件的shuffle-and-merge方案,将单帧SRB扩展到序列帧SRB,而无需任何额外的训练过程。在合成数据集和真实数据集上的实验结果表明,提出的eSL-Net++在很大程度上优于最先进的方法。

目前需要解决的问题

1)运动由模糊变清晰。事件数据嵌入的帧内信息补偿了模糊低分辨率图像中被擦除的运动和纹理信息。

2)超分辨率。当遇到运动模糊时,事件数据极高的时间分辨率保持了动态场景帧内的时间连续性。因此,类似于视频超分辨率,即使是单个运动模糊图像,也可以通过事件数据的时间相关性来提高超分辨率性能。

作者的贡献

1)作者提出采用事件来提高SRB的性能,其中基于事件增强的图像退化模型(EDM)考虑了事件噪声、运动模糊和低空间分辨率。

2)作者提出了一种基于双稀疏学习方案的eSL-Net++来解决E-SRB的挑战,其中事件噪声抑制、运动去模糊和图像SR同时得到解决。

3)作者提出了一种严格的事件shuffle-and-merge方案,将eSL-Net++扩展到从单个模糊LR图像中恢复高帧率HR视频序列,而无需任何额外的训练过程。

算法理论

31bfca4a-bbd6-11ed-bfe3-dac502259ad0.png

图3 eSL-Net++的模型流程

31cf5c4e-bbd6-11ed-bfe3-dac502259ad0.png

图4 eSL-Net++的模型细节

321e5466-bbd6-11ed-bfe3-dac502259ad0.png

3231f462-bbd6-11ed-bfe3-dac502259ad0.png

实验结果

3252b2c4-bbd6-11ed-bfe3-dac502259ad0.png

我的思考

虽然同样都是基于数据增强的稀疏学习模型,相比于eSL-Net,eSL-Net++主要的优化在于它不仅仅是将事件通过卷积直接作用在图像上来迭代计算图像的稀疏编码ɑ,而是也将图像作用在事件上来迭代计算事件的稀疏编码β,通过这种相互作用的编码方式实现两种模态的信息相互补偿,虽然最终的清晰图像生成还是得依靠图像的稀疏编码ɑ,但是在图像对事件的补偿过程中同样能够对事件进行有效地去噪,能够间接性提高最终清晰图像的生成精度。 综上,eSL-Net和eSL-Net++最值得借鉴学习的地方就是,两者利用稀疏编码的思想对图像和事件进行处理的过程,需要进一步查看源码来学习。





审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2550

    文章

    51071

    浏览量

    753341
  • 机器人
    +关注

    关注

    211

    文章

    28405

    浏览量

    207016
  • 计算机视觉
    +关注

    关注

    8

    文章

    1698

    浏览量

    45989
  • APS
    APS
    +关注

    关注

    0

    文章

    337

    浏览量

    17503

原文标题:TPAMI 2023|eSL-Net++:基于事件相机的超分辨率图像恢复

文章出处:【微信号:3D视觉工坊,微信公众号:3D视觉工坊】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    分辨率图像重建方法研究

    分辨率图像重建方法研究分辨率图像重建就是由低分辨率
    发表于 03-14 17:08

    新手关于图像分辨率的问题~

    各位大神好,我是一个新手,求教各位!用matlab新三步法实现图像分辨率,已经有定义为 motionEstNTSS的新三步法代码。然后在命令窗口输入imgP=imread('D:\5.jpg
    发表于 05-19 16:14

    分辨率图像重建方法研究

    分辨率图像重建就是由低分辨率图像序列来估计高分辨率图像
    发表于 03-14 08:33 47次下载

    基于POCS算法的图像分辨率重建

    分辨率威廉希尔官方网站 是指通过融合多幅模糊、变形、频谱混叠的低分辨率图像来重建一幅高分辨率图像.本文提出一
    发表于 11-08 17:03 40次下载

    数码相机图像分辨率

    数码相机图像分辨率          
    发表于 12-18 14:40 768次阅读

    序列图像分辨率重建算法研究

    分辨率重建(Super-resolution Reconstruction,SR)威廉希尔官方网站 是提高图像和视频分辨率的有效途径。所谓
    发表于 03-08 14:56 32次下载
    序列<b class='flag-5'>图像</b><b class='flag-5'>超</b><b class='flag-5'>分辨率</b>重建算法研究

    使用改进的POCS算法的分辨率图像复原

    使用改进的POCS算法的分辨率图像复原.
    发表于 01-04 15:26 0次下载

    一种基于参考高分辨率图像的视频序列分辨率复原算法

    一种基于参考高分辨率图像的视频序列分辨率复原算法
    发表于 10-26 10:49 5次下载
    一种基于参考高<b class='flag-5'>分辨率</b><b class='flag-5'>图像</b>的视频序列<b class='flag-5'>超</b><b class='flag-5'>分辨率</b>复原算法

    单幅模糊图像分辨率盲重建

    ,针对分辨率降低的图像恢复威廉希尔官方网站 被称为图像分辨率重建。当降质条件中同时存在两种以上的降质因素时,
    发表于 11-29 16:43 1次下载

    序列图像分辨率重建

    针对分辨率重建时需要同时滤除高斯噪声和脉冲噪声的问题,提出一种基于L1和L2混合范式并结合双边全变分(BTV)正则化的序列图像分辨率重建
    发表于 01-15 15:42 0次下载

    使用深度学习来实现图像分辨率

    今天给大家介绍一篇图像分辨率邻域的综述,这篇综述总结了图像分辨率领域的几方面:problem
    的头像 发表于 12-14 23:42 1397次阅读

    基于目标检测的海上舰船图像分辨率研究

    摘要: 针对海上舰船图像有效像素在整体像素中占比小的问题,提出一种基于目标检测网络的分辨率方法。该方法包含两个阶段,结合bicubic变换,逐步地将图像的清晰度从粗到细地进行
    发表于 03-16 09:50 687次阅读

    如何有效匹配镜头分辨率相机分辨率

    在机器视觉中,分辨率作为衡量镜头和相机的重要参数,已被大家熟知。但是,在实际组合应用中,大家知不知道要如何有效匹配镜头分辨率相机分辨率呢?
    的头像 发表于 01-07 11:56 2654次阅读

    单张图像分辨率和立体图像分辨率的相关工作

    多阶段策略在图像修复任务中被广泛应用,虽然基于Transformer的方法在单图像分辨率任务中表现出高效率,但在立体
    的头像 发表于 06-27 11:07 991次阅读
    单张<b class='flag-5'>图像</b><b class='flag-5'>超</b><b class='flag-5'>分辨率</b>和立体<b class='flag-5'>图像</b><b class='flag-5'>超</b><b class='flag-5'>分辨率</b>的相关工作

    基于CNN的图像分辨率示例

    考虑单个低分辨率图像,首先使用双三次插值将其放大到所需的大小,这是执行的唯一预处理。将插值图像表示为Y。我们的目标是从Y中恢复与真实高分辨率
    的头像 发表于 03-11 11:40 708次阅读
    基于CNN的<b class='flag-5'>图像</b><b class='flag-5'>超</b><b class='flag-5'>分辨率</b>示例