0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于深度学习的图像去模糊算法及应用

CVer 来源:机器之心 作者:机器之心 2022-10-28 16:00 次阅读

本文提出了一个图像去模糊方向的综述,来自澳大利亚国立大学、中山大学、美国加州大学 Merced 分校、日本乐天研究所的研究者回顾了基于深度学习的图像去模糊威廉希尔官方网站 研究进展,回顾了图像去模糊的研究历史,总结了当前的研究进展,并进行了展望。该综述近期被计算机视觉旗舰期刊 International Journal of Computer Vision 接收。

06b68bda-5165-11ed-a3b6-dac502259ad0.png

图像去模糊是计算机底层视觉中的一个经典问题,它的目标是将输入的模糊图像中恢复成清晰的图像。近些年,基于深度学习的神经网络在该任务上取得了重大进展。本文对最近发表的基于深度学习的图像去模糊方法进行了全面的回顾,主要看点如下:

1.阐述图像去模糊的研究背景,包括如何定义去模糊、模糊产生的原因、去模糊的方法、质量评估的指标、常见的数据集。

2.讨论了近些年基于深度学习在图像去模糊领域中取得的进展,对当前的深度去模糊方法进行全面回顾。

3.分析了当前图像去模糊存在的挑战以及未来的研究课题。

06c95710-5165-11ed-a3b6-dac502259ad0.png

背景知识

图像模糊是由拍摄图像过程中的各种因素引起,包括相机抖动、目标运动以及离焦等。根据模糊图片的不同,一般将模糊图片分为如下几类:运动模糊,离焦模糊,高斯模糊,以及混合模糊。

(1)运动模糊:在光照充足的条件下,当曝光时间足够短时,相机可以捕捉到清晰的图像。但是,当曝光时间相对于物体或者相机运动过长的时候,图像会产生模糊,该模糊图片一般被称为运动模糊。

(2)离焦模糊:除了运动模糊之外,图像清晰度还受到目标位置以及相机焦距的影响。在相机的成像区域中,不同目标的景深是不同的,当相机的对焦系统无法对焦到某些目标时,相机就会拍摄到离焦模糊的图片。

(3)高斯模糊:高斯模糊是通过高斯卷积得到的一种模糊图像。

(4)混合模糊:当一个图片同时被多种因素影响时,造成的模糊就是混合模糊,比如相机拍摄在离焦状态下的高速运动物体时,得到的模糊就是一种混合模糊。

为了评估去模糊的效果,通常采用一些图片评估算法,这些算法包括基于主观和基于客观的评测。主观方法是不需要清晰图像作参考的,一个具有代表性的指标是 MOS,评测者用 1-5 的等级对图像质量进行评分,之后对分数进行平均。对于图像去模糊的问题,大多数现有方法都是根据基于客观的指标进行评测,该方法可以进一步分为两类:有参考和无参考的指标。有参考的指标通过将恢复的图像与清晰图进行比较来评估图像质量,包括 PSNR,SSIM, WSNR, MS-SSIM、IFC、NQM、UIQI、VIT、LPIPS 等等,其中 PSNR 跟 SSIM 是最常用的指标。

与有参考的指标不同,无参考指标仅使用去模糊的图像就可以衡量其质量。常见的指标包括 BIQI、BLINDS、BRISQUE、CORNIA、NIQE、SSEQ 等。此外,也有人通过测量去模糊算法对不同视觉任务(例如目标检测和识别)准确性的影响,来评估图像去模糊算法的性能。

非盲图像去模糊

图像去模糊的任务是根据给定的模糊图像,恢复潜在的清晰图像。当已知图片模糊核的情况下,则该问题也可以被称为非盲图像去模糊。尽管已知了模糊核,但是由于传感器噪声和高频信息的丢失,该任务仍然具有挑战性。

一些基于非深度学习的方法通常使用自然图像先验,例如全局或者局部图像先验,在空间域 或频域中重建清晰的图像。为了恢复出更好的图片,近些年,一些基于空间反卷积和深度神经网络的方法相继被提出。本文在下面表格中总结了现有的基于深度学习的非盲方法,这些方法可以大致分为两组:第一组是基于反卷积去噪,而第二组是基于先验去噪声:

06e70490-5165-11ed-a3b6-dac502259ad0.png

盲图像去模糊

当模糊图的模糊核未知时,图像去模糊任务被称为盲图像去模糊。早期的盲图像去模糊方法侧重于去除均匀的模糊核。然而,真实世界的模糊图像,其不同区域通常是由不同的模糊核生成,因此其模糊核是非均匀的。为了解决盲图像的去模糊任务,多种基于深度学习的图像去模糊算法被提出。本文在下面表格中总结了现有的基于深度学习的盲图像去模糊方法,这些方法通常采用各种不同的网络框架,包括多尺度网络、对抗神经网络、级联网络、再模糊网络等等。

070f1e26-5165-11ed-a3b6-dac502259ad0.png

07456788-5165-11ed-a3b6-dac502259ad0.png

07503ba4-5165-11ed-a3b6-dac502259ad0.png

损失函数

为了更好的训练深度去模糊网络,各种各样的损失函数被提出。早期的方法大部分是基于像素级内容的损失函数,用于测量网络训练过程中的去模糊图片跟清晰图片的重建误差。考虑到像素级内容的损失不能准确衡量去模糊图像的质量,各种其他的损失函数被提出,包括基于对抗的损失函数、基于感知的损失函数、基于相对模糊的损失函数、基于光流的损失函数等等。

模型性能对比

本本总结了具有代表性的图像去模糊跟视频去模糊算法在主流数据集上的 PSNR/SSIM 指标。

07746ab0-5165-11ed-a3b6-dac502259ad0.png

07aaeedc-5165-11ed-a3b6-dac502259ad0.png

此外,本文总结了不同损失函数对去模糊方法的影响,模型在 non-reference 的评价指标上的表现,以及模型的速度。

特定场景的图像去模糊

当前,绝大部分基于深度学习的图像去模糊算法是不区分场景的,也就是他们是对常见的自然与人为设计的场景进行去模糊。但是,在现实生活中,经常会遇到一些特定场景的图像去模糊。比如人脸去模糊、文本去模糊、双目去模糊。本文总结了这些不同场景的特点,以及各自的深度去模糊算法。

机遇与挑战

尽管图像去模糊算法在主流数据集上取得了重大进展,但把真实世界的模糊图恢复成清晰的图像仍然具有挑战性。本文最后总结了图像去模糊算法现在面临的挑战并讨论了未来可能的研究机会,包括真实数据采集、损失函数、评价指标、模型规模、无监督学习等等。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 深度学习
    +关注

    关注

    73

    文章

    5497

    浏览量

    121066

原文标题:顶刊IJCV 2022!基于深度学习的图像去模糊综述来了!

文章出处:【微信号:CVer,微信公众号:CVer】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    模糊控制设计

    请问如图设计模糊控制器,输入三个隶属度函数,想以隶属度最大方法决定输出值,输出位离散的1,2,5三个值,为何输出图像没有最后的5,去模糊化应选择哪个方法?多谢!
    发表于 01-08 21:25

    基于深度学习的监督图像分类算法研究,MATLAB制作的。求助:程序代码修改补充,有偿

    关键词:图像检索;深度学习;哈希算法;
    发表于 04-01 16:12

    新结构重心法去模糊单元电路设计

    摘要:为解决模糊控制器电路设计中的去模糊运算问题,提出了一种数模混合电路实现的模糊控制器去模糊运算单元电路设计。通过对折叠型Gilbert乘法器电路作适当的扩展,提出了
    发表于 05-27 09:00 8次下载

    基于像素领域信息约束的FCM图像分割算法

    ,通过约束系数自适应调节控制邻域信息约束强度,自优化迭代更新聚类中心和聚类隶属度矩阵,使模糊目标函数收敛到最小,并利用像素最优聚类隶属度去模糊化操作实现图像分割。实验结果表明,该算法
    发表于 11-06 16:27 8次下载
    基于像素领域信息约束的FCM<b class='flag-5'>图像</b>分割<b class='flag-5'>算法</b>

    基于LO正则化去模糊算法

    随着视频监控威廉希尔官方网站 的发展、监控摄像头的普及和人们对安全信息需求的提升,监控中图像去模糊威廉希尔官方网站 得到迫切需求。基于图像强度和梯度的LO正则化去模糊算法
    发表于 11-08 14:28 2次下载
    基于LO正则化<b class='flag-5'>去模糊</b><b class='flag-5'>算法</b>

    基于尺度迭代深度神经网络的图像去模糊算法

    尽管使用神经网络进行图片去模糊并不是一个新想法,但腾讯优图实验室别出心裁的将物理直觉结合进来以促进模型训练。在腾讯优图实验室新算法的论文中,其网络模仿了一种被称为“由粗到精”的成熟的图像恢复策略。该
    的头像 发表于 05-30 17:28 4480次阅读

    基于深度学习的多目标跟踪算法威廉希尔官方网站

    基于深度学习算法图像和视频识别任务中取得了广泛的应用和突破性的进展。
    的头像 发表于 10-27 07:28 1.3w次阅读

    一种多粒度融合的模糊规则系统图像特征学习算法

    大规模的数据,且通常被视汋黑盦模型,解释性较差。针对上述挑战,以基于模糊规则推理的TSK模糊系统(TSK-FS)为基础,提出了一种适用于不同规模数据集且易于理解的特征学习方法—一多粒度融合的
    发表于 03-31 14:04 9次下载
    一种多粒度融合的<b class='flag-5'>模糊</b>规则系统<b class='flag-5'>图像</b>特征<b class='flag-5'>学习</b><b class='flag-5'>算法</b>

    基于深度学习图像去模糊方法相关实验

    质量差、摄影者专业水平低、拍摄环境恶劣等,往往导致最终得到的图像含有眀昰的模糊以及噪声。如何倢计算机自动地从模糊图像中把清晰的像恢复出来,从而为其他的
    发表于 04-08 09:34 9次下载
    基于<b class='flag-5'>深度</b><b class='flag-5'>学习</b>的<b class='flag-5'>图像</b><b class='flag-5'>去模糊</b>方法相关实验

    深度学习算法简介 深度学习算法是什么 深度学习算法有哪些

    深度学习算法作为其中的重要组成部分,不仅可以为诸如人工智能、图像识别以及自然语言处理等领域提供支持,同时也受到了越来越多的关注和研究。在本文中,我们将着重介绍
    的头像 发表于 08-17 16:02 8831次阅读

    什么是深度学习算法深度学习算法的应用

    。 在深度学习中,使用了一些快速的算法,比如卷积神经网络以及深度神经网络,这些算法在大量数据处理和图像
    的头像 发表于 08-17 16:03 2124次阅读

    深度学习算法的选择建议

    深度学习算法的选择建议 随着深度学习威廉希尔官方网站 的普及,越来越多的开发者将它应用于各种领域,包括图像识别
    的头像 发表于 08-17 16:11 657次阅读

    深度学习框架和深度学习算法教程

    深度学习框架和深度学习算法教程 深度学习是机器
    的头像 发表于 08-17 16:11 1063次阅读

    去模糊算法适对发射点扩散函数(PSF)的假设要求最低

            长期以来,在显微镜领域获得高分辨率图像一直是一个挑战。去卷积是一种增强图像清晰度的方法,它通常会放大样品和图像之间的噪声。波士顿大学的研究人员最近开发了一种新的去模糊
    的头像 发表于 11-02 09:15 647次阅读
    <b class='flag-5'>去模糊</b><b class='flag-5'>算法</b>适对发射点扩散函数(PSF)的假设要求最低

    消卷积在图像处理中的应用策略与实践

    去模糊算法对三维图像堆栈的每个二维平面进行操作。最近邻算法是最常见的去模糊威廉希尔官方网站 ,其通过模糊相邻平
    的头像 发表于 04-24 11:43 566次阅读