0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于超大感受野注意力的超分辨率模型

CVer 来源:AIWalker 作者:AIWalker 2022-10-27 13:55 次阅读

注意力机制是深度学习领域非常重要的一个研究方向,在图像超分领域也有不少典型的应用案例,比如基于通道注意力构建的RCAN,基于二阶注意力机制构建的SAN,基于像素注意力机制构建的PAN,基于Transformer自注意力机制构建的SwinIR,基于多尺度大核注意力的MAN等。

本文则以PAN为蓝本,对其进行逐步改进以期达到更少的参数量、更高的超分性能。该方案具体包含以下几个关键点:

  • 提升注意力分割的感受野,类似大核卷积注意力VAN;
  • 将稠密卷积核替换为深度分离卷积,进一步降低参数量;
  • 引入像素规范化(Pixel Normalization)威廉希尔官方网站 ,其实就是Layer Normalization,但出发点不同。

上述关键威廉希尔官方网站 点为注意力机制的设计提供了一个清晰的演变路线,最终得到了本文的VapSR,即大感受像素注意力网络(VAst-receptive-field Pixel attention Network)。

实验结果表明:相比其他轻量超分网络,VapSR具有更少的参数量。比如,项目IMDB与RFDN,VapSR仅需21.68%、28.18%的参数即可取得与之相当的性能。

本文动机

通过引入像素注意力,PAN在大幅降低参数量的同时取得了非常优秀的性能。相比通道注意力与空域注意力,像素注意力是一种更广义的注意力形式,为进一步的探索提供了一个非常好的基线。

受启发于自注意力的发展,我们认为:基于卷积操作的注意力仍有进一步改进的空间。因此,作者通过以下三个像素注意力中的设计原则展示了改善超分注意力的过程:

  • 首先,在注意力分支引入大核卷积具有明显的优势;
  • 其次,深度分离卷积可以降低大核卷积导致的巨大计算复杂度问题;
  • 最后,引入像素规范化操作让训练更高效、更稳定。
367cec1e-55b7-11ed-a3b6-dac502259ad0.jpg

**Large Kernel **以上图i中的baseline为基础,作者首先对注意力分支进行感受野扩增:将提升到(将图示ii),性能提升0.15dB,但参数量从846K提升到了4123K。

Parameter Reduction 为降低参数量,我们尝试尽可能移除相对不重要的部分。作者提出了三个方案:(1) 将非注意力分支的卷积尺寸从下调到;(2) 将大核卷积注意力分支替换为深度深度分离卷积;(3) 将深度分离卷积中的深度卷积进行分解为深度卷积+带扩张因子的深度卷积(该机制可参考下图,将卷积拆分为+,其中后者的扩张因子为3)。此时,模型性能变为28.48dB,但参数量降到了240K,参数量基本被压缩到了极限。

368720e4-55b7-11ed-a3b6-dac502259ad0.jpg

Pixel Normalization(PN) 注意力机制的元素乘操作会导致训练不稳定问题:小学习率收敛不够好,大学习率又会出现梯度异常。前面的注意力改进导致所得方案存在性能下降问题。为解决该问题,作者经深入分析后提出了像素规范化威廉希尔官方网站 (可参考下图不同规范化威廉希尔官方网站 的可视化对比)。

36997258-55b7-11ed-a3b6-dac502259ad0.jpg

假设输入特征为,第i个像素的特征均值与方差可以描述如下:

那么,像素规范化可以表示为:

当引入PN后,模型的性能取得了显著的提升,达到了28.92dB,参数量仅为241K。

Switch Attention to Middle 在上述基础上,作者进一步将注意力的位置进行了调整,放到了两个卷积中间。此时,模型性能得到了0.03dB提升,达到了28.95dB,参数量仍为241K。

本文方案

前面的探索主要聚焦在微观层面,基于此,作者进一步在宏观层面进行了更多设计与提炼,进而构建了VapSR,取得了更佳的性能,同时具有更少的参数量。

36c0b368-55b7-11ed-a3b6-dac502259ad0.jpg

上图给出了所提VapSR架构示意图,延续了常规轻量方案的设计思路:

  • 浅层特征:;
  • 非线性映射: ;
  • 图像重建:

VAB模块在前面探索得到的模块上进行了微调:(1) 主要是将模块输入与输出通道数从64减少到了48,保持中间注意力部分的通道数仍为64;(2) 将注意力分支深度扩张卷积(有时也称之为空洞卷积)调整为深度扩张卷积,此时感受野为;(3) 调整了注意力分支三个卷积的顺序,将卷积移到最前面。对于VapSR-S,作者进一步将部分从卷积调整为组卷积(group=2),该操作可以进一步降低参数量。

classAttention(nn.Module):
def__init__(self,dim):
super().__init__()
self.pointwise=nn.Conv2d(dim,dim,1)
self.depthwise=nn.Conv2d(dim,dim,5,padding=2,groups=dim)
self.depthwise_dilated=nn.Conv2d(dim,dim,5,1,padding=6,groups=dim,dilation=3)

defforward(self,x):
u=x.clone()
attn=self.pointwise(x)
attn=self.depthwise(attn)
attn=self.depthwise_dilated(attn)
returnu*attn

classVAB(nn.Module):
def__init__(self,d_model,d_atten):
super().__init__()
self.proj_1=nn.Conv2d(d_model,d_atten,1)
self.activation=nn.GELU()
self.atten_branch=Attention(d_atten)
self.proj_2=nn.Conv2d(d_atten,d_model,1)
self.pixel_norm=nn.LayerNorm(d_model)
default_init_weights([self.pixel_norm],0.1)

defforward(self,x):
shorcut=x.clone()
x=self.proj_1(x)
x=self.activation(x)
x=self.atten_branch(x)
x=self.proj_2(x)
x=x+shorcut

x=x.permute(0,2,3,1)#(B,H,W,C)
x=self.pixel_norm(x)
x=x.permute(0,3,1,2).contiguous()#(B,C,H,W)

returnx

本文实验

在实验部分,作者构建了VapSR与VapSR-S两个版本的轻量型超分方案:

  • VapSR:包含21个VAB模块,主干通道数为48;
  • VapSR-S:包含11个VAB模块,主干通道数为32。

此外,需要注意的是:对于X4模型,重建模块并未采用常规的轻量方案(Conv+PS),而是采用了类EDSR的重方案(Conv+PS+Conv+PS)。

36e349a0-55b7-11ed-a3b6-dac502259ad0.jpg37744252-55b7-11ed-a3b6-dac502259ad0.jpg378c5568-55b7-11ed-a3b6-dac502259ad0.jpg

上表&图给出了不同方案的性能与可视化效果对比,从中可以看到:

  • 所提VapSR取得了SOTA性能,同时具有非常少的参数量。
  • 在X4任务上,相比RFDN与IMDN,VapSR仅需21.68%/28.18%的参数量,即可取得平均0.187dB指标提升;
  • VapSR-S取得了与BSRN-S相当的性能,后者是NTIRE2022-ESR模型复杂度赛道冠军。
  • 在线条重建方面,VapSR具有比其他方案更精确的重建效果。

审核编辑 :李倩


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 分辨率
    +关注

    关注

    2

    文章

    1061

    浏览量

    41926
  • 模型
    +关注

    关注

    1

    文章

    3238

    浏览量

    48824
  • 深度学习
    +关注

    关注

    73

    文章

    5503

    浏览量

    121139

原文标题:董超团队提出VapSR:基于超大感受野注意力的超分辨率模型

文章出处:【微信号:CVer,微信公众号:CVer】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    如何提高透镜成像的分辨率

    透镜成像分辨率是指透镜系统能够分辨的最小细节的能力。提高透镜成像分辨率对于许多应用领域,如显微镜、望远镜、相机等,都是至关重要的。以下是一些提高透镜成像分辨率的方法: 1. 减少像差
    的头像 发表于 12-25 16:54 123次阅读

    HDMI接口支持哪些视频分辨率

    HDMI(High-Definition Multimedia Interface)接口支持的视频分辨率因版本不同而有所差异。以下是HDMI接口不同版本所支持的视频分辨率的概述: HDMI 1.4
    的头像 发表于 11-27 14:14 1198次阅读

    视频处理器的分辨率是如何管理的

        随着电子应用威廉希尔官方网站 和消费市场的不断发展,LED显示屏的显示单元之间的间距正在逐渐缩小,然而,显示屏的整体面积却在不断扩大。为了满足这一趋势下对超大输出分辨率的需求,视频处理器和拼接器变得
    的头像 发表于 11-11 15:25 250次阅读
    视频处理器的<b class='flag-5'>分辨率</b>是如何管理的

    微软发布DirectSR新预览版:整合FSR 3.1分辨率威廉希尔官方网站

    微软近期发布了一项专为游戏开发者设计的全新API威廉希尔官方网站 ——DirectSR的预览版。这项威廉希尔官方网站 的核心在于,它能够帮助开发者在开发过程中一次性兼容当前市场上的主流分辨率威廉希尔官方网站 ,极大地简化了开发流程
    的头像 发表于 10-25 13:54 215次阅读

    提高SAR ADC的分辨率

    电子发烧友网站提供《提高SAR ADC的分辨率.pdf》资料免费下载
    发表于 10-25 09:11 0次下载
    提高SAR ADC的<b class='flag-5'>分辨率</b>

    Arm精锐超级分辨率威廉希尔官方网站 解析

    近日,Arm 推出了 Arm 精锐超级分辨率威廉希尔官方网站 (Arm Accuracy Super Resolution, Arm ASR),这是一款面向移动设备进行优化升级的出色开源超级分辨率(下文简称“分”)解决方案。本文将为你介绍
    的头像 发表于 09-03 11:28 931次阅读
    Arm精锐超级<b class='flag-5'>分辨率</b>威廉希尔官方网站
解析

    VR显示器分辨率的选择

    显示器能够提供更加清晰、细腻的画面,让用户在虚拟现实世界中获得更加真实的感受。 1.2 分辨率与舒适度 除了视觉体验外,分辨率还与用户的舒适度密切相关。低分辨率的VR显示器容易产生纱窗
    的头像 发表于 07-08 10:29 1075次阅读

    基于CNN的图像分辨率示例

    考虑单个低分辨率图像,首先使用双三次插值将其放大到所需的大小,这是执行的唯一预处理。将插值图像表示为Y。我们的目标是从Y中恢复与真实高分辨率图像X尽可能相似的图像F (Y) 。
    的头像 发表于 03-11 11:40 708次阅读
    基于CNN的图像<b class='flag-5'>超</b><b class='flag-5'>分辨率</b>示例

    华为pockets屏幕分辨率是多少

    华为Pocket S的内屏分辨率是2790×1188,外屏分辨率为340×340。该手机采用了6.9英寸的柔性OLED屏幕,支持120Hz刷新、1440Hz高频PWM调光,色彩表现达到10.7亿色,同时还配备了防反光纳米光学膜
    的头像 发表于 03-06 17:37 1156次阅读

    EVAL_PASCO2_SENSOR为什么无法从较低的分辨率高速获得更高的分辨率

    我有一个图像 EVAL_PASCO2_SENSOR,支持高达 3840x2160 分辨率的超高速和高速。 我能以快的速度拍摄所有静止画面。 但是,当我尝试获得更高分辨率(3840x2160)的静态
    发表于 02-22 07:58

    编码器分辨率是什么意思 编码器分辨率和脉冲数的关系

    按照编码器支持的分辨率可以把编码器分成标清编码器、高清编码器、全高清编码器,分辨率越高帧率越高视频就越清楚。 1.编码器的分辨率是什么意思 编码器的分辨率是指编码器以每旋转360度提供
    的头像 发表于 02-21 18:07 4217次阅读
    编码器<b class='flag-5'>分辨率</b>是什么意思 编码器<b class='flag-5'>分辨率</b>和脉冲数的关系

    电容触摸屏的分辨率怎么调

    电容触摸屏的分辨率调整是通过调整触摸屏的控制器的参数来实现的。触摸屏的分辨率是指能够在屏幕上识别的最小触摸点的像素数量。分辨率越高,触摸屏可以更准确地检测和响应用户的操作。 在调整电容触摸屏的
    的头像 发表于 01-23 16:59 1947次阅读

    镜头分辨率简述

    分辨率可以从显示分辨率与图像分辨率两个方向来分类。
    的头像 发表于 01-15 11:12 926次阅读

    浅谈相机的图像分辨率

    谈到显微成像系统,常常会用分辨率来评价成像能力的高低,那分辨率到底指的是什么,又怎样计算呢?其实对于一个特定的显微成像系统,分辨率要从两个方面来考虑,一种是光学系统的分辨率—光学衍射极
    的头像 发表于 01-09 09:54 1796次阅读
    浅谈相机的图像<b class='flag-5'>分辨率</b>

    adc电路的分辨率怎么算

    ADC(模数转换器)电路的分辨率是指其能够将模拟信号转换为数字信号时能够达到的最小分辨单位。分辨率通常用位数表示,例如10位的ADC具有1024个离散的输出级别。 要计算ADC电路的分辨率
    的头像 发表于 01-04 15:23 7194次阅读