0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于CNN的图像超分辨率示例

OpenFPGA 来源:OpenFPGA 2024-03-11 11:40 次阅读

单图像超分辨率 (Single image super resolution,SR) 是计算机视觉中的一个经典问题, 其目的是从单个低分辨率图像中恢复高分辨率图像。这个问题本质上是不适定的,因为对于任何给定的低分辨率像素都存在解决方案的多重性。换句话说,这是一个不确定的问题,其解决方案不是唯一的。这样的问题通常通过由强先验信息约束解空间来缓解。

目的是从单幅低分辨率图像中恢复出高分辨率图像。

项目介绍

本项目基于(https://arxiv.org/abs/1501.00092v3)论文对超分辨率卷积神经网络 (SRCNN) 的三种实现方式。

整体的思路:

考虑单个低分辨率图像,首先使用双三次插值将其放大到所需的大小,这是执行的唯一预处理。将插值图像表示为Y。我们的目标是从Y中恢复与真实高分辨率图像X尽可能相似的图像F (Y) 。为了便于演示,我们仍然将Y称为 “低分辨率” 图像,尽管它的大小与X相同。我们希望学习一个映射F ,它在概念上包括三个操作:

补丁提取和表示: 该操作从低分辨率图像Y中提取 (重叠) 补丁,并将每个补丁表示为高维向量。这些向量包括一组特征图,其数量等于向量的维数。

非线性映射: 将每个高维向量非线性映射到另一个高维向量。每个映射向量在概念上是高分辨率补丁的表示。这些向量包括另一组特征图。

重建: 聚合上述高分辨率分片表示以生成最终的高分辨率图像。该图像预期与地面实况X相似。

所有这些操作形成一个卷积神经网络。下图描述了网络的概况。

9144b998-df44-11ee-a297-92fbcf53809c.png

91513a4c-df44-11ee-a297-92fbcf53809c.png

三种实现方式

Torch:用于训练网络、提取权重和升级

Numpy:用于升级

Cython:用于升级(能够在ZedBoard上运行)

CPU 运行或在 ZedBoard 的 FPGA 上运行 2D 卷积

用法

有关使用说明和先决条件,请参阅项目中文件夹中相应实现的 README.md 文件:

Torch

https://github.com/Fivefold/SRCNN/blob/main/Torch

Numpy

https://github.com/Fivefold/SRCNN/blob/main/Numpy

Cython

https://github.com/Fivefold/SRCNN/blob/main/Cython

指标/性能

Set5 数据集每个指标的平均值。

915952b8-df44-11ee-a297-92fbcf53809c.png

实例

地面真相是用于与放大版本进行比较的原始(理想)图像。

双三次是使用简单双三次插值将地面实况缩小 3 倍并放大 3 倍。

SRCNN与 Bicubic 相同,但使用经过训练的卷积神经网络。

审核编辑:黄飞

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机视觉
    +关注

    关注

    8

    文章

    1698

    浏览量

    45982
  • 超分辨率
    +关注

    关注

    0

    文章

    27

    浏览量

    9926
  • cnn
    cnn
    +关注

    关注

    3

    文章

    352

    浏览量

    22204

原文标题:基于CNN的图像超分辨率

文章出处:【微信号:Open_FPGA,微信公众号:OpenFPGA】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    分辨率图像重建方法研究

    分辨率图像重建方法研究分辨率图像重建就是由低分辨率
    发表于 03-14 17:08

    新手关于图像分辨率的问题~

    各位大神好,我是一个新手,求教各位!用matlab新三步法实现图像分辨率,已经有定义为 motionEstNTSS的新三步法代码。然后在命令窗口输入imgP=imread('D:\5.jpg
    发表于 05-19 16:14

    分辨率图像重建方法研究

    分辨率图像重建就是由低分辨率图像序列来估计高分辨率图像
    发表于 03-14 08:33 47次下载

    基于POCS算法的图像分辨率重建

    分辨率威廉希尔官方网站 是指通过融合多幅模糊、变形、频谱混叠的低分辨率图像来重建一幅高分辨率图像.本文提出一
    发表于 11-08 17:03 40次下载

    序列图像分辨率重建算法研究

    分辨率重建(Super-resolution Reconstruction,SR)威廉希尔官方网站 是提高图像和视频分辨率的有效途径。所谓
    发表于 03-08 14:56 32次下载
    序列<b class='flag-5'>图像</b><b class='flag-5'>超</b><b class='flag-5'>分辨率</b>重建算法研究

    使用改进的POCS算法的分辨率图像复原

    使用改进的POCS算法的分辨率图像复原.
    发表于 01-04 15:26 0次下载

    一种基于参考高分辨率图像的视频序列分辨率复原算法

    一种基于参考高分辨率图像的视频序列分辨率复原算法
    发表于 10-26 10:49 5次下载
    一种基于参考高<b class='flag-5'>分辨率</b><b class='flag-5'>图像</b>的视频序列<b class='flag-5'>超</b><b class='flag-5'>分辨率</b>复原算法

    基于稀疏编码和随机森林的分辨率算法

    分辨率( Super -resolution,SR)图像重建是一种根据低分辨率图像创建
    发表于 11-01 17:52 1次下载
    基于稀疏编码和随机森林的<b class='flag-5'>超</b><b class='flag-5'>分辨率</b>算法

    单幅模糊图像分辨率盲重建

    ,针对分辨率降低的图像恢复威廉希尔官方网站 被称为图像分辨率重建。当降质条件中同时存在两种以上的降质因素时,图像
    发表于 11-29 16:43 1次下载

    序列图像分辨率重建

    针对分辨率重建时需要同时滤除高斯噪声和脉冲噪声的问题,提出一种基于L1和L2混合范式并结合双边全变分(BTV)正则化的序列图像分辨率重建
    发表于 01-15 15:42 0次下载

    使用深度学习来实现图像分辨率

    今天给大家介绍一篇图像分辨率邻域的综述,这篇综述总结了图像分辨率领域的几方面:problem
    的头像 发表于 12-14 23:42 1383次阅读

    一种基于多通道极深CNN图像分辨算法

    卷积神经网络(CNN)在单幅图像分辨率重构中存在网络结构较浅、可提取特征较少和细节重构效果不显著等问题。为此,提出一种基于多通道极深CNN
    发表于 03-23 15:27 10次下载
    一种基于多通道极深<b class='flag-5'>CNN</b>的<b class='flag-5'>图像</b><b class='flag-5'>超</b><b class='flag-5'>分辨</b>算法

    CVPR2020 | 即插即用!将双边分辨率用于语义分割网络,提升图像分辨率的有效策略

    本文是收录于CVPR2020的工作,文章利用低分辨率的输入图像通过分辨率网络生成高分辨率图像
    发表于 01-26 19:51 1次下载
    CVPR2020 | 即插即用!将双边<b class='flag-5'>超</b><b class='flag-5'>分辨率</b>用于语义分割网络,提升<b class='flag-5'>图像</b><b class='flag-5'>分辨率</b>的有效策略

    基于目标检测的海上舰船图像分辨率研究

    摘要: 针对海上舰船图像有效像素在整体像素中占比小的问题,提出一种基于目标检测网络的分辨率方法。该方法包含两个阶段,结合bicubic变换,逐步地将图像的清晰度从粗到细地进行恢复。首
    发表于 03-16 09:50 683次阅读

    单张图像分辨率和立体图像分辨率的相关工作

    多阶段策略在图像修复任务中被广泛应用,虽然基于Transformer的方法在单图像分辨率任务中表现出高效率,但在立体
    的头像 发表于 06-27 11:07 976次阅读
    单张<b class='flag-5'>图像</b><b class='flag-5'>超</b><b class='flag-5'>分辨率</b>和立体<b class='flag-5'>图像</b><b class='flag-5'>超</b><b class='flag-5'>分辨率</b>的相关工作