0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于GAN的零缺陷样本产品表面缺陷检测

QQ475400555 来源:机器视觉沙龙 2023-06-26 09:49 次阅读

导读

缺陷检测是工业生产过程中的关键环节,其检测结果的好坏直接影响着产品的质量。而在现实场景中,但产品瑕疵率非常低,甚至是没有,缺陷样本的不充足使得需要深度学习缺陷检测模型准确率不高。如何在缺陷样本少的情况下实现高精度的检测呢?目前有两种方法,一种是小样本学习,另一种是用GAN。本文将介绍一种GAN用于无缺陷样本产品表面缺陷检测。

深度学习在计算机视觉主流领域已经应用的很成熟,但是在工业领域,比如产品表面缺陷检测,总感觉没有发挥深度学习的强大能力,近几年表面缺陷的 相关研究主要是集中在各种借鉴主流神经网络框架,从CNN到YOLO,SSD,甚至到语义分割的FCN相关论文,通过一些威廉希尔官方网站 ,对框架进行轻量化,对缺陷进行分类或检测。不过,逃不出一个问题:一定要有缺陷样本可供训练,而且数量不能太少!当然,也有一些课题组使用稀疏编码、字典学习、稀疏自编码等对表面缺陷进行检测,这类方法很有局限性,主要针对那些有周期性背景纹理的图像,比如丝织品,印刷品等。国内外很多课题组、工业软件公司都想开发出一些切合实际应用的算法软件,在缺陷检测领域,比较好的公司有:VIDI、Halcon等,听说海康威视也在搞工业产品方便的算法研究。

作者提出只依据已有的正常表面图像样本,通过一定的威廉希尔官方网站 手段对缺陷样本进行检测,很好的将最近研究火热的GAN应用于框架中,这一年,课题组的老师也一直讨论这种方法的可行性,缺陷的检测要不要有缺陷样本,从稀疏自编码,小样本学习再到计算机视觉研究热点之一的零样本学习,得出结论:大多数工业产品表面缺陷检测是需要缺陷样本或者人为制作的缺陷样本,论文虽然是没有直接使用生产线上的缺陷样本,但是通过算法人为的产生了缺陷样本,并很好的融合和GAN在图像修复领域的强大能力,整个框架的设计很巧妙。

文章思路:论文的整体思路就是GAN在图像修复和重建方便具有很强大的能力,通过人为的去在正常样本上“随意”添加一些缺陷,训练阶段让GAN去学习一个可以修复这些缺陷区域的网络,检测阶段时,输入一个真实缺陷样本,训练好的GAN会对其进行修复,再基于LBP可完成缺陷检测。整个算法框架不需要真实的缺陷样本和手工标签,但是在框架中,人为的去产生(比如PS)一些缺陷区域。

通俗说:

作者利用GAN在图像修复(重建)上的能力,在工业现场收集一些正常(无缺陷)样本,人工PS一些缺陷,比如线条、斑点等。

训练时,将PS的人工制作的缺陷图像和原图像做输入样本训练GAN,得到一个具有图像修复重建能力的网络。

测试时,直接使用训练好的GAN对采集到的图像进行重建修复,如果样本中中有缺陷区域,缺陷区域按照网络设计,肯定需要修复,将修复后的图像和原缺陷图像使用LBP找出显著差异区域即为缺陷区域。

01主要内容

论文的主体框架思想是基于GAN网络的结构。GAN 主要包括了两个部分,即生成器 G与判别器 D。生成器主要用来学习真实图像分布从而让自身生成的图像更加真实,以“骗过”判别器。判别器则需要对接收的图片进行真假判别。在整个过程中,生成器努力地让生成的图像更加真实,而判别器则努力地去识别出图像的真假,这个过程相当于一个博弈过程,随着时间的推移,生成器和判别器在不断地进行对抗,最终两个网络达到了一个动态均衡:生成器生成的图像接近于真实图像分布,而判别器识别不出真假图像,对于给定图像的预测为真的概率基本接近 0.5(这段话从李宏毅老师那引用的,致敬李老师)。

训练阶段

在训练阶段,模型采用一些图像处理威廉希尔官方网站 ,人为的在正常样本图像上产生一些缺陷(示意图中的红色框模块),使用由自编码器构成的G模块进行缺陷修复学习,学习的目标是与正常样本之间的L1范数最小,通过一定数量的样本训练可以获得有缺陷修复能力的G模块。GAN用于图像修复的一些资料可以参考[3][4],当然也可以参考论文里的参考文献。

wKgZomSY70CAcLUyAAByaxhQeyg107.png

训练阶段

测试阶段

在测试阶段,将上步骤训练好的G模块作为测试阶段的图片修复模块,对于输出的图像样本,假如存在缺陷区域,通过修复模块G将得到修复后的图像,与原缺陷样本图像一起作为LBP算法的输入,通过LBP算法对其缺陷区域进行精确定位。

wKgaomSY70CADFPkAAA6PnlGHqM878.png

测试阶段

02其他细节

2.1缺陷生成

在实际训练中,论文作者手工生成一些缺陷样本,如图3所示,训练网络自动修复缺陷。另外作者也通过一些威廉希尔官方网站 进行了样本的扩充,比如加入高斯噪声、随机resize大小等。

wKgaomSY70CAUdbuAABujfy4Ny0630.jpg

缺陷生成

3.2缺陷图像重建

缺陷图像重建部分主要的作用是:缺陷图像重建后尽量和正常样本一样,作者在这部分在文献[5][6]基础上进行框架修改的,比如使用L1 distance作为衡量重建差异的目标函数。

wKgZomSY70CAJm5mAAAfA-ITUjo157.png

然后实验中作者又发现只使用L1不行,图像边缘等细节可能会衡量不准确,又加入GAN loss来提升网络的重建效果。

wKgaomSY70CAD_-DAAAvlAjEoKQ333.png

最后,得到了下面目标函数。

wKgaomSY70CAR8aGAAAsb0VHtBQ382.png

2.3缺陷检测

因为使用GAN修复后的图片和原始缺陷样本图片之间在像素级的细节上有一些差异,作者使用了前几年在人脸领域应用比较好的LBP算法进行缺陷区域的检测,这里不介绍算法的细节,示意图如下。

wKgZomSY70CAaTfXAAAzKaEOm6s999.png

03实验

文章对DAGM 2007数据集和织物密集图像进行了验证实验。实验表明,提出的GAN+LBP算法和有足够训练样本的监督训练算法具有较高的检测准确率。实验使用两种类型的数据集,4.1是印花纹表面,4.2是织物表面。

4.1Texture surface

wKgZomSY70CADV1hAABz-9VemK4622.png

测试样本

wKgaomSY70CAAuL9AAA_58pxVrY043.png

结果

wKgZomSY70CAUAvAAAAm1OuVmz0506.jpg

a.原始图像,b.修复图像,c.论文方法,d. FCN方法,e.真实标签

3.2 Fabric Picture

实验中缺陷样本的类型有五种。实验样本按背景分有三类,每类包含5个缺陷样本,25个正常样本。

wKgaomSY70CARFsHAABmJjPR_UU928.png

测试样本

wKgaomSY70CATKgtAABLoAMez8A829.png

结果

wKgZomSY70CAb9J3AAB_Z0RyJoM016.jpg

a.原始图像,b.修复图像,c.论文方法,d. FCN方法,e.真实标签

审核编辑:汤梓红
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4771

    浏览量

    100720
  • GaN
    GaN
    +关注

    关注

    19

    文章

    1933

    浏览量

    73311
  • 缺陷检测
    +关注

    关注

    2

    文章

    142

    浏览量

    12221
收藏 人收藏

    评论

    相关推荐

    机器视觉表面缺陷检测威廉希尔官方网站

    传统的工业生产制造,由于科学威廉希尔官方网站 的限制仍然主要采用人工检测的方法去检测产品表面缺陷,这种方法由于人工的限制和威廉希尔官方网站 的落后,不仅
    发表于 01-20 10:29

    机器视觉有助于解决表面缺陷

    检测产品表面缺陷,例如变色,灼伤,裂缝和划痕,对于人类或机器视觉来说是一项艰巨的任务。这些缺陷可能具有随机形状和低对比度,并且经常被
    发表于 08-12 10:41

    [转]产品表面缺陷检测

    ` 在工业制造过程中,总会有各种生产缺陷。以前大多数的产品检测都是用肉眼检查的,随着机器视觉威廉希尔官方网站 的发展,使用机器代替人眼检测已成为未来的发展趋势。机器视觉检测威廉希尔官方网站 可用于
    发表于 08-07 16:40

    机器视觉检测系统在薄膜表面缺陷检测的应用

    用于流水线工业产品的二维缺陷、定位及尺寸检测,大幅提高了生产效率。四元数视觉检测定位系统使用图像传感器替代人眼,100%精确检测物体
    发表于 10-30 16:15

    表面检测市场案例,SMT缺陷检测

    本帖最后由 我爱方案网 于 2022-11-8 14:29 编辑 工业产品表面缺陷产品的美感、舒适性和性能都有负面影响,因此生产企业对产品
    发表于 11-08 14:28

    表面缺陷检测系统是什么,它的作用又是什么

    在机器视觉行业中,有一种叫表面缺陷检测系统的东西,相信很多朋友都不是很了解。 这个系统到底有什么作用,其实表面缺陷
    发表于 10-23 12:00 1598次阅读

    工业相机:表面缺陷检测系统的优势

    如今在生产威廉希尔官方网站 企业中,为了保障产品的质量,在出厂前必须要对产品进行严格的质量检测工作,目前,表面缺陷检测
    的头像 发表于 11-17 16:02 2927次阅读

    表面缺陷检测系统是什么,它的应用优势是什么

    如今在生产威廉希尔官方网站 企业中,为了保障产品的质量,在出厂前必须要对产品进行严格的质量检测工作,目前,表面缺陷检测
    发表于 11-20 12:15 987次阅读

    GAN用于(无缺陷样本产品表面缺陷检测

    1.前言 深度学习在计算机视觉主流领域已经应用的很成熟,但是在工业领域,比如产品表面缺陷检测,总感觉没有发挥深度学习的强大能力,近几年表面
    的头像 发表于 01-03 11:53 3227次阅读
    <b class='flag-5'>GAN</b>用于(无<b class='flag-5'>缺陷</b><b class='flag-5'>样本</b>)<b class='flag-5'>产品</b><b class='flag-5'>表面</b><b class='flag-5'>缺陷</b><b class='flag-5'>检测</b>

    表面缺陷检测的原理是什么,它有哪些功能

    、报表统计及产品分级处理等。它广泛应用于新闻纸、特种纸、铜版纸、白板纸、美术纸、文化纸、香烟纸等产品表面缺陷检测
    发表于 04-01 10:16 1333次阅读

    关于正样本表面缺陷检测

    背  景 表面缺陷检测在工业生产中起着非常重要的作用,基于机器视觉的表面缺陷检测可以极大的提升工
    的头像 发表于 05-29 10:23 3314次阅读
    关于正<b class='flag-5'>样本</b>的<b class='flag-5'>表面</b><b class='flag-5'>缺陷</b><b class='flag-5'>检测</b>

    什么是机器视觉表面缺陷检测

    工业产品表面缺陷产品的美观度、舒适度和使用性能等带来不良影响,所以生产企业对产品表面
    的头像 发表于 06-15 16:30 2531次阅读

    丝印产品表面缺陷检测系统介绍

    产品表面丝印缺陷检测系统适用于对产品外观有严格要求的丝印产品外观不良的
    发表于 08-19 16:32 862次阅读

    如何在缺陷样本少的情况下实现高精度的检测

    样本少的情况下实现高精度的检测呢?目前有两种方法,一种是小样本学习,另一种是用GAN。本文将介绍一种GAN用于无
    的头像 发表于 06-26 09:54 1573次阅读
    如何在<b class='flag-5'>缺陷</b><b class='flag-5'>样本</b>少的情况下实现高精度的<b class='flag-5'>检测</b>

    工业产品表面缺陷检测方法研究

    制造业的全面智能化发展对工业产品的质量检测提出了新的要求。本文总结了机器学习方法在表面缺陷检测中的研究现状,
    的头像 发表于 08-17 11:23 1050次阅读
    工业<b class='flag-5'>产品</b><b class='flag-5'>表面</b><b class='flag-5'>缺陷</b><b class='flag-5'>检测</b>方法研究