0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看威廉希尔官方网站 视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

通过删除神经元理解深度学习

DPVg_AI_era 来源:未知 作者:邓佳佳 2018-03-26 10:14 次阅读

理解深度神经网络的运作机制对于帮助我们解释它们的决定,以及构建更强大的系统起到了至关重要的作用。例如,试想在不了解个体齿轮如何啮合的情况下去构建时钟会有多么的困难。在神经科学和深度学习中,理解神经网络的一种方法是调查个体神经元所扮演的“角色”,尤其是那些易于解释的神经元。

我们对单一方向泛化的重要性的研究(On the importance of single directions for generalization)即将在第六届国际学习表征会议 (ICLR)上问世,该研究采用的方法受到数十年实验神经科学的启发– 通过探索删除神经元带来的影响 – 来确定深度神经网络中神经元小组的重要性,以及相对容易解释的神经元是否对神经网络的计算更为重要?

我们通过删除单个神经元以及神经元小组对其所在的网络性能的损害来研究它们的影响力。我们的实验带来了两个令人惊讶的发现:

虽然以前的许多研究都集中于解读易解释的单个神经元(例如,“猫神经元”,或深层网络隐藏层中只对猫的图像有反应的神经元),但是我们发现这些可解释的神经元相对于难懂的,难以解释其活动的神经元来说并没有更加重要。

能够对未知图像进行正确分类的网络比只能对已知图像进行正确分类的神经网络更能适应神经元的删除。换句话说,泛性好的网络比那些记忆网络更少依赖单一方向的输入。

“猫神经元”可能更易于解释,但它们并不重要

在神经科学和深度学习中,对单个输入类别的图像(例如狗)作出响应的易于解释的神经元(“选择性”神经元)已经得到了广泛的研究。在深度学习中,这导致了对猫神经元,情绪神经元和括号神经元的强调;在神经科学,有詹妮弗安妮斯顿神经元研究,等等。然而,这些少数高选择性神经元相对于大多数具有低选择性、更难懂,难以解释其活动的神经元的重要性仍然未知。

具有明显响应模式(例如,对猫活跃,对其他所有活动不活跃)的神经元比看到随机图像活跃和不活跃的神经元更容易解释。

为了评估(某个)神经元的重要性,我们测量了当该神经元被删除时,神经网络在图像分类任务上的表现变化。如果一个神经元是非常重要的,删除它应会对神经网络产生高度的破坏性,大大降低该网络的性能;相反地,删除一个不重要的神经元则应该无法对神经网络构成很大影响。神经科学家经常进行类似的实验,然而他们很难达到这些实验所需的精度,而这精度在人工神经网络中恰恰容易获得。

删除神经元对简单神经网络影响的直观图示。颜色较深的神经元更加活跃。尝试点击隐藏层中的神经元并删除它们,观察输出神经元的活动会如何改变。请注意,删除一个或两个神经元对输出影响很小,而删除大部分神经元则会对输出影响很大,并且一些神经元比其他神经元更重要!

令人惊讶的是,我们发现选择性强的神经元和重要性之间几乎没有关系。换句话说,“猫神经元”并不比难懂神经元更加重要。这一发现与最近在神经科学方面的工作相互呼应,即难懂神经元实际上可以提供很多信息。我们需将视野拓展到最易于解释的神经元以外来了解深度神经网络。

“猫神经元”可能更易解释,但它们并不比难懂的没有明显偏好的神经元更重要。尝试点击上图的二维线画图函数,看看重要性和易解释性之间的关系!

尽管可解释的神经元在直觉上更容易理解(“它喜欢狗”),但它们并不比难懂的,没有明显偏好的神经元更重要。

越泛化的神经网络,越难被打破

对于我们正在努力构建的智能系统来说,只有当这种系统能够推广到对新的情况进行解读时,我们才能称之为智能系统。例如,一个图像分类网络如果只能对以前看过的特定狗的图像进行分类,而不能对同一只狗的新的图像进行分类的话,那么它是无用的。只有当它可以对新的例子进行智能分类时,这个系统才能展现了它的效用。 一篇由Google Brain,Berkeley大学和DeepMind最近在ICLR 2017上获得最佳论文的合作论文表明,深度网络可以简单地记住它们接受过培训的每个图像,然而却不能以类人类的方式对图像进行学习(例如,了解抽象的“狗”概念)。

通常我们不知道网络是否已经学会了一种能够推广到新情况的解决方案。通过逐渐删除越来越大的神经元组,我们发现,相比起对以前训练期间看到的图像进行简单记忆的网络,泛化良好的网络在应对删除时表现出的稳健性要强得多。换句话说,泛化好的网络很难被打破(尽管它们肯定还是会被打破的)。

随着越来越多的神经元组被删除,泛化的网络性能的下降速度远远低于记忆网络的性能。

通过以这种衡量网络的稳健性的方式,我们可以评估一个网络是否在利用记忆来进行“欺骗”。了解网络在进行记忆时的变化将有助于我们建立新的网络,这种网络记忆较少,泛化较强。

受到神经科学启发的分析

总之,这些发现证明了使用受实验神经科学启发的威廉希尔官方网站 对理解神经网络的重要作用。通过这些方法,我们发现选择性强的个体神经元并不一定比不具选择性的神经元更加重要,并且,单个神经元对泛化的网络的影响比其对单纯依靠记忆数据训练出来的网络更小。这些结果意味着单个神经元的重要性可能比你乍看上去的要低。

试图了解所有神经元,而不仅仅是那些易于理解的神经元的作用可以帮助我们更好地理解神经网络的内部工作,更加重要的是,我们可以利用这种理解来构建更加智能和应用广泛的系统。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经
    +关注

    关注

    0

    文章

    46

    浏览量

    12518
  • 深度学习
    +关注

    关注

    73

    文章

    5500

    浏览量

    121113

原文标题:DeepMind 最新研究:通过删除神经元理解深度学习

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    神经元是什么?神经元神经系统中的作用

    神经元,又称神经细胞,是神经系统的基本结构和功能单位。它们负责接收、整合、传导和传递信息,从而参与和调控神经系统的各种活动。神经元在形态上高
    的头像 发表于 07-12 11:49 1198次阅读
    <b class='flag-5'>神经元</b>是什么?<b class='flag-5'>神经元</b>在<b class='flag-5'>神经</b>系统中的作用

    人工神经元模型的基本构成要素

    人工神经元模型是人工智能领域中的一个重要概念,它模仿了生物神经元的工作方式,为机器学习深度学习提供了基础。本文将介绍人工
    的头像 发表于 07-11 11:28 1238次阅读

    人工神经元模型的基本原理是什么

    人工神经元模型是人工智能领域中的一个重要概念,它模仿了生物神经系统中的神经元行为,为机器学习深度学习
    的头像 发表于 07-11 11:26 733次阅读

    人工神经元模型由哪两部分组成

    人工神经元模型是深度学习、机器学习和人工智能领域的基础,它模仿了生物神经元的工作原理,为构建复杂的神经
    的头像 发表于 07-11 11:24 865次阅读

    生物神经元模型包含哪些元素

    生物神经元模型是神经科学和人工智能领域中的一个重要研究方向,它旨在模拟生物神经元的工作原理,以实现对生物神经系统的理解和模拟。
    的头像 发表于 07-11 11:21 997次阅读

    人工智能神经元的基本结构

    ,旨在创建能够执行通常需要人类智能的任务的计算机系统。神经元是构成人脑的基本单元,也是人工智能研究的基础。本文将详细介绍人工智能神经元的基本结构。 神经元的定义 神经元是一种特殊的细胞
    的头像 发表于 07-11 11:19 1332次阅读

    人工神经元由哪些部分组成

    人工神经元深度学习神经网络和机器学习领域的核心组件之一。 1. 引言 在深入讨论人工神经元
    的头像 发表于 07-11 11:17 616次阅读

    人工神经元模型的基本原理及应用

    人工神经元模型是人工智能和机器学习领域的一个重要概念,它模仿了生物神经元的工作方式,为计算机提供了处理信息的能力。 一、人工神经元模型的基本原理 生物
    的头像 发表于 07-11 11:15 851次阅读

    人工神经元模型的三要素是什么

    人工神经元模型是人工智能和机器学习领域中非常重要的概念之一。它模仿了生物神经元的工作方式,通过数学和算法来实现对数据的处理和学习。 一、人工
    的头像 发表于 07-11 11:13 896次阅读

    深度学习与nlp的区别在哪

    方法,它通过模拟人脑的神经网络结构,实现对数据的自动特征提取和学习深度学习的核心是构建多层的神经
    的头像 发表于 07-05 09:47 911次阅读

    神经元的分类包括哪些

    神经元神经系统的基本功能单位,它们通过电信号和化学信号进行信息传递和处理。神经元的分类非常复杂,可以根据不同的标准进行分类。 一、神经元
    的头像 发表于 07-03 11:36 1212次阅读

    神经元的结构及功能是什么

    神经元神经系统的基本结构和功能单位,它们通过电信号和化学信号进行信息传递和处理。神经元的结构和功能非常复杂,涉及到许多不同的方面。 一、神经元
    的头像 发表于 07-03 11:33 1219次阅读

    神经元的基本作用是什么信息

    神经元神经系统的基本功能单位,它们在大脑、脊髓和周围神经系统中发挥着至关重要的作用。神经元的基本作用是接收、处理和传递信息。本文将详细介绍神经元
    的头像 发表于 07-03 11:29 883次阅读

    神经元的信息传递方式是什么

    神经元神经系统的基本单位,它们通过电信号和化学信号的方式进行信息传递。 神经元的信息传递方式 神经元的结构和功能
    的头像 发表于 07-03 11:27 1230次阅读

    神经元神经网络的区别与联系

    在人工智能和机器学习的领域中,神经元神经网络是两个至关重要的概念。虽然它们都与人脑中的神经系统有着密切的联系,但在实际应用和理论研究中,它们各自扮演着不同的角色。本文旨在深入探讨
    的头像 发表于 07-01 11:50 919次阅读