编者按:Ahmed Gad介绍了一个决定神经网络深度、网络层大小的简单方法。
该使用多少层隐藏层?使用隐藏层的目的是什么?增加隐藏层/神经元的数目总能给出更好的结果吗?人工神经网络(ANN)初学者常常提出这些问题。如果需要解决的问题很复杂,这些问题的答案可能也会比较复杂。希望读完这篇文章后,你至少可以知道如何回答这些问题。
介绍
在计算机科学中,借鉴了生物神经网络的ANN用一组网络层表示。这些网络层可以分为三类:输入层、隐藏层、输出层。
输入层和输出层的层数、大小是最容易确定的。每个网络都有一个输入层,一个输出层。输入层的神经元数目等于将要处理的数据的变量数。输出层的神经元数目等于每个输入对应的输出数。不过,确定隐藏层的层数和大小却是一项挑战。
下面是在分类问题中确定隐藏层的层数,以及每个隐藏层的神经元数目的一些原则:
在数据上画出分隔分类的期望边界。
将期望边界表示为一组线段。
线段数等于第一个隐藏层的隐藏层神经元数。
将其中部分线段连接起来(每次选择哪些线段连接取决于设计者),并增加一个新隐藏层。也就是说,每连接一些线段,就新增一个隐藏层。
每次连接的连接数等于新增隐藏层的神经元数目。
下面我们将举例说明这一确定隐藏层层数、大小的简单方法。
例一
让我们先来看一个简单的分类问题。每个样本有两个输入和一个表示分类标签的输出,和XOR问题很像。
首先需要回答的问题,是否需要隐藏层。关于这个问题,有一条一般规则:
在神经网络中,当且仅当数据必须以非线性的方式分割时,才需要隐藏层。
回到我们的例子。看起来一条直线搞不定,因此,我们需要使用隐藏层。在这样的情形下,也许我们仍然可以不用隐藏层,但会影响到分类精确度。所以,最好使用隐藏层。
已知需要隐藏层,那么接下来就需要回答两个重要问题:
需要多少层?
每层需要多少神经元?
按照我们之前提到的流程,首先需要画出分割的边界。如下图所示,可能的边界不止一种。我们在之后的讨论中将以下图右部的方案为例。
根据之前的原则,接下来是使用一组线段表示这一边界。
使用一组线段表示边界的想法来自于神经网络的基础构件——单层感知器。单层感知器是一个线性分类器,根据下式创建分界线:
y = w1x1+ w2x2+ ⋯ + wixi+ b
其中xi是第i项输入,wi是权重,b是偏置,y是输出。因为每增加一个隐藏单元都会增加权重数,所以一般建议使用能够完成任务的最少数量的隐藏单元。隐藏神经元使用量超出需要会增加复杂度。
回到我们的例子上来,人工神经网络基于多个感知器构建,这就相当于网络由多条直线组成。
因此我们使用一组线段替换边界,以分界曲线变向处作为线段的起点,在这一点上放置方向不同的两条线段。
如下图所示,我们只需要两条线段(分界曲线变向处以空心圆圈表示)。也就是两个单层感知器网络,每个感知器产生一条线段。
只需两条线段就可以表示边界,因此第一个隐藏层将有两个隐藏神经元。
到目前为止,我们有包含两个隐藏神经元的单隐藏层。每个隐藏神经元可以看成由一条线段表示的一个线性分类器。每个分类器(即隐藏神经元)都有一个输出,总共有两个输出。但我们将要创建的是基于单个输出表示分类标签的一个分类器,因此,两个隐藏神经元的输出将被合并为单个输出。换句话说,这两条线段将由另一个神经元连接起来,如下图所示。
很幸运,我们并不需要额外添加一个包含单个神经元的隐藏层。输出层的神经元正好可以起到这个作用,合并之前提到的两个输出(连接两条线段),这样整个网络就只有一个输出。
整个网络架构如下图所示:
例二
我们再来看一个分类问题的例子。和上面一个例子相似,这个例子也有两个分类,每个样本对应两个输入和一个输出。区别在于边界比之前的更复杂。
遵照之前的原则,第一步是画出边界(如下图左半部分所示),接着是将边界分成一组线段,我们将使用ANN的感知器建模每条线段。在画出线段之前,首先标出边界的变向处(下图右半部分中的空心圆圈)。
问题在于需要几条线段?顶部和底部的变向处各需要两条线段,这样总共是4条线段。而当中的变向处可以和上下两个变向处共用线段。所以我们需要4条线段,如下图所示。
这意味着第一个隐藏层将包含4个神经元。换句话说,由单层感知器构成的4个分类器,每个分类器各生成一个输出,共计4个输出。接下来需要将这些分类器连接起来,使得整个网络生成单个输出。换句话说,通过另外的隐藏层将这些线段连接起来,以得到单条曲线。
网络的具体布局取决于模型设计者。一种可能的网络架构是创建包含两个隐藏神经元的第二隐藏层。其中第一个隐藏神经元连接前两条线段,最后一个隐藏神经元连接后两条线段,如下图所示。
到目前为止,我们有两条曲线,也就是两个输出。接下来我们连接这两条曲线,以得到整个网络的单个输出。在这一情形下,输出层的神经元可以完成最终的连接,而无需增加一个新的隐藏层。最后我们得到了如下曲线:
这就完成了网络的设计,整个网络架构如下图所示:
-
神经网络
+关注
关注
42文章
4771浏览量
100739 -
神经元
+关注
关注
1文章
363浏览量
18450
原文标题:如何得出神经网络需要多少隐藏层、每层需要多少神经元?
文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论