资料介绍
1. 深度学习的发展历史
第一阶段:从BP神经网络算法的出现(1970-1980)到2006年这几十年的时间里;由于BP神经网络算法的出现,神经网络的训练成为现实[3]。由于这段时间神经网络模型出现了许多问题,而被学术界和主流的计算机视觉所诟病,只有为数不多的科学家仍不懈地坚持。出现的问题如下所示:
1) 数据难以挖掘。由于缺乏大量有必备的数据,有监督训练深度神经网络的方法没有充足的数据样本以至于拟合不了复杂网络模型的参数,极易出现拟合过度的现象,对比随机森林、支持向量机[4]等当时比较流行的浅层学习方法,BP神经网络不能有效地解决当前的困境,因而没有被广泛应用。
2) 局部最优缺陷。在进行深度神经网络训练时,由于存在各种极值问题,可能会陷入局部最优的陷阱,从而导致梯度下降法不能最大限度的发挥其作用。
3) 梯度弥散缺陷。当网络训练深度增加时,反向传播梯度幅度值将骤减,因此更新也会变得非常缓慢,样本也将不能实现有效学习[5]。我们通常把这种缺陷称为“梯度弥散”,“梯度弥散”是使深度学习发展缓慢的关键因素。
4) 硬件难以支持。深度神经网络的训练对计算机硬件要求很高,除此之外还有反向传播过程以及大量样本数据的学习[6]。他们要求计算机要有足够大的内存和主频。而后随着计算机内存容量的扩大,还有GPU并行计算发展,深度学习越来越贴近现实[7]。
5) 浅层学习的作用凸显。由于多层感知机算法、支持向量机、随机森林等浅层学习算法地迅速发展[8],而且在社会生活中发挥着明显的作用,使深度神经网络逐渐淡出人们的视野。
第二阶段:从2006年到2012年,深度学习发展迅猛,这个阶段是主要以无监督深度学习的研究阶段。2006年,无监督深度置信网络训练方法首先由深度学习创始人Hinton提出,并以此拉开了深度学习学习热潮、以至于人工智能发展热潮的序幕[9];
第三阶段:从2012年至今,深度学习被广泛应用于社会各个领域,其突出表
现在人工智能的推广。2012年,在Hinton的带领下,其团队创建的Alexnet模型在ImageNet大赛中获得骄人的成绩,模型的准确率无与伦比,计算机领域大师们的目光都聚焦在这场大赛上[10]。随后深度学习的发展浪潮一发不可收。当前各个互联网公司都蜂拥挤入对深度学习研究的行列之中,其中最具代表性企业如:百度、微软、谷歌,他们在翻译、图像检索、语音识别等领域都使用了深度学习,并因此收效显著。2012年6月,谷歌Google Brain计划被曝光,Google Brain计划项目由世界计算机系统顶尖专家 Jeff Dean 和来自斯坦福大学机器学习的教授 AndrewNg一起负责,该项目是为了训练一种被称作“深度神经网络”(Deep Neural Networks,DNN)机器学习的模型,他们利用16000个CPU Core并行计算的平台开展该项目,并因此在图像识别和语音识别等人工智能领域获得了辉煌的[11]。2013年1月,百度研究院被高调宣布创立,而百度研究院中居于首位的是深度学习研究所(Idl,Institute Of Deep Learning)[12]。
- SVPWM控制算法及工具综述 6次下载
- 基于DNN与规则学习的机器翻译算法综述 33次下载
- 基于深度学习的文本主题模型研究综述 68次下载
- 一种新型的多智能体深度强化学习算法 36次下载
- 基于最优传输理论的联合分布匹配问题综述 14次下载
- 基于深度学习的光学成像算法综述 10次下载
- 基于深度学习的行为识别算法及其应用 20次下载
- 动态学习机制的双种群蚁群算法综述 10次下载
- 基于机器学习的哈希检索算法综述 5次下载
- 基于生成对抗网络的深度伪造视频综述 11次下载
- 基于深度学习的二维人体姿态估计算法 7次下载
- 基于深度学习的疲劳驾驶检测算法及模型 25次下载
- 基于深度学习的X射线胸部疾病诊断算法 17次下载
- 新型基于深度学习的目标实时跟踪算法 10次下载
- 深度神经网络的快速学习算法NBP的详细资料说明 9次下载
- 深度学习中的时间序列分类方法 336次阅读
- 深度学习中的无监督学习方法综述 202次阅读
- 深度学习的基本原理与核心算法 1040次阅读
- 深度学习模型训练过程详解 424次阅读
- 目前主流的深度学习算法模型和应用案例 1187次阅读
- 瑞萨电子深度学习算法在缺陷检测领域的应用 718次阅读
- 基于深度学习的图像去模糊算法及应用 2242次阅读
- 深度学习中多种优化算法 2477次阅读
- 深度学习和普通机器学习的区别 4343次阅读
- 基于深度学习的多目标跟踪算法威廉希尔官方网站 1.2w次阅读
- 你知道机器深度学习 那你知道全新的进化算法吗 3154次阅读
- 如何提取文本实体?深度学习远远领先传统算法 6636次阅读
- 深度学习算法背后的数学 8305次阅读
- AI人工智能的深度学习由来与经典算法 1.3w次阅读
- 如何区分深度学习与机器学习 1891次阅读
下载排行
本周
- 1TC358743XBG评估板参考手册
- 1.36 MB | 330次下载 | 免费
- 2开关电源基础知识
- 5.73 MB | 11次下载 | 免费
- 3嵌入式linux-聊天程序设计
- 0.60 MB | 3次下载 | 免费
- 4DIY动手组装LED电子显示屏
- 0.98 MB | 3次下载 | 免费
- 5基于FPGA的C8051F单片机开发板设计
- 0.70 MB | 2次下载 | 免费
- 651单片机窗帘控制器仿真程序
- 1.93 MB | 2次下载 | 免费
- 751单片机大棚环境控制器仿真程序
- 1.10 MB | 2次下载 | 免费
- 8基于51单片机的RGB调色灯程序仿真
- 0.86 MB | 2次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 2555集成电路应用800例(新编版)
- 0.00 MB | 33566次下载 | 免费
- 3接口电路图大全
- 未知 | 30323次下载 | 免费
- 4开关电源设计实例指南
- 未知 | 21549次下载 | 免费
- 5电气工程师手册免费下载(新编第二版pdf电子书)
- 0.00 MB | 15349次下载 | 免费
- 6数字电路基础pdf(下载)
- 未知 | 13750次下载 | 免费
- 7电子制作实例集锦 下载
- 未知 | 8113次下载 | 免费
- 8《LED驱动电路设计》 温德尔著
- 0.00 MB | 6656次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935054次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537798次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420027次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191186次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183279次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138040次下载 | 免费
评论
查看更多