深度学习应用技术研究

针对深度学习应用技术进行了研究性综述。详细阐述了RBM（受限玻尔兹曼机）逐层预训练后再用BP（反向传播）微调的深度学习贪婪层训练方法，对比分析了BP算法中三种梯度下降的方式，建议在线学习系统采用随机梯度下降，静态离线学习系统采用随机小批量梯度下降；归纳总结了深度学习深层结构特征，并推荐了目前最受欢迎的五层深度网络结构设计方法。分析了前馈神经网络非线性激活函数的必要性及常用的激活函数优点，并推荐ReLU（rectifiedlinearunits）激活函数。最后简要概括了深度卷积神经网络、深度递归神经网络、长短期记忆网络等新型深度网络的特点及应用场景，归纳总结了当前深度学习可能的发展方向。...

Full description

Saved in:
Bibliographic Details
Published in计算机应用研究 Vol. 33; no. 11; pp. 3201 - 3205
Main Author 毛勇华 桂小林 李前 贺兴时
Format Journal Article
LanguageChinese
Published 西安工程大学 理学院，西安710048 2016
西安交通大学 电子与信息工程学院，西安710049%西安交通大学 电子与信息工程学院,西安,710049%西安工程大学 理学院,西安,710048
Subjects
受限玻尔兹曼机
梯度下降
深度学习
深度学习层次结构
深度神经网络
监督学习
贪婪层训练方法
验证集
training set
监督学习
deep learning network architecture
验证集
DNN
深度神经网络
supervised learning
深度学习
深度学习层次结构
deep learning
受限玻尔兹曼机
贪婪层训练方法
梯度下降
RBM
gradient descent
greedy layer training
Online AccessGet full text

Cover

More Information
Summary:针对深度学习应用技术进行了研究性综述。详细阐述了RBM（受限玻尔兹曼机）逐层预训练后再用BP（反向传播）微调的深度学习贪婪层训练方法，对比分析了BP算法中三种梯度下降的方式，建议在线学习系统采用随机梯度下降，静态离线学习系统采用随机小批量梯度下降；归纳总结了深度学习深层结构特征，并推荐了目前最受欢迎的五层深度网络结构设计方法。分析了前馈神经网络非线性激活函数的必要性及常用的激活函数优点，并推荐ReLU（rectifiedlinearunits）激活函数。最后简要概括了深度卷积神经网络、深度递归神经网络、长短期记忆网络等新型深度网络的特点及应用场景，归纳总结了当前深度学习可能的发展方向。
Bibliography:RBM; DNN; gradient descent ; training set; supervised learning; greedy layer training; deep learning ; deep learning network architecture
51-1196/TP
This paper reviewed the deep learning algorithms and their applications. It elaborated the greedy layer training al- gorithm which used the fine-grained back-propagation （BP） learning following the layer-wise pre-training on each restricted Bohzmann machine （RBM） layer. After comparing and analyzing the three ways of gradient descent in the BP algorithm, this paper suggested applying stochastic gradient descent in online learning and adopting stochastic mini-batch gradient descent in static offline learning. It summarized the characteristic of the network structure in deep learning and recommend the design of state-of-art five-layer network architecture. It also analyzed the necessity of the nonlinear activation function in feedforward neural networks and the advantages of the common activation functions, and recommended using ReLU activate function. Fi- nally, the
ISSN:1001-3695
DOI:10.3969/j.issn.1001-3695.2016.11.001