深度学习及其优化方法.ppt

优化方法 */25 5、 Mini-batch Gradient Descent 其思想是：SGD就是每一次迭代计算mini-batch的梯度，然后对参数进行更新； 其中，是学习率， 是梯度，SGD完全依赖于当前batch的梯度，可理解为允许当前batch的梯度多大程度影响参数更新。 第三十页，共五十一页，2022年，8月28日 优化方法 */25 5、 Mini-batch Gradient Descent 面临的挑战： learning rate选取比较困难 对于稀疏数据或者特征，有时我们可能想更新快一些； 对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了； SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点  第三十一页，共五十一页，2022年，8月28日 优化方法-Momentum */25 momentum是模拟物理里动量的概念，积累之前的动量来替代真正的梯度： 其中， 是动量因子。  第三十二页，共五十一页，2022年，8月28日 优化方法-Momentum */25  SGD without momentum SGD with momentum 第三十三页，共五十一页，2022年，8月28日 优化方法-Momentum */25 特点： 下降初期时，使用上一次参数更新，下降方向一致，乘上较大的 能够进行很好的加速； 下降中后期时，在局部最小值来回震荡的时候， ， 使得更新幅度增大，跳出陷阱； 在梯度改变方向的时候， 能够减少更新； 总之，momentum项能够在相关方向加速SGD，抑制振荡，从而加快收敛。 第三十四页，共五十一页，2022年，8月28日 优化方法-Nesterov */25 nesterov项在梯度更新时做一个校正，避免前进太快，同时提高灵敏度： 并没有直接改变当前梯度 ，所以Nesterov的改进就是让之前的动量直接影响当前的梯度。即： 因此，加上nesterov项后，梯度在大的跳跃后，进行计算对当前梯度进行校正。  第三十五页，共五十一页，2022年，8月28日 优化方法-Nesterov */25 momentum首先计算一个梯度(短的蓝色向量)，然后在加速更新梯度的方向进行一个大的跳跃(长的蓝色向量)，nesterov项首先在之前加速的梯度方向进行一个大的跳跃(棕色向量)，计算梯度然后进行校正(绿色梯向量)： momentum项和nesterov项都是为了使梯度更新更加灵活，对不同情况有针对性。 第三十六页，共五十一页，2022年，8月28日 深度学习及其优化方法 第一页，共五十一页，2022年，8月28日 Outline 深度学习基本介绍 Loss Function一般形式及数学概念 深度学习梯度优化方法 深度学习优化方法 */25 第二页，共五十一页，2022年，8月28日 深度学习的概念 */25 什么是deep learning? 深度学习：一种基于无监督特征学习和特征层次结构的学习方法。 本质：通过构建多隐层的模型和海量训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。 含多隐层的多层感知器就是一种深度学习结构。 第三页，共五十一页，2022年，8月28日 DL训练过程 */25 深度学习的基本思想： 对于Deep Learning，需要自动地学习特征，假设有一堆输入I，输出是O，设计一个系统S（有n层），形象地表示为： I =S1=S2=.....=Sn = O，通过调整系统中参数，使得它的输出仍然是输入I，那么就可以自动地获取得到输入I的一系列层次特征，即S1，..., Sn。 用自下而上的无监督学习 1）逐层构建单层神经元。 2）每层采用wake-sleep算法进行调优。每次仅调整一层，逐层调整。 第四页，共五十一页，2022年，8月28日 */25 第二步：自顶向下的监督学习?????? 这一步是在第一步学习获得各层参数进的基础上，在最顶的编码层添加一个分类器（如，SVM等），而后通过带标签数据的监督学习，利用梯度下降法去微调整个网络参数。 DL训练过程 第五页，共五十一页，2022年，8月28日 */25 深度学习的具体模型及方法： 1、自动编码器（ AutoEncoder ） 2、稀疏自动编码器(Sparse AutoEncoder) 3、限制波尔兹曼机（Restricted Boltzmann Machine） 4、深信度网络（Deep Belief Networks） 5、卷积神经网络（Convolutional Neural Networks） DL训练过程 第六页，共五