多层前馈神经网络.doc

多层前馈神经网络 5 多层前馈网络及BP算法 多层前馈网络的反向传播 (BP)学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。 (a) 网络结构 yu 见下图，、是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层(图中是单隐层)，前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络。 I:y:x:每个神经元(节点)的输入;每个神经元(节点)的输出;神经元j w:jji的第个输入。神经元到神经元的连接权 ij ,,y,f(x,,)节点的作用函数:, 为阈值(可设置一个偏置节点代替) 1,f可为线性函数，一般取为Sigmoid函数 , 为很小的数，如0.1 ,x/,1，e (b) BP学习算法 ? 已知网络的输入/输出样本，即导师信号。 ? BP学习算法由正向传播和反向传播组成: ? 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望 的输出，则学习算法结束;否则，转至反向传播。 ? 反向传播是将误差(样本输出与网络输出之差)按原联接通路反向计算， 由梯度下降法调整各层节点的权值和阈值，使误差减小。 BP学习算法步骤如下: W(0)(1) 设置初始权值，它是较小的随机非零值。 (2) 给定输入/输出样本对，计算网络的输出。 ，，u,u,u,...,u设第p组样本输入: p1p2pnp ，，d,d,d,...,d,p,1,2,..,L 输出: p1p2pmp ypi节点 在第 组样本输入时，输出为 : ip ，， ，，y(t),fx(t),fw(t)I ----(1式) ,,,ipipijjpj，， Ijpi式中，是在第 组样本输入时，节点 的第 个输入。 jp 1f(,)f(x)s取可微的 型作用函数式 = -------(2式) ,x1，e可由输入层隐层至输出层，求得网络输出层节点的输出。 J(1) 计算网络的目标函数 ELp设 为在第 组样本输入时，网络的目标函数，取范数，则 p2 111222E(t),||d,y(t)||,[d,y(t)],e(t)--------(3式) ,,pppkpkpkp2222kk y(t)pkt式中，是在第 组样本输入时，经 次权值调整后网络的输出:是p k输出层第 个节点。 E(t)J(t),网络的总目标函数: = ----------(4式) p p 作为对网络学习状况的评价。 (2) 判别 J(t),若 ? -------(5式) ,,,0算法结束;否则，至步骤(4)。式中，是预先确定的，. (3) 反向传播计算 J由输出层，依据 ，按梯度下降法反向计算，可逐层调整权值。 ，，,Jak,a,a,ji由式，取步长为常值，可得到神经元到神经元的，1kkk,ak t，1连接权次调整算式: ,E(t),J(t)pw(t，1),w(t),,,w(t),,,w(t)，,w(t)---6式) ,ijijijijij,w(t),w(t)pijij ,式中，为步长，在此称为学习算子。 具体算法如下: ,E,E,xppip,, --------(7式) ,w,x,wijipij 设 ,Ep,, ----------(8式) ip,xip xE,piip是第个节点的状态对的灵敏度(第组样本输入时)。 式中，pip 又(7式)(8式)可得: E,p,,,Iipjp ----------(9式) w,ij ,分以下两种情况计算。 ip i? 若为输出节点，由(3式)和(8式)可得: ,E,ypkp'，，,,,,,,,efx --------(10式) ipkpkpkp,y,xkpkp将(10式)代入(7式)，则: ,Ep',,，，efxIkpkpjp ---------(11式) ,wij i? 若不是输出节点，此时(8式)为: ,E,E,y,Eppipp'，，,,,,,,fx -----(12式) ipip,x,y,x,yipipipip其中 ,x,E,E,E,E,mppppp,1,,,,wI,w,,w,,,,,mjjpmjmpmi1111,y,x,y,x,y,xmmjmmipmpipmpipmp1111111(13式) ,mIjmmi式中，是节点 后边一层的第个节点;是节点的第个1jp11 i,jp输入(第组样本输入时)，当时 ,y,I ipjp 将(12式)和(13式)代入(7式)，有 ,E,Ep''P，，，，,fxIw,fxI,w ----(14式) ,,ipjpmiipjpmpmi111,w,xmmijmp111 可见，由(11式)和(14式)，可进行(6式)的权值调整计算。 (c)几个问题讨论: (1)实现输入/输出的非线性映射 (