第05讲自适应线性元件.pdfVIP

第05章 自适应线性元件 自适应线性元件(Adaptive Linear Element ，简称 Adaline) 由威德罗（Widrow ）和 （Hoff ）首先 它与感知器的主要不同之处在于其神经元有一个 线性激活函数，这允许输出可以是任意值，而 不仅仅只是像感知器中那样只能取0或1。 它采用的是W—H学习法则，也称最小均方差 ( )规则对权值进行训练 自适应线性元件的主要用途是线性 近一个函数 式而进行模式联想。 5 ．1 自适应线性神经元模型和 结构 图5. 1 自适应线性神经网络的结构 5 ．2 W －H学习规则 W—H学习规则是由威德罗和 用 来修正权矢量的学习规则 采用W—H学习规则可以用来训练一定网络 的权值和偏差使之线性地 近一个函数 式而进行模式联想(Pattern Association) 。 定义一个线性网络的输出误差函数为： 我们的目的是通过调节权矢量，使E(W ，B)达到最小值。 所以在给定E(W ，B)后，利用W—H学习规则修正权矢量 和偏差矢量，使E(W ，B)从误差空间的某一点开始，沿 着E(W ，B) 的斜面向下滑行。 根据梯度下降法，权矢量的修正值正比于当前位 置上E(W ，B) 的梯度，对于第i个输出节点有： 或表示为： （5. 3 ） η为学习速率。在一般的实际运用中，实践表明， η通常取一接近1的数，或取值为： （5.5 ） 学习速率的这一取法在神经网络工具箱中用函数 maxlinlr.m来实现。(5 ．5)式可实现为： W—H学习规则的函数为：learnwh.m来实现，加上线性 自适应网络输出函数purelin.m ，可以写出W—H学习规 则的计算 为： A ＝purelin(W*P) ； E ＝T—A ； [dW，dB] ＝learnwh(P ，E ，h) ； W ＝W十dW ； B ＝B十dB ； 采用W—H规则训练自适应线性元件使其能够得以收敛 的必要条件是被训练的输入矢量必须是线性独立的， 且应适当地选择学习速率以防止产生振荡现象。 5 ．3 网络训练 自适应线性元件的网络训练过程可以归纳为以下 三个步骤： 1)表达：计算训练的输出矢量A ＝W*P十B ，以及 与期望输出之间的误差E ＝T—A ； 2)检查：将网络输出误差的平方和与期望误差相 比较，如果其值小于期望误差，或训练已达到 事先设定的最大训练次数，则停止训练；否则 继续； 3)学习：采用W—H学习规则计算新的权值和偏 差，并返回到1)。 采用 进行自适应线性元件网络的训练过程如下： trainwh.m ％表达式 A=purelin(W*P ，B); E=T-A ； SSE＝sumsqr(E); ％求误差平方和 for epoch ＝1: max_epoch ％循环训练 if SSE＜err_goal ％比较误差 epoch ＝epoch—1； break ％若满足期望误差要求，结束训练 end [dW，dB] ＝1earnwh(P ，E ，lr) ；％修正权值 W ＝W十dW ； B ＝B十dB; A ＝purelin(W*P ，B) ； ％网络输出 E ＝T-A ； SSE＝sumsqr(E) ； ％计算网络误差平方和 end 5 ．4例题与分析 [例5 ．1]设计自适应线性网络实现从输入矢 量到输出矢量的变换关系。其输入矢量 和输出