06 人工神经络(ANN)方法简介.ppt

误差的后向传播 多层前向网的学习原理：基于适当定义的误差函数，在网络中调整权重矩阵和阈值等参数，使得误差函数极小化。 与单层前向网和感知器相比较，多层前向网由于隐层的存在，无法判别隐层神经元对输入误差的直接影响（无法知道隐层神经元的理想输出值）。因此，对参数权重矩阵和阈值的调整遇到困难。 1 2 M 2 1 ?x1 N ?y1 1 2 c ?y2 ?yc ?W(1) ?W(2) 输入层 (X) 隐层 (Z) 输出层 (Y) ?x2 ?xN 解决方案——计算两个传播方向： “前向传播(Forward propagation)”：输入{xi}进入网络，按照信息在网络中前进移动的方向，逐次计算aj，zj直至输出{yk}的过程；（输入向输出方向的前向传播） “后向传播(Back propagation)”：利用输出层的误差来估计输出层的直接前导层的误差，再依次估计更前一层的误差，获得所有各层的误差估计。（输出误差向输入方向的后向传播）（Rumelhart, Hinton & Williams, 1986） 1 2 M 2 1 ?x1 N ?y1 1 2 c ?y2 ?yc ?W(1) ?W(2) 输入层 (X) 隐层 (Z) 输出层 (Y) ?x2 ?xN 设学习集有T个样本，记为{x?, t?}，? =1, 2, …, T，其中： 输入 理想输出 计算实际输出，记为： 实际输出 显然有： 因此只需讨论某一个样本点的误差传播，以下略去上标? 。 故误差函数为： 已知下列记号： 又定义第k个输出神经元和第j个隐层神经元的误差率为： 输出层误差率 隐层误差率 由微分链式法则，计算可得： 输出层误差率 隐层误差率 因此，得到： 梯度法求解wij(l) 取步长因子为固定步长?，得到学习规则： 其中?k(2)、?k(1)均与?有关，k=1,2,…,c；j=0, 1,…,M；i=0, 1, …, N。 补充：梯度法求解优化问题 已知D ? Rn是一个凸集。求解无约束优化问题 就是寻求x* ? D使得 若f (x)为连续可微凸函数，问题归结为求解 可运用Newton迭代法数值求解。 （但f (x) 的凸性难以保证，求解也非常困难……） 构造逐次使目标函数值下降的搜索算法： 满足： ?k>0：步长因子 BP学习算法的实现 设学习集有T个样本，记为{x?, t?}，? =1, 2, …, T，其中： 输入 理想输出 又设k=1,2,…,c；j=0, 1,…,M；i=0, 1, …, N。对于给定的? =1, 2, …, T，指标?仍然不标出。 STEP 1 初始化权重矩阵和阈值wji(1)(0)、 wkj(2)(0) （已包含阈值），选择学习效率?。 STEP 2 设第t次迭代值wji(1)(t)、 wkj(2)(t)已知， （1）前向过程：对? =1, 2, …, T，依次计算： （2）后向过程：利用公式 对? =1, 2, …, N，依次计算 STEP 2 设第t次迭代值wji(1)(t)、 wkj(2)(t)已知， . . . （3）迭代过程：计算第t +1次权重矩阵 STEP 3 由此得到序列 满足 直至满足停机准则（满足某种优化准则，或者迭代次数） BP学习算法的例子 考虑某双层前向网，设激活函数为： 误差函数为： 注意到： 激活函数?为符号函数： 1 -1 u ? 激活函数?为分段线性函数： 1 -1 u ? 激活函数?为Sigmoid函数，其特点是单调递增、光滑且具有渐近值，具有解析上的优点和神经生理学特征。 ? 1 -1 u M-P模型 将人工神经元的基本模型与激活函数?结合，即McCulloch –Pitts模型。 w1 ? u=?wixi w2 wn x1 x2 xn y=? (u(X)-? ) 2、 感知器的学习算法 什么是“学习”？ “The conceptual scheme for ‘learning’ in this context is a machine with an input channel for figures, a pair of YES and NO output indicators, and a reinforcement or ‘reward’ button that the machine’s operator can use to indicate his approval or disapproval of the machine’s behavior.” ——M. L. Minsky and S. A. Papert, “Perceptro