人工神经网络与智能算法.ppt

智能算法（Intelligent Algorithm） 主要内容 人工神经网络（Artificial Neural Network，ANN） 模拟退火（Simulated Annealing，SA） 遗传算法（Genetic Algorithm，GA） 人工神经网络参考文献 陈念贻，钦佩，陈瑞亮，陆文聪，模式识别方法在化学化工中的应用，科学出版社，北京，2000。 从爽，面向MATLAB工具箱的神经网络理论与应用，中国科学技术出版社，合肥，1998。 焦李成，神经网络计算，西安电子科技大学出版社，西安，1993。 王永骥，涂健，神经元网络控制，机械工业出版社，北京，1998。 Bishop, C. (1995). Neural Networks for Pattern Recognition. Oxford: University Press. Carling, A. (1992). Introducing Neural Networks. Wilmslow, UK: Sigma Press. Fausett, L. (1994). Fundamentals of Neural Networks. New York: Prentice Hall Haykin, S. (1994). Neural Networks: A Comprehensive Foundation. New York: Macmillan Publishing. Patterson, D. (1996). Artificial Neural Networks. Singapore: Prentice Hall. 生物神经元及神经网络 一、人工神经网络 什么是人工神经网络？它就是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件（即人工神经元），按各种不同的联结方式组织起来的一个网络。 其目的在于模拟大脑的某些机理与机制，实现某个方面的功能，可以用在模仿视觉、模式识别、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络有多种形式，其中反向传播人工神经网络(Back-Propagation Artificial Network, 简称BP网络)是一种广泛使用的神经网络模型，它充分体现了人工神经网络的特点。BP网络是一种对非线性可微分函数进行权值训练的多层网络，在人工神经网络的实际应用中，80％～90％的人工神经网络模型是采用BP网络或它的变化形式。 1.1 BP神经网络 神经元的结构 神经元是人工神经网络的基本处理单元，它一般为多输入/单输出的非线性元件。神经元输出除受输入信号的影响外，还受神经元内部其它因素的制约，因此在人工神经元的建模中，常常加一额外输入信号，称为偏差(bais)，并取值为1。 偏差 激活函数 激活函数具有模拟生物神经元的非线性特性。 激活函数的一阶导数 在BP神经网络训练算法中，要用到激活函数的一阶导数。 1.2 BP网络的模型结构 BP网络是一种在输入层和输出层之间具有一层或多层隐层的网络模型，而其典型的结构为有一隐层、包含输入层和输出层的三层网络模型。典型BP网络的结构示意图如下： BP网络的四个计算过程 输入模式由输入层经隐含层向输出层的“模式正向传播”过程；（神经元的激活值从输入层经隐含层向输出层传播，在输出层各神经元获得网络响应。） 网络实际输出与希望输出的误差信号由输出层经隐含层向输入层逐层修正连接权和阂值的“误差反向传播”过程； 由“模式正向传播”过程与“误差反向传播”过程的反复交替进行的网络学习训练过程； 网络全局误差趋向极小的学习收敛过程。（网络对输入模式响应的正确率也不断增加。 ） BP网络的计算过程的简单描述（1） BP网络的计算过程的简单描述（2） 加快BP网络训练速度的方法 BP网络得到了广泛的应用，但也存在自身的不足与限制，主要表现在网络训练需较长时间和网络有可能达到局部最小。据此，BP网络有各种改进方法，以加快训练速度，避免陷入局部极小。 主要的改进方法有： 1.4 BP神经网络计算（1） BP神经网络计算（2） BP神经网络计算（3） 学习速率 学习速率决定每一次循环训练中所产生的权值变化量。 大的学习速率可能导致系统的不稳定； 但小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值。 所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01~0.8之间。 在一个神经网络的计算过程中，使网络经过几个不同的学习速率的训练，通过观察每一次训练后的误差平方和的下降速率来判断所选定的学习速率是否合适。 如果误差平