第2章-神经元模型和网络结构.ppt

第2章神经元模型和网络结构

2.1目的介绍简化的神经元数学模型解释这些人工神经网络如何互相连接形成各种网络结构通过几个简单的实例来介绍这些网络的工作原理2.2原理和实例2.2.1符号本书中的图、数学公式的正文，将使用以下符号：标量：小写的斜体字母，如a,b,c。向量：小写的黑正体字母，如a,b,c。矩阵：大写的黑正体字母，如A,B,C。（注：全书中用到的所有符号都可以在附录B中查到。）2.2原理和实例2.2.2神经元模型1.单输入神经元2.2原理和实例神经元输出按下式计算:a=f(wp+b)例如,若w=3,p=2,b=-1.5,则a=f(3(2)-1.5)=f(4.5)实际输出取决于所选择的特定传输函数（注意：w和b是神经元的可调整标量参数。设计者可以选择特定的传输函数，在一定的学习规则中调整w和b，以满足特定的需要。）2.2原理和实例2.传输函数上图中的传输函数可以是n的线性或者非线性函数。可以用特定的传输函数满足神经元要解决的特定问题。下面将介绍三种最常用的。硬极限传输函数线性传输函数对数-S形传输函数对数-S型传输函数的输入在（-∞，+∞）之间取值，输出则在0到1之间取值，其数学表达形式为：表2-1传输函数3.多输入神经元权值矩阵通常，一个神经元有不止一个输入。具有R个输入的神经元如图2-5所示。该神经元有一个偏置值b，它与所有输入的加权和累加，从而形成净输入n:权值下标本书将采用习惯的方法表示权值矩阵元素的下标。权值矩阵元素下标的第一个下标表示权值相应连接所指定的目标神经元编号，第二个下标表示权值相应连接的原神经元编号。w1.2的含义： 该权值表示从第二个神经元到第一个神经元的连接。简化符号2.2.3网络结构层——实际应用中需要有多个并行操作的神经元，本文将这些可以并行操作的神经元组成的集合称为“层”。1.神经元的层图2-7是由S个神经元组成的单层网络。注意，R个输入中的每一个均与每个神经元相连，权值矩阵现在有S行。输入向量通过如下权矩阵W进入网络：2.多层神经元层上标：对于一个具有几层神经元的网络。每层都有自己的权值矩阵等等参量，需要额外的符号来区分这些层次。这里用上标来表示每个参量的所处的层次。输入层隐含层如果某层的输出是网络的输出，那么称该层为输出层，而其他层叫隐含层。上图中的网络有一个输出层（第3层）和两个隐含层（第1层和第2层）。3.递归网络延时：在讨论递归网络前，首先介绍一些简单的构造模块。积分器递归网络：利用上述的模块就可以构造出递归网络。一个递归网络是一个带反馈的网络，其部分输出连接到它的输入。如何选取一种网络结构应用问题的描述从如下几个方面非常有助于定义网络的结构：网络的输入个数=应用问题的输入数；输出层神经元的数目=应用问题的输出数目；输出层的传输函数选择至少部分依赖于应用问题的输出描述。2.3例题P2.1一个单输入神经元的输入是2.0，其权值是2.3，偏置值是-3。传输函数的净输入是多少？神经元的输出是多少？解传输函数的网络输出由下式给出： n=wp+b=2.3×2-3=1.6因为没有指定传输函数，所以无法确定输出。P2.2如果P2.1中的神经元分别具有如下传输函数，请问其输出值分别是多少？硬极限函数线性函数对数-S型函数解对于硬极限函数有a=hardlim(1.6)=1.0对于线性传输函数有a=purelin(1.6)=1.6对于对数-S型函数有 a=logsig(1.6)=1/(1+e-1.6)=0.8320**在某种程度上可以说，正是由于对数-S型函数是可微的，所以用于反传（BP）算法训练的多层网络才采用了该传输函数。competa=1,具有最大n的神经元a=0,所有其他神经元竞争函数poslina=0,n<0a=n,n≥0正线性函数tansig双曲正切S型函数logsig对数-S型函数satlina=-1,n<-1a=n,-1≤n≤1a=1,n>1对称饱和线性函数satlina=0,n<0a=n,0≤n≤1a=1,n>1饱和线性函数purelina=n线性函数hardlimsa=-1,n<0a=+1,n≥0对数硬极限函数hardlima=0,n<0a=1,n≥0硬极限函数MATLAB函数输入/输出关系名称矩阵形式：神经元的输出可以写成：注：一般要标出变量的维数，这样可以立即知道该变量是标量，还是向量或者矩阵。上图