神经网络与数模讲义.docxVIP

§ 1. 基本的神经元及其学习规则 1.1 神经元模型 MP 模型 人工神经网络的第一个数学模型是由McCulloch 和 Pitts 建立的。该模型是基于这样一种思想： 神经细胞的工作方式是或者兴奋， 或者抑制。 基于这个思想， McCulloch 和 Pitts 在神经元模型中引 入了硬极限函数，该函数形式后来被其他神经网络（如多层感知器、离散 Hopfield 网络）采用。 由于神经元之间的信号连接强度取决于突触状态， 因此在 MP 模型中， 神经元的每个突触的活动强 度用一个固定的实数即权值模拟。 于是每个神经元模型都可以从数十个甚至数百个其他神经元接受 信息，产生神经兴奋和冲动； 同时，在其他条件不变的情况下， 不论何种刺激， 只要达到阈值以上， 就能产生一个动作电位。但如果输入总和低于阈值，则不能引起任何可见的反应。 图 1 所示为 MP 模型示意图。 x (x1, x2 , , xn ) T 为神经元的输入， w (w1, w2 , , wn )T 为相 应的连接权值 ,T 为神经元的兴奋阈值， y 为神经元的输出， y 取二值函数，即 n 1, wi x i y i 1 n 0, wi x i i 1  T T 图1 MP模型 单个 MP 模型可以实现与、或、与非、或非等二值逻辑运算（但不能实现异或运算） ，该模型 曾因说明了人工神经网络可通过简单的计算产生相当复杂的行为， 从而引起极大的轰动， 但它是一 种静态神经元，即结构固定，权值无法调节，因此，缺乏一个关键性的要素，即学习能力。 2．一般神经元模型 图 2 所示为一个具有 n 个输入的通用的神经元模型。 图 2 通用神经元模型 1 x (x1, x2, , xn )T 为神经元的输入， w ( w1 , w2 , , wn )T 为可调的输入权值 ,? 为偏移信号， 用于建模神经元的兴奋阈值， u(*) 为神经元的基函数，是一个多输入单输出函数 u=u(x,w; ? )。 f(*) 为神经元的激活函数（也称神经元函数、挤压函数或活化函数） ， f(*) 的一般作用是对基函数输出 u 进行“挤压” ： y=f(u) ，即通过非线性函数 f(*) 将 u 变换到指定范围内。 1.2 基函数 u(*) 的类型 1．线性函数： 常用于多层感知器（ MLP ）、 Hophield 网络等。 n xT w u xj wj j 1 2．距离函数： 常用于径向基函数神经（ RBF ）网络等。 n u ( xj w j ) 2 x w j 1 式中， w 常被称为基函数的中心， u 表示输入矢量 x 与权矢量 w 之间的欧氏距离。在多维空间 中，该基函数的形状是一个以 w 为球心的超球。 3．椭圆基函数 n w j )2 u c j ( xj j 1 1.3 激活函数 f(*) 的类型 1．硬极限函数： 常用于分类。 y f (u ) 1, u 0 或 y f (u ) sgn( u ) 1, u 0 0, u 0 1, u 0 其中 sgn(*) 为符号函数。 2．线性函数 : 常用于实现函数逼近的网络。 y = f(u) = u 3．饱和线性函数： 常用于分类。 y f (u ) 1 | u 1| | u 1| 2 2 4． Sigmoidal 函数 ,也称 S 函数： 常用于分类、函数逼近或优化。 y 1 或 1 e f (u ) u y f (u ) e 1 e 1  u u 5．高斯函数： 常用于 RBF 网络。 u 2 2 y f (u ) e 1.4 神经学习算法 神经网络的学习有两种形式：有导学习和无导学习。 有导学习也称监督学习（ Supervised Learning ）。一般情况下，有导学习的训练样本是输入输出 对（ pi , d i ）， i 2,1 , n ，其中 pi 为输入样本， d i 为输出样本（期望输出，或教师信号） 。 神经网络训练的目的是： 通过调节各神经元的自由参数， 是网络产生期望的行为， 即当输入样本 pi 时，网络输出尽可能接近 d i 。 无导学习也称无监督学习（ Unsupervised Learning ）或自组织学习（ Self-Organized Learning ）。 无导学习不提供教师信号，只规定学习方式或某些规则， 具体的学习内容随系统所处环境（即输入 信号情况）而异，系统可以自动发现环境特征和规律。 不管是有导学习还是无导学习，都要通过调整神经元的自由参数（权值或阈值）实现。 输入样本： x ( x1, x2 , , xn , 1)T 当前权值： w(t) ( w1 , w2 , , wn , )T 期望输出： d