深度学习技术介绍课件.ppt

什么是感知器(perceptron) ··· 最简单的分离器设计 感知器定义了一个超平面，而神经网络感知器事不过是实现超平面的一种方法。给定数据样本，权重可以离线计算，并且将其带入后，感知器就可以用来计算输出的值。 在训练神经网络时，若果未提供全部样本，而是逐个提供实例，则我们通常使用在线学习，并且在每个实例之后更新网络参数，让给网络缓慢的及时调整。这是目前比较常见的一种训练方式。 对于在线学习，不需要全部样本而是需要单个实例上的误差函数。从随机初始权重开始，每次迭代中，我们都对参数稍作调整，以最小化误差，而不是忘记先前学习的。若误差函数可微，则可以使用梯度下降方法。 具有单层权重的感知器，只能逼近输入的线性函数，不能解决XOR类型的问题，这些问题的判别式是非线性的。类似的，这种感知器也不能用于非线性回归。鉴于此，MLP可以实现非线性的判别。 训练感知器 这是在训练多层感知器时提出的一个概念。 训练多层感知器与训练感知器是一样的。唯一区别是现在的输出是输入的非线性函数，这要归咎于隐藏单元中的非线性偏倚函数。 在对于多层感知器，计算梯度时误差就向传回到输出一样，所以创造了这个术语。 后向传播算法(back propagation,1986) 对于人脸识别(face recognition)。输入是人脸图像，类是需要识别的人，并且学习程序应当学习人脸图像与身份之间的关联性。人脸会有更多的类，输入图像也更大一些，并且人脸是三维的，不同的姿势和光线等都会导致图像的显著变化。另外，对于特定人脸的输人也会出现问题，比如说眼镜可能会把眼睛和眉毛遮住，胡子可能会把下巴盖住等。 具体应用-人脸识别 对于医学诊断(medical diagnosis)。输人是关于患者的信息，而类是疾病。输入包括患者的年龄、性别、既往病史、目前症状等。当然，患者可能还没有做过某些检查，因此这些输入将会缺失。检查需要时间，还可能要花很多钱，而目、也许还会给患者带来不便。因此，除非我们确信检查将提供有价值的信息，否则我们将不对患者进行检查。在医学诊断的情况下，错误的诊断结果可能会导致我们采取错误的治疗或根本不进行治疗。在不能确信诊断结果的情况下，分类器最好还是放弃判定，而等待医学专家来做决断。 具体应用-医学诊断 在语音识别(speech recognition) ,输人是语音，类是可以读出的词汇。这里要学习的是从语音信号到某种语言的词汇的关联性。由于年龄、性别或口音方面的差异，相同词汇的读音不同，这使得语音识别问题相当困难。语音识另的另一个特点是其输入信号是时态的，词汇作为音素的序列实时读出，而且有些词汇的读音会较长一些。 具体应用-语音识别 在语音识别中，“语言模型”的集成是至关重要的，而且提供一语言模型的最好方法仍然是从实例数据的大型一语料库中学习。机器学习在自然语言处理(natural language processing)方面的应用与日俱增。垃圾邮件过滤就是一种应用，其中垃圾邮件的制造者为一方，过滤者为另一方，一直都在寻找越来越精巧的方法以便超越对方，也许最吸引人的是机器翻译(machine translation)，经历了数十年手工编写翻译规则的研究之后，最近人们认识到最有希望的办法是提供大量翻译文本实例对，并且让程序自动地提取，一个字符串映射到另一个字符串的规则。 自然语言处理 生物则定学(biometrics)使用人的生理和行为特征来识别或认证人的身份，需要集成来自不同形态的输人。生理特征的例子是面部图像、指纹、虹膜和手掌；行为特征的例子是签字的力度、嗓音、步态和击键。与通常的鉴别过程(照片、印刷签名或门令)相反，会有许多不同的(不相关的)输人，伪造(欺骗)更困难并且系统更准确，不会对用户太不方便。机器学习既用于针对这些不同形态而构建不同的识别器，也考虑这些不同数据源的可靠性，用于组合它们的决策，以便得到接受或拒绝的总体决策。 生物测定学 从数据中学习规则也为知识抽取(knowledge extraction)提供了可能性。规则是一种解释数据的简单模型，而观察该模型我们能得到潜在数据处理的解释。例如，一旦我们学会了区分低风险客户和高风险客户的判别式，我们就拥有了关于低风险客户特性的知识。然后，我们就能够利用这些知识，通过比如广告等方式，更有效地争取那些潜在的低风险客户。 机器学习还可以进行压缩(compression)。用规则拟合数据，我们能得到比数据更简单的解释，需要的存储空间更少，处理所需要的计算更少，例如，一旦你掌握了加法规则，你就不必记忆每对可能数字的和是多少。 机器学习的另一种用途是离群点检测(outlier detection)，即发现那些不遵守规则的例外实例。在这种情况下，学习规则之后，我们感兴趣的不是规则，而是规则未能覆盖的例外，他