机器学习-PPT课件（全）.pptx

机器学习概述复旦大学 赵卫东 博士wdzhao@章节介绍随着大数据的发展和计算机运算能力的不断提升，人工智能在最近几年取得令人瞩目的成就，目前在很多行业都开始应用机器学习技术，从而获取更深刻的洞察，为企业经营或日常生活提供帮助，提升产品服务水平。机器学习已经广泛应用于数据挖掘、搜索引擎、电子商务、自动驾驶、图像识别、量化投资、自然语言处理、计算机视觉、医学诊断、信用卡欺诈检测、证券金融市场分析、游戏和机器人等领域，在分析中使用机器学习的现实意义是获得有用信息，随着机器学习相关技术的进步，促进了人工智能在多个领域的发展机器学习定义机器学习(Machine Learning)是计算机科学的子领域，也是人工智能的一个分支和实现方式。Tom Mitchell在他1997年出版的《Machine Learning》一书中指出机器学习这门学科所关注的是计算机程序如何随着经验积累自动提高性能。同时给出了形式化的描述：对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么就称这个计算机程序在从经验E学习。机器学习是一门用来设计算法的学科，这些算法能够从数据中构造预测和描述模型。机器学习主要的理论基础涉及到概率论、数理统计、数值逼近、最优化理论、计算复杂理论等，核心要素是数据、算法和模型。复旦大学 赵卫东机器学习的本质机器学习的任务是学习大量数据中隐藏的模式，利用这种模式可以对新的样本进行判别和预测（泛化性）。用数据优化计算机程序的模型参数通过经验自动改进的计算机算法分类(Classification)预测(Estimation)复旦大学 赵卫东机器学习的发展机器学习的发展分为知识推理期、知识工程期、浅层学习（Shallow Learning）和深度学习（Deep Learning）几个阶段。在机器学习的发展过程中，随着人们对智能的理解和现实问题的解决方法演变，大致出现了符号主义、贝叶斯、联结主义、进化主义、行为类推主义五大流派。复旦大学 赵卫东机器学习的演化复旦大学 赵卫东机器学习、人工智能和数据挖掘复旦大学 赵卫东机器学习、人工智能和数据挖掘机器学习是人工智能的一个分支，它是实现人工智能的一个核心技术，即以机器学习为手段解决人工智能中的问题。机器学习是通过一些让计算机可以自动“学习”的算法并从数据中分析获得规律，然后利用规律对新样本进行预测。数据挖掘是从大量的业务数据中挖掘隐藏、有用的、正确的知识促进决策的执行。数据挖掘的很多算法都来自于机器学习，并在实际应用中进行优化。机器学习最近几年也逐渐跳出实验室，解决从实际的数据中学习模式，解决实际问题。数据挖掘和机器学习的交集越来越大。复旦大学 赵卫东议程机器学习典型应用领域艺术创作金融领域医疗领域自然语言处理网络安全工业领域娱乐行业机器学习流程机器学习是一门入门容易但精通难的学科机器学习分析人员需要掌握行业知识以了解业务流程、理解数据背后的隐含信息以合理解读数据、从变化的角度和时间维度把握需求以确定使用哪些数据，这是数据分析的基础机器学习的主要流程是明确分析目标、数据收集、数据预处理、建模分析、结果评估、部署使用以及学习更新。机器学习怎么做明确数据分析目标明确数据分析目标是机器学习首要的重要步骤，这个步骤需要与用户进行充分的沟通。项目主题：中国移动客户细分模型项目范围：本期项目以乐山市为试点城市项目目的：按用户行为进行细分，客观反映用户需求。通过对各类人群的深入分析，为相关部门制订资费、服务、市场策略提供基础。项目内容：建立客户细分模型结合各部门需求对客户细分群进行详细分析协助市场经营部进行相关服务、市场活动的策划思考：经营活动中有哪些困惑案例分析：用户换机，23转4G，离网率上升等复旦大学 赵卫东机器学习怎么做数据收集思考：离网用户特征，23转4G，IPTV内容推荐等收集相关的数据（内部业务系统的数据、外部数据）外部数据可以通过网络爬虫、购买或交易方式获得。充足、全面的高质量数据是机器学习的基础。复旦大学 赵卫东机器学习怎么做数据预处理数据可能存在着噪声、不一致、异常、个人隐私保护等各类问题。数据清理为保证数据的质量，必要的数据治理是需要的。思考：数据的质量满足机器学习的要求吗？复旦大学 赵卫东机器学习怎么做数据建模算法本身没有绝对的好坏，不同的机器学习算法都有各自的使用范围。选择合适的建模方法或算法，算法的好坏需要实验比较确定。此阶段是机器学习的核心部分，使用精巧复杂的分析方法从数据中提取知识，包括选择建模技术、生成测试设计以及构建和评估模型。算法调优（包括参数或结构等方面）机器学习算法是科学，应用是艺术。思考：用户换机模型复旦大学 赵卫东机器学习怎么做效果评估思考：用户换机模型效果评估？选定模型之后，就可以评估机器学习结果在多大程度上能够帮助实现业务