- 1、本文档共73页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
;;;
数据预处理背景;;;;;;;;;数据来源的权威性、
数据的规范性、数据产生的时间;
数据预处理目的;
目的:达到改进数据的质量,提高数据挖掘过程的准确率和效率。
保证数据挖掘的正确性和有效性。
通过对数据格式和内容的调整,使得数据更符合挖掘的需要。;目的;
数据预处理流程;;;;;;;使用属性的中心度量;噪声是被测量的变量的随机误差或偏差。;分箱:通过考察数据的近邻来光滑有序数据值。
;回归:采用一个函数拟合数据来光滑数据。
;聚类:可以通过聚类算法来检测离群点,消除噪声
;;30;
数据预处理流程;;;;实体识别:匹配多个信息源在现实世界中的等价实体。;;数据冲突的检测与处理
对现实世界的同一实体,来自不同数据源的属性定义不同。
原因:表示方法,度量单位、编码或比例的差异;;39;
数据预处理;为什么要数据规约
在现实场景中,数据集是很庞大的,数据是海量的,在整个数据集上进行复杂的数据分析和挖掘需要花费很长的时间。
;;;;;;;聚类:将原数据集划分成多个群或聚类。
原则:同类中的数据彼此相似;不同类中的数据彼此不相似。
相似:通常用空间距离度量
聚类的有效性依赖于实际数据的内在规律。;;取样(抽样):允许用数据的较小随机样本(子集)表示大的数据集。
取样方法:;;;;;;数据立方体聚集
数据立方体概念
数据立方体是数据的多维建模和表示,由维度、维度成员和度量值组成。
维度:观察数据的角度
维度成员:维的取值
度量值:实际意义的数值
数据立方体聚集定义
将n维数据立方体聚集成n-1维的数据立方体
;数据立方体聚集;数据压缩:利用数据编码或数据转换将原来的数据集合压缩为一个较小规模的数据集合。
无损压缩(loseless):可以不丢失任何信息地还原压缩数据;如:字符串压缩,压缩格式:Zip或RAR
有损压缩(lossy):只能重新构造原数据的近似表示;如:音频/视频压缩。
音频能够在没有察觉的质量下降情况下实现 10:1 的压缩比,
视频能够在稍微观察质量下降的情况下实现如 300:1 这样非常大的压缩比。
;;
数据预处理;;;;?;66;67;;
数据预处理的工具;;;72;
您可能关注的文档
- 安全教育 防火篇-增强防火意识 防止火灾发生.pptx
- 安全教育 急救篇-生活急救常识 贴身小卫士.pptx
- 安全教育 家庭篇-温馨和睦家庭 杜绝事故伤害.pptx
- 安全教育 交通篇-遵守交通规则 争做文明标兵.pptx
- 安全教育 社会篇-复杂社会 致命吸引力.pptx
- 安全教育 校园篇-维护学校稳定 构建和谐校园.pptx
- 安全教育 运动与旅游篇-美好休闲时光 注意人身安全.pptx
- 安全教育 职场篇-实现人生价值 走向美好未来.pptx
- 版式设计 01 版式设计概述.pptx
- 版式设计 02 版式设计的要素.pptx
- 霍尔元件及其应用.doc
- 2023年09月上海市农业广播电视学校(上海市农民科技教育培训中心)度公开招聘2名工作人员笔试历年难易错点考题荟萃附带答案详解.docx
- 公关社交礼仪浅析.pptx
- 2023年实用大班工作计划锦集(大班幼师个人工作计划).docx
- 小学校园活动方案模板6篇(校园小活动策划方案).docx
- 月工作计划表8篇(工作月计划表格).docx
- 小学体育老师个人年度工作计划5篇(体育教师个人工作计划).docx
- 劳务派遣个人工作计划3篇(劳务派遣个人工作计划怎么写).docx
- 2023高二上班主任工作计划3篇(高中高二班主任工作计划).docx
- 教师个人专业技术总结3篇(专业技术人员教师个人总结).docx
1亿VIP精品文档
相关文档
最近下载
- MWG-微观经济理论-译者曹乾-完整带书签合订版.pdf VIP
- 导致健康教育知晓率降低原因分析品管圈鱼骨图冰山图柏拉图对策拟定.docx
- 小学数学五年级上册第四单元 可能性《可能性》实践作业设计方案案例样例(第四单元 第 46页至47页(例 3 ).doc
- 机械设计基础课后答案(杨可桢).doc VIP
- 国开法律咨询与调节形考1-4试题及答案.doc
- 基于stm32在lcd上显示sd卡中bmp图片的设计.pdf
- 史陶比尔机器人TX2-60 Instruction manual-CN-20170918.pdf
- 中国历史常识考试题库(500题).docx
- 皮内注射技术操作并发症的预防及处理.doc
- 幕墙工程施工的重点难点分析及针对措施.docx
文档评论(0)