信息分析实验教程全套教学课件.pptx

信息分析实验教程第一编 获取编第1编_获取编.pptx第2编_处理编.pptx第3编_分析编.pptx第4编_可视化编.pptx全套可编辑PPT课件 第1章 数据获取 基础知识 数据获取概述数据获取是在不触犯相关法律法规的基础上，通过一定的技术手段、方式方法所开展的搜集、捕获原始数据资料以支撑相关研究或业务开展的系列活动的统称。可能受到的限制可能受到获取数据的工具、渠道、外界的数据封锁、数据量太大而无法容纳的限制；客观事物反映在数据上是模糊的，难以清晰描述或界定边界；信息模型的局限或者获取信息的成本太高的限制等。 基础知识 数据获取来源与方法数据获取来源 基础知识 数据获取来源与方法数据获取方法线上数据获取方法网络数据采集电子邮件采集线下数据获取方法调查实验 基础知识 数据获取来源与方法数据获取流程 基础知识 数据隐私与数据资源共享隐私：“单个用户的某一些属性”公开群体用户的信息不属于隐私泄漏但若能从数据中能准确推测出个体的信息，则属于隐私泄漏讨论隐私保护的情景为学术研究和数据交流开放用户数据服务提供商为了提高服务质量，主动收集用户的数据 软件工具序号工具名称开发者技术特性功能简述类型1CrawleyCamporezPython爬虫框架；跨平台可个性定制化开发，用于网页中任意类型数据的采集开源，支持二次开发2ScrapyScrapinghub开源，支持二次开发3SkyCaiji南昌卓蓝科技有限公司跨平台；支持本地或云端采集；需要PHP环境用于网页中多种数据的采集开源，部分支持二次开发4后羿采集器杭州快忆科技有限公司图形化界面；更贴近使用者的选择；一键傻瓜式操作，适合初学者用于网页中多种数据的采集提供有个人免费版，但功能受限5八爪鱼采集器深圳视界信息技术有限公司图形化界面；更贴近使用者的选择；一键傻瓜式操作，适合初学者用于网页中多种数据的采集部分功能免费6火车采集器合肥乐维信息技术有限公司图形化界面；用户需要掌握一定的HTML知识部分功能免费7Web ScraperWeb ScraperChrome浏览器插件，一键傻瓜式操作用于网页中多种数据的采集商业免费8Excel微软 “数据”选项卡提供网页数据采集功能多用于采集网页中的表格型数据商业收费常见的网络数据采集软件 实验1：网络数据采集实验操作流程详见教材实验原理将分散的、各种类型的互联网数据获取到本地需要借助网络爬虫关键在于搜寻目标数据在互联网上的位置（即网址）并分析被采数据所在页面的分布特征，继而设置相应的采集规则本实验的核心工作流程 实验1：网络数据采集实验操作流程详见教材注意事项使用Web Scraper采集网页数据时，Chrome开发者模式必须处于上下分屏的显示状态中，且不能处于模拟移动设备的模式中。每个选择器及全局预留给页面加载的延迟时间值必须充足，否则将可能造成无法采集数据，或采集到的数据不完整；可根据实际网络通畅情况，进行个性化设置。启动采集后自动弹出的小窗口不能手动关闭，否则会造成采集中止。 信息分析实验教程第二编 处理编 第2章 数据处理 数据预处理活动及其效果示意基础知识 数据预处理的范畴数据清洗数据集成数据变换数据规约 基础知识数据预处理的必要性数据质量评估数据准确性数据完整性数据一致性数据及时性数据覆盖性数据可信性数据质量问题数据不完整数据不一致数据重复噪声 基础知识 数据预处理活动简述数据清洗缺失值处理删除缺失值填补法噪声数据处理分箱聚类回归数据集成模式集成和对象匹配冗余检测数据值冲突检测与处理数据变换数据规范化数据离散化数据泛化属性构造 基础知识数据预处理活动简述数据规约维规约小波变换主成分分析数值规约参数化数据规约非参数化数据规约小波变换示意主成分分析示意 软件工具编号工具名称开发者技术特性功能简述类型1OpenRefine(Google Refine)谷歌跨平台；B/S架构；需要Java环境一类数据转换工具，对数据进行可视化操作处理（面向列和字段），用于数据的清洗与整合开源免费2NumPyNumPy团队Python包；跨平台用于数值型数据的清洗、缺失值处理和异常值检测处理开源免费3pandaspandas团队开源免费4plyrHadley WickhamR包；跨平台开源免费5dplyrHadley Wickham等开源免费6tidyr开源免费7Power Query微软Excel插件，需要Excel用于多种数据的清洗、缺失值处理和异常值检测处理商业免费8Quality KnowledgeBaseSAS工业级产品；图形化界面软件提供11种清洗流程，每种流程包括若干处理算法，用于多种数据的清洗商业收费常见的数值型数据清洗处理软件 实验2：数据清洗实验操作流程详见教材实验原理主要环节去重纠错统一规格修正逻辑转换构造数据压缩……本实验的核心工作流程导