数据分析实用技术——阿里云大数据分析师ACP认证培训教程-全套课件.pptx

1.大数据分析领域职业 2提纲职业路径技能要求工作情况职业前景 3提纲职业路径技能要求工作情况职业前景 大数据的技术的三个环节数据的采集与存储数据的集成与处理数据的使用 数据处理的流程（数据挖掘）Source: , “Definitions” tab, extracted July 31, 2013数据（DATA）信息（INFORMATION）知识（KNOWLEDGE） 大数据相关公司的业务范围toolsoptimizationprojectAnalysisresearchhealthevolatrafficSEOwordpresmarketingadvertisingbusinessfrancefreelancemoneyhospitalplanfinancetrendaudiencecompetitorspresentationfyimusicVIHinfographictargetkeymobilechart数据集成数据采集/整合到Hadoop或扩展数据库智能硬件/磁盘和闪存/电脑系统传统企业级数据仓库和关系数据库供应商Hadoop提供Apache Hadoop的增值服务传统数据库硬件供应商数据分析帮助企业实施大数据战略和解决方案上云与数据管理提供数据/服务上云的运维和管理服务系统与数据安全安全工具，如加密和密钥管理云存储/对外输出计算能力云计算解决方案软件设计/SAAS/可视化通用工具/行业解决方案 大数据职业路径技术方向分析方向可视化（前端展现）工具开发Hadoop开发信息架构开发数据仓库研究ETL研发业务洞察分析业务建模业务解决方案数据分析数据科学研究OLAP开发企业数据管理数据安全 大数据工作入门复习数学和统计技能：一个好的数据工作者必须能够理解数据能够表达的信息，做到这一点，必须有扎实的基本线性代数，算法和统计的理解了解机器学习的概念：机器学习是一个新兴词，却和大数据有着千丝万缕的联系。机器学习使用人工智能算法将数据转化为价值，并且无需显式编程学习数据编程：数据工作者必须知道如何编写、调整代码，以便告诉计算机如何分析数据。可以从学习一个开放源码的语言如Python开始了解数据库、数据仓库及分布式存储：数据存储在数据库、数据仓库或整个分布式网络中。如何设计数据库的架构取决于如何访问、使用、并分析这些数据，因此了解数据存储的架构也非常有帮助学习数据转换和数据清洗技术：数据转换是将原始数据转换到另一种更容易访问和分析的格式。数据清理有助于消除重复和“坏”数据。两者都是数据工作者的必备技能了解数据可视化和报表设计的基本知识：数据分析师也是设计师，需要深谙如何创建数据报表，便于对数据比较外行的人可以方便的理解学习更多必要的工具：包括Hadoop、R、Spark等工具的使用经验和知识将帮助更快地寻找到数据工作反复练习：在加入新的领域并开始工作之前，可以利用开源代码开发一个喜欢的项目，或参加比赛或训练营，成为志愿者或实习生。最好的数据工作者在数据领域需要拥有经验和直觉，能够向用人单位展示自己的作品，可以成为成功的应聘者成为社区的一员：跟着同行业中的思想领袖，阅读行业博客和网站，参与、提出问题，并随时了解时事新闻和理论 9提纲职业路径技能要求工作情况职业前景 大数据工程师技能要求数据管理Python / SQL数据库Hadoop 云计算 Excel 简单的计算大数据运维Hadoop搭建 调试故障排除云计算部署安全系统研发分布式系统开发数据存贮系统搭建安全部署数据应用系统开发数据摄入方案数据质量控制研发高性能数据分析方案设计架构师客户需求分析系统架构设计行业经验技术能力行业专家走向管理层 - Apache Hadoop （例如, HDFS, MapReduce, Flume, Oozie, Hive, Pig, HBase, and YARN）- Apache Spark- NoSQL- 机器学习和数据挖掘- 统计和定量分析- SQL- 数据可视化- 其他数据编程语言（Java, C, Python, 或 Scala）创造力和问题解决能力大数据处理工具会不可避免的进行演化发展,新技术会不断涌现并替代这里所列 出的技术。但是,如果你能出于本能的渴求新的知识,并且能够像猎犬一样发现问题 的解决方案,就会有大量的工作机会在等着你。大数据技能 数据分析专家技能要求数据管理Python / SQL数据库Hadoop 云计算 Excel 简单的计算运营报表KPIs和数据分析沟通技能WOW洞察分析营销分析与优化特定业务问题分析战略分析PPT演示算法模型统计检验与回归决策树，篮分析人工智能行业经验技术能力行业专家走向管理层 常见数据分析和挖掘分析常用统计模型因子分析（Factor Analysis）相关分析（Correlation Analys