大数据平台技术方案 大数据平台技术解决方案.pdf

大数据平台技术方案（大数据平台技术解决方案）

大数据平台技术方案

大数据平台技术方案（大数据平台技术解决方案）

目录

15

25

35

45

第1章需求概述5

1.1背景概述5

1.2建设目标5

1.3需求理解7

1.4面临挑战9

1.5设计原则10

第2章总体技术方案13

2.1软件架构13

2.2总体技术架构设计14

2.3功能组件完整性介绍18

2.3.1、数据集成组件（DataHub）27

、数据采集27

、数据采集管理35

2.3.2、大数据计算存储平台（HadoopDistribution）38

、海量数据集中存储39

、高效数据处理40

、分布式应用协调45

、计算资源分配控制45

、存储资源分配控制46

、平台高可用性47

2.3.3、算法与分析工具(ArtificialIntelligence)52

、数据挖掘工具54

、R统计分析57

、Python统计分析58

2.3.4、数据资产管理(DataGovernor)58

、元数据管理60

、数据标准与质量管理63

、数据生命周期管理65

、数据可视化（）

2.3.5Vision68

、数据源68

、智能报表69

、仪表板71

、自助分析73

大数据平台技术方案（大数据平台技术解决方案）

、多维分析75

、OFFICE插件76

、移动可视化76

、系统运维监控（）

2.3.6Manager77

、安装部署78

、集群监控79

、服务管理82

、主机管理84

、告警管理87

、版本管理89

、日志