“1+X”(高级)02-阿里云大数据体系架构.pptx

阿里云大数据体系架构

【-)阿里云

课程目标

学习完本课程后，你将能够：

1.了解阿里云大数据产品体系

2.了解阿里云数据存储与计算工具

3.了解阿里云数据挖掘与机器学习工具

4.了解阿里云数据可视化工具

1【-〕阿里云

课程目录

1.阿里云大数据产品体系

2.数据存储计算工具

3.数据挖掘与机器学习工具

4.数据可视化工具

2【-〕阿里云

阿里云

大数据平台

定位

阿里云大数据平台

行业

解决方案

一站式数据平台

提供多层服务

【-〕阿里云

3

数据质量数据安全数据分析数据监控数据分享

智能云上开发X-Studio(IDE插件对接各种引擎)

实时开发交互式查询机器学习图计算分析数据服务应用开发

跨云混合调度跨地域混合调度流批混合调度调度流程逻辑控制

元数据采集与构建元数据仓库元数据服务

实时同步增量同步数据转换IOT采集

数据综合治理

智能数据开发

统一任务调度

统一元数据中心

全域数据集成

计算存储引擎

离线开发

跨引擎混合调度

异构数据源管理

批量同步

阿里云大数据平台产品架构

4【-〕阿里云

交互式分析引擎Hologres

DB

DataWorks全域智能大数据平台

开源大数据计算服务E-MapReduce

实时计算

RealtimeCompute

大数据计算服务MaxCompute

图计算引擎GraphCompute

数据资产

HDFS

osS

IOT

阿里云大数据平台优势

5【-〕阿里云

应用广泛的最佳实

践

易用齐全的产品体

系

AI加持的双生系统

极致的性能与成本

平台优势

数据应用：QuickBI、DataV,同样支持

Tableau、Qlikview、PowrerBI等

数据挖掘\分析：MaxComputeSQL、MaxComputeMR、PAI、ADB等

数据存储：MaxCompute(盘古)、TS、

OSS(HBASE、Redis)同样支持

MapReduce/YarnSamza/storm

(编程模型)(编程模型)

HCatalogHbaseRedis

(元数据管理)(数据存储)(数据存储)

HDFS

(文件存储)

Sqoop/JavaNIO传输/MQ

消息传输等

数据采集与预处理：阿里云日志服务、数据集成、阿里云消息服务、DTS等数据同步工具

阿里云大数据平台VSHadoop大数据平台

数据分析层

编程模型层

数据存储层

文件存储层

数据集成层

6【-〕阿里云

DataWorks

(飞天系统)

Pig

(数据分析)

个……

Hive

(数据分析)

(平台配置与调度)

其他数据源

(平台管理)

应用数据

平台管理层

上层应用

数据库

Ambari

日志

ZooKeeper

课程目录

1.阿里云大数据产品体系

2.数据存储计算工具

2.1阿里云大数据计算服务MaxCompute

2.2—站式大数据开发平台