大数据-滴滴业务实时监控系统架构及实践.pdf

滴滴业务实时监控系统架构及实践 艾毅 2016/12 议程 • 滴滴实时监控系统演变历程 • 当前架构及服务介绍 • 系统优化方向 滴滴实时监控系统演变历程 2015年之前 2015年至今 挑 • 快速满足业务需求 • 业务数据库分库、分表 战 • 数据、维度、指标越来越多 预计算 瓶颈： 优势： 解决方 案 • 计算、存储成本指数级增长 • 实时分析海量数据 （秒级） • 不易扩展 • OLAP系统交互式查询 议程 • 滴滴实时监控系统演变历程 • 当前架构及服务介绍 • 系统优化方向 滴滴实时监控系统当前架构概览 Mysql Binlog Canal Server Text Log Flume Agent Kafka Cluster 1 Samza Unified ET L Job • Raw data • 数据格式转换 API Python Daemon • 通用业务 • 数据去重 Kafka Cluster 2 Samza Metrics Computing Online Machine Learning • Json data • 数据分析 APP：监控报警、热力图… Druid Kafka Real-time Indexer Samza HDFS Producer 基于指标的语义化API Druid Broker API Druid HDFS Batch Indexer HDFS 当前系统架构特点 • 高可用 • 易扩展 • 高性能 • 支持有状态的实时计算 为何选用Kafka？ Kafka 是一个高性能、高可用、易扩展的 分布式日志系统 将整个数据处理流程解耦 为何选用Druid？ Druid是针对时间序列数据提供低延时的数据写 入以及快速交互式查询的的分布式OLAP数据库 Druid的数据存储方式 • 为OLAP查询优化过的列式存储结构：Seg ment • Seg ment中存储聚合计算后的统计结果 • 主要根据时间对Seg ment文件进行分片存储 Segment包含的三种列类型 • 时间戳列 Ø 作为数据分发、存