【数据治理】数据治理数据中台闭环管理系统建设和实施方案PPT.pptx

【数据治理】数据治理数据中台闭环管理系统建设和实施方案PPT

目录建设情况1功能介绍2系统演示3

建设情况1

数据质量太差了，数据好像都不准，到底是什么计算口径？这个数据字段/标签，是什么含义？我要的数据什么时候可以给我？昨晚是不是有计算作业没成功，今天报表数据明显有误，赶紧定位问题！我这个数据报表什么时候能开发出来？谁能帮忙看一下这个问题[贴截图]？数据报表查不出来！哪些数据能访问？谁能访问？这个字段背后是怎么产生的数据？业务人员分析人员运维人员业务需求变来变去，一堆的数据报表等着开发，人手根本不够！每次把数据报表做好了，业务用了一两次又不用了，数据报表使用率很低！开发人员不要每天疲于那些简单低级的数据报表需求了，要想办法提高效率！数据资产沉淀多少了？如何进行数据治理？各级领导数据问题

数据治理？解决数据痛点缺乏共享开放共享程度低，协作受限10数据共享中心数据质量低不符合规范/数据闲置7数据质量校验分析展示能力弱依赖开发/非自助式9数据应用中心定义不统一错误判断/口径各一2数据管理中心数据孤岛数据分布各处，复用性低8数据仓库数据库多环环相扣，高耦合6任务编排调度采集效率低侵入性/低效/采集规模较小3数据采集交换处理瓶颈数据庞大/传统方式受限5存储计算中心开发困难开发工具低效/周期过长4计算引擎中间件过程不可控缺乏统一监控、溯源手段平台监控中心11平台管理中心管理分散缺乏统一的数据管理门户1

数据存储数据计算数据开发数据标准数据采集建设目标业务系统业务系统业务系统业务系统业务系统系统应用开放共享数据大屏数据报表统计分析统一数据资产统一数据应用数据中台数据调度数据质量数据可视化数据仓库数据共享数据全生命周期管理建立全员数据能力，充分利用数据，获得更先进生产力，最终基于数据资产进行业务决策、管理决策。

1234567891011平台管理中心数据共享中心任务编排调度数据质量校验数据管理中心数据应用中心存储计算中心数据采集交换计算引擎中间件数据仓库平台监控中心业务方2.数据管理中心申请Web服务数据库服务文件服务开发数据仓库在线开发离线开发3.采集交换中心审批发布9.数据应用中心5.计算引擎中间件10.数据共享中心开发方6.存储与计算中心管理方数据治理闭环管理1.平台管理中心11.平台监控8.数据质量校验7.任务编排调度4.数据仓库从管理上做到采集-开发-计算-存储-标签-标准-治理-质量-可视化-调度-共享-开放-监控全过程闭环

建设历程数据库直连数据可视化大屏2022年2020年2018年2019年分析大屏建设2021年问题不断突出技术沉淀思想沉淀平台整合初有成效开始大数据技术探索存算分离架构数据仓库搭建统一数据调度平台有序调度补数机制数据标准与口径统一实时数据采集敏捷数据开发平台统一实时分析计算数据共享开放数据质量校验数据仓库分布式调度元数据管理数据生产闭环技术探索和整合是数据中台搭建过程难度最高、最耗成本的环节，同时也是整个团队技术沉淀和成长提高最多的一个环节

整体应用情况人车线站基础档案公交更纸IC卡数据公交GPS数据公路营运数据进出站数据公交营运数据能耗数据乘客数据维修数据事故明细数据视频巡检故障司机行为预警工资数据出勤数据车辆网数据××集团分公司分公司分公司16个数据主题统计日期：2023-01-31基础档案营运生产技术板块人力资源安全板块3827万8431198亿3521万2178万3463238万24388亿7034万部标平台300亿9107万

整体应用情况数据接入方面数据应用方面数据共享方面1.集团运营日报、公交营运对比、道路运输运营日报、如约生产统计报表、资源利用情况报表等50余份报表；2.实时路单数据推送，提供羊城通实时获取与分析审核后更纸宽表、服务咨询明细、燃料宽表等数据面向××集团大数据平台共享开放60余个实时接口，助力开展个性化深入分析合计508亿5910万日增结构化数据1.8亿日增非结构化数据近1T共接入数据表143张

功能介绍2

六大核心能力数据治理：从数据中台开始！数据中台构建标准统一的数据底座提供灵活的服务编排能力建立集中化的数据资源建立共享数据服务体系实现敏捷化的数据开发建立数据质量治理体系十一项支撑子系统数据共享中心任务编排调度数据质量校验数据应用中心存储计算中心数据采集交换计算引擎中间件数据仓库平台监控中心平台管理中心数据管理中心

功能规划标准统一的数据底座平台管理计算中间件存储与计算采集交换任务编排调度数据仓库项目工程管理用户管理角色管理工作空间管理权限管理数据共享数据管理数据质量校验数据应用平台监控灵活的服务编排能力数据质量治理体系共享数据服务体系集中化的数据资源元数据管理元数据检索数据发现数据目录管理数据标签关系型数据库缓存数据库目录型数据库