【数据治理】企业数据治理一站式数据开发与治理平台建设方案PPT.pptx

【数据治理】企业数据治理一站式数据开发与治理平台建设方案PPT

背景与挑战

数据治理存在的背景以及挑战

企业普遍存在数据现状问题随着数据时代的到来，以Google、Facebook、Amazon为代表的企业已经完成了从IT巨头到DT巨头的转变。这些公司借助其在大数据、云计算、人工智能的技术发展优势，快速实现业务数据化、数据资产化和企业经营数据化，加速商业价值的转化，在引领技术风向的同时获取了巨大的商业成功。数据统一化数据集中处理统一的元数据统一的计算平台数据资产化数据整合数据质量管理资产化与计量数据业务化数据化运营智能应用在线数据数据生态化数据域业务闭环运营数据服务和应用共享

数据服务体系的数据驱动模式依托大数据技术，以数据服务、数据产品的体系化建设为枢纽，推进多元化数据应用建设，健全数据治理体系，加速数据资产化管理，激发数据动能。产品化管理资产化运营组件构建数据治理全栈平台级数据技术能力体系能力开放服务共享产品应用资产管理交易数据行为数据实时数据批量数据外部数据内部数据非结构化数据流式数据结构化数据图数据存储算力监控环境开放数据应用能力共享数据服务模式数据资产经营生态数据即服务DaaS-DataasaService精准营销风险防控运营优化管理决策

企业在实行数据战略时需要关注什么专注与数据，将数据视为战略资产你有什么数据？这些数据在哪里?如何治理和保护它们？如何访问它们？如何发挥他们的价值?

完善的数据应用能力对企业未来至关重要数据在不断的增长但还未被充分利用未来两年企业数据将以42.2%的速速保持高速增长，但与此同时，调研结果显示，企业运营中的数据只有56%能够及时捕获，而这其中，仅有57%的数据得到了利用，43%的采集数据并有被激活。也就是说，仅有32%的企业数据价值能够被激活。数据来源：Statista,2020年11月数据来源：IDC和希捷科技，2020年

企业在数据应用能力的建设路径数据查询即服务分析报表即服务工具即服务数据即服务业务系统独立建设存储少量结果性数据，主要用于OLTP多业务系统的数据融合分析和报表处理整合内部各业务系统数据，主要用于OLAP利用大数据技术洞察业务，支撑运营决策整合企业数据+社会数据，用于大数据分析经过业务沉淀，形成有业务价值的数据服务通过数据服务快速适应业务发展和赋能创新业务

未来的企业数据中台需要什么支持数据的一站式开发治理和服务，提供智能化的数据任务调度与监控弹性的，可插拔的计算、查询引擎及数据治理工具组件开源兼容，能够支持各种开源大数据组件集成，满足客户不同场景需求支持混合云，与云原生技术深度融合，优化底层存储和计算引擎架构支持流批一体、湖仓一体的现代化数据架构设计

数据中台方案

数据中台方案及内容

数据中台解决方案数据应用第三方插件行业中台解决方案数据服务数据资产管理数据质量数据安全数据开发监控运维实时分析数据集成统一元数据系统统一调度系统大数据运维平台租户权限监控告警基础设施HadoopSparkFlinkClickHouse图计算AI组件管理数据开发与治理平台从数据汇聚到数据服务的一站式大数据智能研发与治理平台，支持实时/离线计算引擎，集成了数据集成、数据开发、生产运维、实时分析、资产管理、数据质量、数据安全、数据共享等核心数据工艺，承上启下，让数据从采集到展现、从分析到驱动应用实现一站式平台服务大数据引擎套件提供可插拔的数据引擎服务，可根据业务需求在数据处理时编排引擎处理模式。并依托云原生化的特性进一步提升引擎的调度和运行效率。数据应用与专家服务提供在数据中台建设中企业所有需要的各类专家服务和数据应用定制化服务。帮助企业打通数据业务闭环，实现数据价值赋能数据运营。大数据运维管控平台提供跨大数据生态的智能化大数据集群运维管理能力，提升企业对大数据平台的运维效率，降低运维成本。

大数据引擎套件提供覆盖全业务场景的计算引擎包含了离线计算、流式计算、数据查询、数据分析、机器学习等各个领域。引擎模块以容器化封装杜绝与平台层的依赖，可根据业务场景需求提供热插拔式的调用为业务场景提供最佳的服务。基于容器的租户隔离能力，大幅提升资源隔离和管控能力提供弹性调度能力有效提高集群的利用率，并可实现多集群多云的调度编排能力

大数据运维管控平台向导式自动化平台安装、部署过程，支持集群中节点的自动化配置，覆盖Hadoop生态及第三方各类大数据组件(Greenplum、Doris等)安装、升级、维护支持对各类组件管理和集群各节点的可视化、图形化、指标化监控支持统一的告警服务，提供消息、邮件及界面可视化等