数据中台技术方案.docx

第 2 页共93页 数 据 中 台 技 术 方 案 第 2 页共93页 数据中台标准方案 目 录 1 数据中台概述 6 1.1 数据中台介绍 6 1.2 数据中台的价值 7 1.3 数据中台设计原则 8 1.3.1 数据的一致性与标准性 8 1.3.2 数据的实用性与服务性 8 1.3.3 数据的独立性与可扩展性 8 1.3.4 数据安全性 8 1.3.5 数据分级管理机制 9 1.4 数据中台设计方法 9 1.4.1 基于面向服务的架构方法(SOA) 9 1.4.2 业务系统规划法(BSP) 9 1.4.3 系统工程理论 11 2 数据中台核心功能 12 2.1 技术架构 12 2.1.1 层次架构 13 2.1.2 逻辑架构 14 第 3 页共93页 数据中台标准方案 2.1.3 数据架构 15 2.2 数据统一采集接入平台 16 2.2.1 平台架构 16 2.2.2 数据流程 17 2.2.3 平台功能 17 2.3 数据集中处理平台 29 2.3.1 平台架构 29 2.3.2 数据流程 30 2.3.3 平台功能 30 2.4 数据组织管理平台 48 2.4.1 平台架构 48 2.4.2 数据流程 49 2.4.3 平台功能 50 2.5 数据全域治理平台 56 2.5.1 平台架构 56 2.5.2 数据流程 57 2.5.3 平台功能 57 2.6 数据质量管理平台 62 第 4 页共93页 数据中台标准方案 2.6.1 数据标准管理 62 2.6.2 数据生命周期管理 63 2.6.3 数据质量管理 65 2.6.4 数据运维管理 65 2.7 数据共享服务平台 66 2.7.1 平台架构 66 2.7.2 数据流程 67 2.7.3 平台功能 67 2.8 数据可视化平台 76 2.8.1 平台架构 76 2.8.2 数据流程 77 2.8.3 平台功能 77 3 主要关键技术 85 3.1 内存级数据交换共享 85 3.2 一站式数据集成和数据管理 86 3.3 数据分析模型 87 3.4 数据治理技术 87 3.5 数据挖掘技术 89 第 5 页共93页 数据中台标准方案 3.6 可视化建模技术 90 3.7 NLP语义分析技术 91 3.8 知识图谱技术 92 3.9 数据交换共享技术指标 93 3.10 应用系统技术指标 93 3.11 数据加工分析技术指标 93 数 据 中 台 标 准 方 案 第 6 页 共 9 3 页 1 数据中台概述 1.1 数据中台介绍 因为在当今互联网时代，用户才是商业战场的中心，为了快速响 应用户的需求，借助平台化的力量可以事半功倍。然而第一之前在传 统企业信息化建设中企业为了满足单一业务场景需求而搭建的传统 技术架构，其底层技术选型大都无法支撑现有大数据应用场景。由此 形成的技术壁垒，往往使得企业转型成本激增甚至无法实现转型；第 二在企业不断发展的过程中伴随着业务的多元化发展，企业信息部门 单独建设或重建全新业务系统，逐渐形成了一个个相互独立的数据中 心，从而导致大量系统、功能和应用的重复建设，更造成了计算存储 资源和人力资源的浪费；第三企业由于业务发展带来的组织壁垒而形 成的数据孤岛，是数据壁垒最典型的场景。它使得企业数据难以被全 局规划和定义，从而导致数据价值无法被充分挖掘。传统信息化建设 往往以满足业务流程结果做为唯一标准，忽视了过程数据和关联数 据。传统的数据平台和其所谓的三层技术架构：前端展示层、中间逻 辑层、后端数据层，已经无法完善的解决上述三个问题并实现以用户 为中心的业务提升的。 当前企业数据的爆炸式增长以及价值的扩大化，数据将对企业未 来的发展产生深远的影响，数据将成为企业的核心资产。数据中台是 指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统 一标准和口径。 数 据 中 台 标 准 方 案 第 7 页 共 9 3 页 数据中台把数据统一之后，会形成标准数据，再进行存储，形成 大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有 较强的关联性，是这个企业独有的且能复用的，它是企业业务和数据 的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是