大数据平台数据治理与建设方案课件.ppt

建设阶段和步骤 一、逻辑模 型初步设计 二、逻辑模型 具体设计 业务驱动循环 2.1 数据源到参 考模型的匹配 2.2 参考模型到 数据源的匹配 2.3 应用驱动 模型完善 三、开发实现 1. 参考模型 设计 1. 物理模型设计 2. 当前用到 的属性分析 2. 数据映射 3.3ETL 逻辑模型设计 客户需求调研 个人、存款、贷款、贷款、信用卡 建设重点 2. 源表 1. 协调业务系统开发商对系统进行讲解，了解 具体的业务流程并对开发人员整理出的源业 务系统调研提纲中所提出的问题进行解答 2. 对源系统表对象调研 3. 对源系统表字段调研 4. 根据源系统数据验证调研结果 5. 依据调研结果对模型进行属性的补充完善 调研 1. 源系统 调研 3. 源表字 段调研 4. 验证 调研结 果 存储策略 ? 设计思想 将汇总层划分为两个存储区域，数据集市应用从历史数据区和快照区获取数据。 数据存储区 历史数据区 月表历史区 ODS 层、 整合层 流水类表 应用层 数据集市 数据集市 数据集市 快照区 （ T-1 日，数据日期 ） 第四 部分 成效和特点 项目成效 - 中长期价值 进一步扩展了数据范 围，容纳了新数据，实现 对业务数据的全覆盖，当 未来有新的业务需求时， 保证了数据架构的稳定性 支撑全行级的数据应用， 数据平台可提供全行级的最 细粒度数据，满足未来建设 决策支持系统如：客户关系 管理、资产负债管理、管理 会计、信用风险管理、管理 驾驶舱等业务数据模型 支撑数据挖掘，支持各 业务部门进行客户价值分 析、客户行为分析、货款 偿还预测分析、客户信用 政策分析、业务关联分析 等数据挖掘应用 项目建设特点 - 多方参与，字段级加工 公司方 系 统 调 研 业务调研 技术调研 数据调研 源 业 务 系 统 业 务 字 段 业务人员 技术人员 技术讲解 技术答疑 技术相关 标准定义 技术相关 标准确认 源系统厂商 源系统讲解 资料提供 源系统答疑 业务答疑 业务相关 标准定义 业务相关 标准确认 数 标准化分析 据 标 标准映射 准 数 据 质 量 数据质量 检查分析 模型映射 整合层模型 ETL ETL 加工 结果验证 模型验证 项目建设特点 - 分工协作，共同推动（ 1 ） 本期项目建设实施过程 遵循 “技术先行，业 务配合”的原则，需要 技术部门主导、业务部 门解决数据“如何整合” 的问题，合作公司解决 数据“是什么”的问题 技术人员提交标准后， 对应的业务部门人员需 确认结果 , 对有异议的 结果进行修改和补充， 这个过程可能需要经过 多次反复确认，从而制 定最终的标准化产物并 发布，形成全行标准 项目建设特点 - 分工协作，共同推动（ 1 ） ? 业务部门解决数据“如何整合”的问题 ? 业务部门需要确认技术部门提出的整合规则（标准）是否合适，以便解决信息孤岛和准确性 问题，整合规则分为两个方面，分别为：系统间整合规则和系统内整合规则，确认内容如下： ? 对技术部门提出的，名称相同，业务含义相同的数据整合标准是否认可 ? 对技术部门提出的，名称不同，业务含义相同的数据整合标准是否认可 ? 对技术部门提出的，名称相同，业务含义不同的数据整合标准是否认可 ? 业务部门需要确认技术部门提出的标准定义是否准确、恰当、合适，以便解决业务定义和取数 口径不一致的问题，标准内容有： ? 标准信息分类（大类、小类） ? 标准名称和标准业务定义 ? 标准来源和依据 ? 标准间关系（业务关系） 基础标准产出物 项目建设特点 - 分工协作，共同推动（ 2 ） ? 合作公司解决数据“是什么”的问题 提供最新的完整的技术资料，主要包括操作手册和数据字典，对于调研过程当中的问题 给予及时的答疑，这些问题主要包括 ? 业务问题 ? 业务术语不明