数据治理-数据质量管理(BDQ)-操作手册.pdf

数据质量平台_操作手册(v3.1) 数据质量平台（v4.0） 操作手册 北京东方国信科技股份有限公司 Beijing Orient National Communication Science & Technology Ltd. 北京市朝阳区来广营创达三路一号院 邮编: 100102 电话：010 历史记录 版本 修改时间 修改内容 V1.3.3 2015/10/10 1、新增稽核问题血缘关系功能 V1.3.4 2016/1/29 1. 新增系统虚拟化，即是支持多租户 2. 新增稽核结果、问题权限和工单界面配置 3. 新增稽核任务调度界面配置 V1.3.5 2016/12/20 1. 新增波动性阈值参数化配置 2. 新增身份证国标校验（支持oracle mysql db2） 3. 新增问题模板查询 4. 新增bdi添加稽核节点时对稽核工单和稽核库的验证功能 V1.3.6 2017/3/23 1. 新增稽核结果明细描述模板 2. Bdi中新增稽核节点的后期变量 Maven1.0 2017/6/12 1. 新增稽核任务的调度 2. 支持规则的导入导出 3. 新增对xcloud的稽核 maven3.0 2017/9/1 1、稽核资源与元数据资源操作合并 2、稽核任务和稽核节点加入高级配置部分原稽核资源的配置移入高级配置中 3、支持postgreSql、impala数据库稽核 4、修复部分规则BUG 5、支持华为hive、星环数据库 6、支持华为安全连接、kerberos认证连接 maven3.1 2017/12/28 1、新增规则模板列表页面，重构规则结构，提高规则加载和保存速度。 2、新增规则模板历史版本列表，支持查看和恢复任意历史版本 3、新增草稿箱列表，可查看操作当前目录下的所有草稿版本规则模板 4、空值校验升级改造，可配置一条空值规则同时稽核多列。 5、格式校验规则改造，除了默认的校验模板之外，支持用户自定义属于自己的格式模板用于格式校验。 6、新增两种规则类型，记录数校验和值域校验。值域校验又细分为范围校验和极值校验。 7、新增规则引入功能，新增或修改规则模板时，可以从外部文件或者内部其他规则模板引入可重用的规则。 8、支持逻辑模型、KAFKA消息、hdfs文件添加稽核规则。 9、规则编辑页面不常用的选项默认隐藏，减少用户操作。 10、新增对配置的规则进行检索的功能。 11、支持KAFKA和HDFS结构的实时稽核。 目录 1 引言 1.1 编写目的 1.2 背景 1.3 名词定义 2 系统概述 2.1 系统介绍 2.2 系统功能 3 使用说明 3.1 系统虚拟化 3.1.1 租户管理 3.2 稽核规则管理 3.2.1 稽核规则模板 3.2.2 稽核规则说明 3.2.3 稽核规则统计 3.2.4 稽核规则查询 3.3 KAFKA、HDFS实时稽核 3.3.1实时场景 3.3.2元数据添加对应资源 3.3.3扫描文件配置结构 3.3.4添加实时稽核规则 3.3.5添加流式映射启动工作流 3.3.6查看storm运行情况 3.4 稽核启动执行 3.4.1 Etl调度启动稽核 3.4.2 云化Etl启动稽核 3.4.4 稽核任务 3.5 稽核结果、问题和工单配置以及问题模板和稽核结果明细描述模板的配置 3.5.1 稽核结果、问题和工单配置 3.5.2 稽核结果明细描述模板 3.5.3 问题模板的配置 3.6 稽核结果管理 3.6.1 稽核结果查询 3.6.2 稽核结果明细查询 3.7 稽核问题管理 3.7.1 稽核问题明细查询 3.7.