数据质量体系结构介绍.docxVIP

数据质量体系结构介绍 作者：杜绍森编译出处：171682022-05-12 09:14 数据质量管理过程是一个没有终点的过程，也没有统一架构原则。这里提供的是一种针对数据仓库项目可以简单实现 的、可扩展的、一种相对照较完善的捕捉数据质量事件，同时对其进行量度和控制的方法。 本文提供一个在数据仓库项目的实施过程中，可增量添加的、可扩展的数据 质量体系结构，它可以保证以最小的对前期投资的影响，并增加到存在的数据仓 库和数据集成环境中。使用这个架构，也可以实现项目系统化的向 质量 管理体系的扩展。这个架构的设计也是针对数据仓库领域缺乏的公开的、一致的 说明数据质量的问题来进行组织的。 有三股力量已将对将数据集成、数据质量的关注呈现在组织管理层优先执行 活动中。它们是：一、普遍地认为如果仅能看到数据，而无法确定其质量等级， 就无法更好的管理的业务的认识，正在持续增长。绝大多数的知识工作者相信 对自身的工作职能来说，数据是至关重要的二、绝大多数的全球化的，分布式 的组织机构逐步形成共识，集成份散在全球各地的业务数据是企业竞争力的必要 因素三、急剧增长法律符合性的要求也是一个重要的因素。 仅这三个方面的驱动力，对于强调数据质量的问题显然还并不充分。幸运的 是， 还有一股强大的动力正来自除了 部门以外的业务人员。业务人员正在逐 步的认识到数据质量问题是一个严重的，需要高昂的成本的问题，这样，组织主 动性地提供数据质量就有了更大的动力。但是，多数的业务人员可能并不能彻底 了解数据质量问题产生的原因，找到提高数据质量的方法。有时他们认为数据质 量问题主要是部门操作层面的问题。在这样的情况下， 部门就应该更加认 识到：数据质量问题不可能仅通过 部门来单独改善，更需要业务部门的积极、 主动参预。事实上，数据质量领域一个极端的看法认为：数据质量问题几乎和 没有任何的关联。 在关注数据质量时，如果仅仅要求前台的操作人员在输入数据时保持足够的 细心，或者要求销售人员在录入定单的客户和产品信息时保持足够的子细显然都 是不够的。我们还可以通过在数据的录入界面上附加更加严格的技术性约束来 避免和修复数据的质量问题。这些方法提供了一些修复或者避免数据质量问题 的线索， 题。例如：在一个零售银行，身份证号码是空白的或者是填入了一些垃圾信息。 一个不错的想法是增加一个诸如必须满足 的技术限制，系统不接受 任何不满足格式约束的输入信息。在这种约束下，身份证号码可能再也不为空或 者任何字符数据，但前台的数据录入人员就会由于完成后续工作的需要而被强 迫录入有效的身份证号码，但在并没有客户有效身份证号码的情况下，他们只 好使用了自己的身份证号码。 建立质量传统、重建运行过程 众所周知，如果没有来自组织高层对建立企业范围的数据质量体系的承诺， 技术人员说明的数据质量问题尝试往往很难发挥作用。在日本，汽车创造商通常 将控制数据质量的态度渗透到组织的各个层面，从 到一线的生产线人员，从 而保证了其准确、高效的决策效率。为了说明管理层对建立数据质量文化的重要 性，我们使用一个大型的连锁药店作为例子来说明，在这家药店，采购部门和数 量庞大的供应商保持合作、供应关系。在采购部，采购助理将每一个采供来的药 物录入到系统之中，这些信息包含大量的属性。这样采购助理会面对巨大的 工作量，他们不得不评估一个小时他们可以录入多少的数据，多长期才可以将 这些信息录入完毕。同时，采购助理也没有清晰的概念，谁将使用那些数据，那 些数据对那些使用者更加重要。有时，采购助理会由于明显的输入错误受到指责， 但更麻烦的情况是，采购助理拿到的数据本身就是不完整或者不可靠的。例如： 对药物的毒性水平，没有规范化的标注，长期以来，不同的药品，不同的品类 ,这 个指标都是各不相同的。那末，这个药店应该如何提高数据质量呢 这里 有一个 步骤的数据质量模版，它不仅可以用到这个药店，也可以应用到其他任何一个 希翼对数据质量进行管理的组织。这个步骤包括： 获得来自组织高层对数据质量文化的承诺 在执行层面上，形成保证数据质量的工作流程 对提高数据录入的环境有所投资 提高应用间集成性 提高 的团队理解 提升部门间的协作 公开的表彰数据质量提升的事件 提供持续的过程，不断的量度和提升数据质量 从上面我们可以看到，在这个药店，需要一些资金用于修改数据数据录入系 统，为采购助理提供一些录入时的选择和上下文提示。公司的管理层也需要明确 地强调采购助理工作的重要性，指明采购助理的工作是公司各个层面决策正确、 有效性的基础。采购助理的辛勤工作应该受到来自管理层的公开的表彰，并进行 奖励。从而达到实现团队的 互相了解和欣赏。 在执行层的支持和组织框架就需之后，就需要选用特定的技术方案。后面， 我们将讨论如何选择、使用恰当的技术来支持数据质量目标