政务大数据 第1部分：通用数据采集规范.pdf

DB34/TXXXX—2022 政务大数据 第1部分：通用数据采集规范 1 范围 本文件规定了政务大数据通用数据采集的术语和定义、数据采集内容、数据采集要求、数据采集方 式和数据采集过程。 本文件适用于政务大数据系统的数据采集、规划设计，其他信息化领域的数据采集也可参考使用。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T22239 信息安全技术 网络安全等级保护基本要求 GB/T35274 信息安全技术 大数据服务安全能力要求 GB/T36344 信息技术 数据质量评价指标 GB/T36625.3-2021 智慧城市 数据融合 第3部分：数据采集规范 DB34/TXXXX.2 政务大数据 第2部分：存储规范 DB52/T1541.2-2020 政务数据平台 第2部分：数据归集规范 3 术语和定义 下列术语和定义适用于本文件。 3.1 数据采集 dataacquisition 从数据源中得到原始数据，通过标准化处理并转化为满足数据共享与利用需求的过程。 [来源：GB/T36625.3—2021,3.2] 3.2 数据探查 dataprofiling 对数据的结构、内容、关系和来源进行调研、探查，以达到确定数据采集通道畅通、认识数据的目 的。 [来源：DB52/T1541.2-2020,3.10，有修改] 3.3 原始库 operationaldatastore 存储由源系统采集而来、未经处理的原始数据。 [来源：DB52/T1541.2-2020,3.2，有修改] 3.4 规整库 datawarehousedetail 存储经过清洗加工规整后符合质量要求的可复用的标准数据。 [来源：DB52/T1541.2-2020,3.3，有修改] 1 DB34/TXXXX—2022 4 数据采集要求 4.1 通用要求 4.1.1 应记录并保留归集过程中历史数据的变化和移动情况，确保数据采集的可追溯性。 4.1.2 数据采集过程中不应造成数据的缺失和遗漏，确保数据的完整性。 4.1.3 应如实准确处理并记录数据，不应存在异常或错误数据，不应虚构或篡改数据，确保数据的准 确性。 4.2 质量要求 4.2.1 数据采集质量要求应符合GB/T 36344的要求，在数据采集周期内，应保证数据的规范性、完 整性、准确性、一致性、时效性、可访问性、可追溯性。 4.2.2 应根据国家、省级及本级政府数据质量控制要求，选择适合的数据质量评价方法对数据质量进 行定量评价，一般可分为全数检查和抽样检查： ——针对国家强制要求、特殊要求、其他可能导致严重影响的数据质量项目进行全数检查； ——针对质量比较稳定、数据量较大、检查费用与时间有限的情况进行抽样检查。 4.3 安全要求 4.3.1 数据采集安全保护要求应符合GB/T35274 和GB/T22239的规定，对采集数据进行分级分类 管理，并根据数据安全措施和技术手段，对数据采集过程进行有针对性的保护，个人信息、敏感数据和 重要数据应加强安全管控措施。 4.3.2 数据采集安全贯穿于数据采集整个过程，在数据采集周期内，应符合数据所属或主管部门的安 全要求，按数据安全及安全控制要求，实现授权访问、可定位溯源、数据加密、安全审计及监测等。 4.3.3 对来源于不同网络环境的原始数据，应根据以下要求进行： ——原始数据位于电子政务外网环境的，对数据直接采集； ——原始数据位于业务专网环境的，建立与电子政务外网之间的安全传输通道，采取必要的安全 措施保障数据传输安全性，对业务专网环境数据的采集； ——原始数据位于互联网环境的，建立与电子政务外网之间的安全传输通道，采取必要的安全措 施保障数据传输安全性，