2022公共数据归集指南

公共数据归集指南 目 次 1 范围 1 2 规范性引用文件 1 3 术语和定义 1 4 基本原则 2 5 归集方式 2 6 考虑要素 2 II 公共数据归集指南 1 范围 本文件描述了公共数据归集的基本原则、归集方式和考虑要素等内容。 本文件适用于公共数据管理中的数据归集的规划、实施、评价、审计、报告和持续改进。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 DB33/T 2351—2021 数字化改革 公共数据分类分级指南DB33/T 2359—2021 公共数据交换技术规范 DB33/T 2426—2022 公共数据元管理规范 DB3310/T 90—2022 公共数据安全可信保障指南 3 术语和定义 下列术语和定义适用于本文件。 3.1 公共数据 public data 国家机关、法律法规规章授权的具有管理公共事务职能的组织，在依法履行职责和提供公共服务过 程中获取的数据资源以及法律法规规章规定纳入公共数据管理范围的其他数据资源。 [来源：DB33/T 2351—2021，3.1] 3.2 数据收集 data collection in government department 公共管理和服务机构按照法定权限、范围、程序和标准规范，收集、汇集、整理数据的行为和过程。 3.3 数据归集 data aggregation from government department 公共数据主管部门面向公共管理和服务机构，对公共数据进行收集、汇聚、整合的行为和过程。 3.4 数据目录 data catalog 3 以核心元数据为主要描述方式，按照资源分类体系对公共数据进行有序排列的一组信息，用以描述 公共数据的特征，以便对公共数据进行检索、定位与获取。 [来源：DB33/T 2349—2021，3.4] 4 基本原则 公共数据归集宜遵循以下基本原则： ——合规性：按照法定职责和归集标准，获取公共管理和服务机构依法收集的数据； ——准确性：公共数据应真实反映客观事物的状态； ——完整性：明确数据归集的范围、内容及目标，数据归集宜覆盖项目所规定的内容，不宜造成数 据的缺失和遗漏； ——时效性：明确数据归集的频率和方式，实现数据的动态更新； ——安全性：加强公共数据归集过程中的安全保障。 5 归集方式 5.1 离线交换 实时性低、数据量少的数据，宜以静态文件的方式，通过离线导入实现数据的归集。 5.2 库表交换 实时性较高、数据量较大的数据，宜以数据库交换的方式，通过分批分次实现数据的归集。 5.3 数据高铁 实时性高、数据量大的数据，宜以数据高铁的方式，通过日志采集和解析实现数据的归集。 6 考虑要素 6.1 业务要素 6.1.1 需求管理：公共管理和服务机构可通过共享机制向公共数据主管部门提交数据需求清单，由公 共数据主管部门与相关公共管理和服务机构协商归集。 6.1.2 审核管理：公共数据主管部门对数据目录和数据元的注册、更新与注销进行审核。 6.1.3 质量管理：公共数据主管部门、公共管理和服务机构宜建立数据全流程质量管控体系，加强数 据质量事前、事中和事后的监督检查，实现问题数据可追溯、可定责。 6.1.4 纠错管理：公共数据主管部门宜建立数据质量校验机制，对收集的公共数据进行程序化质量校 验；数源单位通过公共数据平台数据处理系统，整改问题数据并更新、归集。 6.2 技术要素 6.2.1 数据目录：公共数据主管部门宜遵循 DB33/T 2349—2021，组织编制本级公共数据目录，并报上一级公共数据主管部门审核。 6.2.2 数据元：对数据项的标准中文名、英文名、区域、权威单位、标准分类、枚举值等属性进行管 理，可参照 DB33/T 2426—2022。 6.2.3 数据字典：数据值转换时宜保持语义一致化表达，明确权威数据项值域，形成统一数据标准。 6.2.4 数据格式：公共数据主管部门与公共管理和服务机构宜指明源数据与目标数据的技术格式考虑 要素，如最大字符、最小字符、长度等，具体可参照 DB33/T 2349—2021。 6.2.5 数据标识：收集公共数据宜分别以下列号码或代码作为必要标识： a) 居民身份证号码或个人其他有效身份证件号码； b) 法人统一社会信用代码； c) 非法人组织统一社会信用代码或其他识别代码。 6.2.6 数据分类：宜参照 DB33/T 2351—2021，基于数据元所描述的内容、属性、类型进行分类分级。 6.2.7 数据资源库：基于 DB33/T 2426—2022 标准形成全市统一的数据资源库，支持部门快速检索查询现有数据，主要包括数据元库和数据集库。 6.3 系统要素 6.3.1 架构设计：公共数据主管部门宜参照 6.1 的业务要素，构建统一的技术架构以保障公共数据的互操作性。 6.3.2 数据交换：公共管理和服务机构按照交换规范和数据目录，对已有数据增加时间戳、唯一标识、 数据版本和交换标记，满足数据交换操作、数据交换跟踪和审计。 6.3.3 数据仓：公共管理和服务机构宜依托公共数据平台建立数据仓，实现自有业务数据和批量共享 数据的存放、治理、计算、分析和利用。 6.3.4 数据探查：公共数据主管部门宜开展数据目录动态监测，实时发现公共管理和服务机构数据表 元数据的变化情况，实现数据目录动态化。 6.3.5 数据图谱：公共数据主管部门宜建立数据资产管理系统，对数据收集、数据归集、数据清洗和 数据共享等环节的整体情况进行跟踪分析，提高归集数据的使用效率。 6.4 安全要素 6.4.1 社会责任：公共数据主管部门、公共管理和服务机构在数据收集和归集中宜遵守社会公德和伦 理道德，履行数据安全保护义务，承担社会责任，不损害个人、组织的合法权益。 6.4.2 数据安全：公共数据主管部门与公共管理和服务机构建立数据收集和数据归集安全保障体系， 可参照 DB3310/T 90—2022。 6.4.3 风险管理：公共数据主管部门与公共管理和服务机构在数据收集和归集中宜了解潜在风险，进 行风险评估并制定管控策略。