《数据管控平台建设》由会员分享，可在线阅读，更多相关《数据管控平台建设（10页珍藏版）》请在金锄头文库上搜索。
1、数据管控平台建设 2 数据管控总体规划 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 管 数据数据 形态形态 数据数据 规范规范 数据数据 质量质量 管控体系中的数据标准、数据质量和元数据之间有着紧密的关系，三者的关系如下： 数据标准向元数据提供业务元数据的标准定义，并可以通过元数据平台进行维护； 数据标准定义了符合进仓数据的标准和依据，指导数据质量进行有效的质量监测和检查；另 一方面，通过数据质量具体的操作来促进数据标准的执行情况； 元数据作为数据质量的数据提供者，向数据质量提供包括表、字段、代码等元数据对象及其 属性定义，能够帮助仓库的使用者更好的发现数据
2、的质量问题； 3 元数据平台管理体系架构 4 元数据的基础功能 元数据查询浏览：侧重于对元数据的内容展现和查询方式支持 元数据数据分析：侧重于基于元数据的分析功能，从数据中提取对技术、业务用户有用的信息 元数据管理：元数据平台的管理功能 BI元数据和企业级元数据的互动：企业级元数据经ETL平台加工整理进入仓库，形成BI元数据， 可通过血缘分析和影响分析功能查看两者的互动关系； 5 元数据管理平台实施步骤 了解和评估光大目前元数据的实施和使用情况 确定元数据功能需求和数据涵盖范围 确定元数据平台的部署环境 设计开发元数据产品（包括元模型、应用架构等）和适配器 元模型存储库的创建和初始化 元数据应
3、用的部署 和光大其它资源集成，比如统一门户Portal 技术元数据的加载：通过技术元数据适配器，从仓库环境以自动或者手工方式，定 时或者按需加载技术元数据 业务元数据的加载：整理业务元数据，并通过业务元数据适配器导入；业务元数据 的加载需要人工参与 功能需求的新增开发 界面的优化调整 元数据的数据维护：通过元数据平台前端进行人工维护，也可通过适配器进行批量 维护 元数据的功能维护：协调元数据平台开发人员进行功能调整和完善 6 数据质量平台架构 管理配置平台：质量规则的管理维护，支持用户界面手工编辑方式进行维护或者文件方式批量导入 检查执行平台：数据质量知识库中抽取相关质量规则，以检查脚本为载体
4、，通过ETL服务器任务调度，完 成数据检查，并将检查结果保存进数据质量知识库 质检报告展示平台：以WEB页面或者文件方式查看质量检查结果 7 数据质量检查工作流程 步骤1，建立质量检查规则：通过质量规则配置管理平台手工配置或者通过批量导入功能将 质检规则导入数据质量知识库； 步骤2，检查任务发布：通过检查执行平台，从数据质量知识库中提取检核规则，以脚本方 式实现，检查任务为载体，并将检查任务发布到ETL服务器上并作为ETL任务一部分执行；如 果采用手工方式检查数据，此步骤可略过； 步骤3，数据质量检测：通过检查执行平台的调度功能，运行质检任务，并将数据质量检查 结果返回数据质量知识库；如果采用
5、手工方式检查数据，可人工从知识库提取检核规则并执 行，检查结果也需通过质量平台维护进入知识库； 步骤4，检核结果查看：通过质检报告展示平台，通过平台用户界面或文件方式查阅数据质 量检查结果； 8 数据质量监控流程 发现质量问题后，数据管理组分析问题，审阅数据质量报告； 数据生产者追溯问题原因，修正相关数据； 业务责任组判断现有监控方式、流程能否发现该问题，并提出解决方案; 数据管理组审批并执行方案，并对修正后的数据进行验收 9 数据质量管理办法 Tex t 1.策略制定策略制定 3. 数据监控数据监控 5. 效果评估效果评估 2. 评估方法评估方法 制定制定 4. 改进措施改进措施 策略制定：制定数据质量管理办法，包括数据质量稽核方法； 评估方法制定：定义评估数据质量的指标及计算方法； 数据监控：通过数据质量管理工具对数据质量状况进行监控，及时发现问题并提交 相关人员解决； 改进措施：针对发现的数据质量问题，制定相关改进方法； 效果评估：对于数据质量改进效果，定期进行评估。 10 谢谢！
