《元数据管理与数据质量监控概要课件》由会员分享，可在线阅读，更多相关《元数据管理与数据质量监控概要课件（36页珍藏版）》请在金锄头文库上搜索。
1、元数据管理&数据质量监控北京瑞斯泰得数据技术开发有限公司Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385项目背景Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385功能概览Beijing Stats Data Mining Co. Ltd.Beijing (8610)517220
2、52 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385五大类元数据管理型管理型数据库数据库业务业务操作型操作型VSSVSS文档文档p
3、ServerpApplicationpftpptelnetp p指标p维度p纬表p字典基本表p字典数据表 p数据库p表p视图物化视图p存储过程p字段p pETLp报表p数据接口p接口文件 元数据的类型Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元数据管理Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou
4、 (8620)38240385元数据管理-数据库元数据基本操作增、删、改、查加入到“个人文件夹”加入到“公共文件夹”表存在性实时查询字段备注查询字段备注保存表数据预览影响分析血统分析Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)3824038
5、5元数据管理-管理型元数据基本操作编辑、删除加入到“个人文件夹”加入到“公共文件夹”工作桌面支持自动登录netterm自动登录plsqlBeijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元数据管理-业务元数据增加步骤添加对象类别，
6、例如：“统计周期”添加对象属性类别，例如：“字符型”添加对象属性，例如：“描述”新增一个具体的元数据，例如：“月”Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元数据管理-数据字典基本操作浏览增加编辑删除Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385元数据管理-SQL脚本
7、元数据基本操作编辑删除工作桌面支持用UltraEdit 打开脚本文件和日志文件Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385血统分析功能描述：通过对元数据关系的回溯，以图形方式展现指定元数据的数据血统和加工过程。作用：通过该功能，业务人员可以清楚的了解指标等关键数据的来龙去脉。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)5306034
8、5 Guangzhou (8620)38240385影响分析功能描述：通过分析元数据之间的关系，以图形方式直观展现指定实体对全局的影响，如某数据库表的变更将影响到哪些ETL、数据库表等。作用：通过影响分析，技术人员可掌握各程序、数据之间的关系和相互影响，更好确定系统变更所涉及的范围，避免遗漏和误操作，从而降低维护人员的工作量和出错的机率。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量六大评估标准哪些数据是以非标准格式存储的？
9、哪些数据值提供了冲突信息？哪些数据不能正确描述对象的属性或已经过期？那些数据根本就不存在？关键数据是否及时传送到目标应用？哪些数据记录时重复的记录？Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量监控Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量监控-质量点
10、监控功能描述监控某个生产流程环节，查看该环节的质量指标是否符合要求。作用保证数据在生产过程的某个生产环节的正确性和一致性。规则维护定义SQL告警条件任务调度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据集维护规则维护标准探测模式探测分布探测日期探测任务调度数据质量监控-数据剖析Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060
11、345 Guangzhou (8620)38240385p探测出检查对象的数据模式，方便做数据分析，并能根据探出的数据模式自动生成数据规则表达式，产生数据校验规则。Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量监控-数据指标数据集维护规则维护统计周期度量设定告警条件任务调度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060
12、345 Guangzhou (8620)38240385数据质量监控-表空间监控功能描述监控数据库表空间使用量是否超过指定的限额或百分比。作用提前获得表空间不足的信息，以便及时处理，防止由于空间不足引起的异常发生。告警条件可用空间小于N兆使用率超过M%告警责任人任务调度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Sha
13、nghai (8621)53060345 Guangzhou (8620)38240385表空间监控结果表空间监控结果Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量监控-表监控表选择任务调度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385数据质量监控-SQL脚本监控
14、告警条件错误关键字、过滤关键字超时设置超时时长任务调度Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385任务调度中心Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052
15、Shanghai (8621)53060345 Guangzhou (8620)38240385任务中心Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385日志中心Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385系统管理Beijing Stats Data Mining Co.
16、Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385工作区Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385Beijing Stats Data Mining Co. Ltd.Beijing (8610)51722052 Shanghai (8621)53060345 Guangzhou (8620)38240385p版本控制版本控制p元数据搜索元数据搜索p分主题管理（公共文件夹）分主题管理（公共文件夹）p个人文件夹个人文件夹p元数据导出元数据导出p元数据批量导入元数据批量导入遵循遵循CWMCWM规范范发现元数据源元数据源发生生变化及化及时告警告警可以手工干可以手工干预批量批量导入入过程程其它功能
