《元数据管理与数据质量监控概要》由会员分享，可在线阅读，更多相关《元数据管理与数据质量监控概要（36页珍藏版）》请在金锄头文库上搜索。
1、元数据管理 数据质量监控 北京瑞斯泰得数据技术开发有限公司 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 项目背景 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 功能概览 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 S
2、hanghai 8621 53060345 Guangzhou 8620 38240385 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 五大类元数据五大类元数据 管理型管理型数据库数据库 业务业务 操作型操作型VSSVSS文档文档 pS
3、erver pApplication pftp ptelnet p p指标 p维度 p纬表 p字典基本表 p字典数据表 p数据库 p表 p视图物化视图 p存储过程 p字段 p pETL p报表 p数据接口 p接口文件 元数据的类型 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 元数据管理 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 5306034
4、5 Guangzhou 8620 38240385 元数据管理 数据库元数据 基本操作 增 删 改 查 加入到 个人文件夹 加入到 公共文件夹 表 存在性实时查询 字段备注查询 字段备注保存 表数据预览 影响分析 血统分析 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzho
5、u 8620 38240385 元数据管理 管理型元数据 基本操作 编辑 删除 加入到 个人文件夹 加入到 公共文件夹 工作桌面支持 自动登录netterm 自动登录plsql Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 元数据管理 业
6、务元数据 增加步骤 添加对象类别 例如 统计周期 添加对象属性类别 例如 字符型 添加对象属性 例如 描述 新增一个具体的元数据 例如 月 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 元数据管理 数据字典 基本操作 浏览 增加 编辑 删除 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 3824038
7、5 元数据管理 SQL脚本元数据 基本操作 编辑 删除 工作桌面支持 用UltraEdit 打开脚本文件和日志文件 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 血统分析 功能描述 通过对元数据关系的回溯 以图形方式展现指定元数据 的数据血统和加工过程 作用 通过该功能 业务人员可以清楚的了解指标等关键数据的来 龙去脉 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shang
8、hai 8621 53060345 Guangzhou 8620 38240385 影响分析 功能描述 通过分析元数据之间的关系 以图形 方式直观展现指定实体对全局的影响 如某数据 库表的变更将影响到哪些ETL 数据库表等 作用 通过影响分析 技术人员可掌握各程序 数据之间的关系和相互影响 更好确定系统变更 所涉及的范围 避免遗漏和误操作 从而降低维 护人员的工作量和出错的机率 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 数据质量六大评
9、估标准 哪些数据是以非 标准格式存储的 哪些数据值提供 了冲突信息 哪些数据不能正确 描述对象的属性或 已经过期 那些数据根本 就不存在 关键数据是否及 时传送到目标应 用 哪些数据记录时 重复的记录 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 数据质量监控 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 86
10、20 38240385 数据质量监控 质量点监控 功能描述 监控某个生产流程环节 查看该环节的质量指标是否符合 要求 作用 保证数据在生产过程的某个生产环节的正确性和一致性 规则维护 定义SQL 告警条件 任务调度 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 数据集维护 规则维护 标准探测 模式探测 分布探测 日期探测 任务调度 数据质量监控 数据剖析 Beijing Stats Data Mining Co Ltd Beijing 8
11、610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 p探测出检查对象的数据模式 方便做数据分析 并能根据探出的数 据模式自动生成数据规则表达式 产生数据校验规则 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 数据质量监控 数据指标 数据集维护 规则维护 统计周期 度量设定 告警条件 任务调度 Beijing Stats Data Mining Co Ltd Beijing
12、 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 数据质量监控 表空间监控 功能描述 监控数据库表空间使用量是否超过指定的限额或百分比 作用 提前获得表空间不足的信息 以便及时处理 防止由于空 间不足引起的异常发生 告警条件 可用空间小于N兆 使用率超过M 告警责任人 任务调度 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 Beijing Stats Data Mi
13、ning Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 表空间监控结果 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 数据质量监控 表监控 表选择 任务调度 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8
14、620 38240385 数据质量监控 SQL脚本监控 告警条件 错误关键字 过滤关键字 超时设置 超时时长 任务调度 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 任务调度中心 Beijing Stats Data Mining Co
15、Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 任务中心 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 日志中心 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 系统管理 Beijing
16、Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 工作区 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 Beijing Stats Data Mining Co Ltd Beijing 8610 51722052 Shanghai 8621 53060345 Guangzhou 8620 38240385 p 版本控制 p 元数据搜索 p 分主题管理 公共文件夹 p 个人文件夹 p 元数据导出 p 元数据批量导入 遵循CWM规规范 发现发现 元数据源发发生变变化及时时告警 可以手工干预预批量导导
