数据中心质量保证方案

《数据中心质量保证方案》由会员分享，可在线阅读，更多相关《数据中心质量保证方案（8页珍藏版）》请在金锄头文库上搜索。

1、数据中心质量保证方案广东第二师范学院第一章 引言高校数据中心作为校情决策分析的数据来源，为保证数据中心的质量， 通常需要进行数据处理，主要包括以下几个重要的步骤：数据审查、数据清 洗、数据转换和数据验证四大步骤 .（一）数据审查该步骤检查数据的数量（记录数）是否满足分析的最低要求 ,字段值的 内容是否与调查要求一致，是否全面；还包括利用描述性统计分析 ,检查各 个字段的字段类型、字段值的最大值、最小值、平均数、中位数等，记录个 数、缺失值或空值个数等 .（二）数据清洗该步骤针对数据审查过程中发现的明显错误值、缺失值、异常值、可疑 数据，选用适当的方法进行“清冼”，使“脏”数据变为“干净”数据，

2、有 利于后续的统计分析得出可靠的结论。当然，数据清理还包括对重复记录进 行删除。（三）数据转换 数据分析强调分析对象的可比性，但不同字段值由于计量单位等不同 , 往往造成数据不可比 ;对一些统计指标进行综合评价时 ,如果统计指标的性 质、计量单位不同 ,也容易引起评价结果出现较大误差，再加上分析过程中 的其他一些要求，需要在分析前对数据进行变换，包括无量纲化处理、线性 变换、汇总和聚集、适度概化、规范化以及属性构造等。（四）数据验证 该步骤的目的是初步评估和判断数据是否满足统计分析的需要 ,决定是 否需要增加或减少数据量。利用简单的线性模型 ,以及散点图、直方图、折 线图等图形进行探索性分析，

3、利用相关分析、一致性检验等方法对数据的准 确性进行验证,确保不把错误和偏差的数据带入到数据分析中去。第二章数据质量的基本要素首先，如何评估数据的质量，或者说怎么样的数据才是符合要求的数 据？可以从4个方面去考虑，这4个方面共同构成了数据质量的4个基本要 素。2。1完整性数据的记录和信息是否完整，是否存在缺失的情况。数据的缺失主要有记录的缺失和记录中某个字段信息的缺失，两者都会 造成统计结果的不准确，所以完整性是数据质量最基础的保障，而对完整性 的评估相对比较容易。2。2致性数据的记录是否符合规范，是否与前后及其他数据集合保持统一。数据的一致性主要包括数据记录的规范和数据逻辑的一致性数据记录的

4、规范主要是数据编码和格式的问题，比如教工号是7位的数字、学号是11 位的数字，性别码包括2个类目、IP地址一定是用。分隔的4个0-255的 数字组成，及一些定义的数据约束，比如完整性的非空约束、唯一值约束等； 数据逻辑性主要是指标统计和计算的一致性，比如PV=UV，新用户比例在 0-1之间等。数据的一致性审核是数据质量审核中比较重要也是比较复杂的 一块。2。3 准确性数据中记录的信息和数据是否准确，是否存在异常或者错误的信息。导致一致性问题的原因可能是数据记录的规则不一 ,但不一定存在错误； 而准确性关注的是数据记录中存在的错误，比如字符型数据的乱码现象也应 该归到准确性的考核范畴 ,另外就是

5、异常的数值 ,异常大或者异常小的数值， 不符合有效性要求的数值，如学生数一定是整数、年龄一般在 1100 之 间、转化率一定是介于 0到 1的值等。对数据准确性的审核有时会遇到困 难，因为对于没有明显异常的错误值我们很难发现。2.4 及时性数据中心的数据及时性主要反映在数据交换和数据分析的时效性上。数据交换中部分业务数据的时效性要求极高，如人员岗位的变动及时到OA,资产的账单及时到财务等，其他及时性要求不高的数据交换也有时效的 要求：如 1 小时 、一天、三天等 .虽然说数据分析的实时性要求并不是太高,但并不意味着就没有要求, 数据分析可以接受当天的数据要第二天才能分析查看 ，但如果数据要延时

6、两 三天才能出来,或者每周的报告要两周后才能出来,那么分析的结论可能已 经失去时效性,同时,某些实时分析和决策需要用到小时或者分钟级的数 据,这些需求对数据的时效性要求极高。所以及时性也是数据质量的组成要 素之一.第三章 数据审查基于数据质量的4个要素，可以对数据进行审查，以评估数据是否满足 完整性、一致性、准确性和及时性这 4方面的要求，其中数据的及时性主要 跟数据的同步和处理过程的效率相关，更多的是通过监控ODI任务的方式来 保证数据的及时性，所以这里的数据审查主要指的是评估数据的完整性、一 致性和准确性.3.1完整性审查审查数据的完整性。首先是记录的完整性，一般使用统计的记录数和唯一 值

7、个数。比如图书管的每天借阅量是相对恒定的，大概在 1000本上下波动, 如果某天的借阅量下降到了只有 100本，那很有可能记录缺失了；或者网站 的访问记录应该在一天的 24小时均有分布,如果某个整点完全没有用户访问 记录，那么很有可能网站在当时出了问题或者那个时刻的日志记录传输出现 了问题；再如统计教师、学生的籍贯分布时，一般会包括全国的 32个省份 直辖市，如果统计的省份唯一值个数少于 32，那么很有可能数据也存在缺 失。完整性的另一方面,记录中某个字段的数据缺失，可以使用统计信息中的空 值(NULL )的个数进行审核。如果某个字段的信息理论上必然存在，比如教 师的所属单位、学生的班级等，那

8、么这些字段的空值个数的统计就应该是 0,这些字段我们可以使用非空(NOT NULL )约束来保证数据的完整性；对 于某些允许空的字段,比如教职工的职称信息不一定存在，但空值的占比基 本恒定，比如职称为空的教师比例通常在 10%20，我们同样可以使用统 计的空值个数来计算空值占比,如果空值的占比明显增大，很有可能这个字 段的记录出现了问题，信息出现缺失 .3。2一致性审查如果数据记录格式有标准的编码规则，那么对数据记录的一致性检验比 较简单，只要验证所有的记录是否满足这个编码规则就可以，最简单的就是 使用字段的长度、唯一值个数这些统计量。比如对教职工的工号是 7位数 字，那么字段的最长和最短字符

9、数都应该是 7;如果字段必须保证唯一,那么 字段的唯一值个数跟记录数应该是一致的，比如用户的身份证号、手机号； 再如地域的省份直辖市一定是统一编码的，记录的一定是“上海”而不是 “上海市、“浙江而不是“浙江省”，可以把这些唯一值映射到有效的 32 个省市的列表，如果无法映射，那么字段通不过一致性检验 .一致性中逻辑规则的验证相对比较复杂，很多时候指标的统计逻辑的一 致性需要底层数据质量的保证,同时也要有非常规范和标准的统计逻辑的定 义，所有指标的计算规则必须保证一致。我们经常犯的错误就是汇总数据和 细分数据加起来的结果对不上，导致这个问题很有可能的原因就是数据在细 分的时候把那些无法明确归到某

10、个细分项的数据给排除了，比如在细分学生毕业去向，如果我们无法将某些非直接进入的来源明确地归到升学、就业、 出国等这些既定的来源分类,但也不应该直接过滤掉这些数据，而应该给一 个“未知来源”的分类,以保证根据来源细分之后的数据加起来还是可以与 总体的数据保持一致。如果需要审核这些数据逻辑的一致性，我们可以建立 一些“有效性规则，比如A=B，如果C=B/A,那么C的值应该在0, 1的 范围内等,数据无法满足这些规则就无法通过一致性检验。3。3准确性审查数据的准确性可能存在于个别记录，也可能存在于整个数据集。如果整 个数据集的某个字段的数据存在错误，比如常见的数量级的记录错误 ,这种 错误很容易发现

11、，利用统计分析的平均数和中位数也可以发现这类问题。当 数据集中存在个别的异常值时,可以使用最大值和最小值的统计量去审核， 或者使用箱线图也可以让异常记录一目了然。还有几个准确性的审核问题，字符乱码的问题或者字符被截断的问题， 可以使用分布来发现这类问题，一般的数据记录基本符合正态分布或者类正 态分布，那么那些占比异常小的数据项很可能存在问题，比如某个字符记录 占总体的占比只有 0。1%，而其他的占比都在 3以上，那么很有可能这个 字符记录有异常。对于数值范围既定的数据 ,也可以有效性的限制,超过数据 有效的值域定义数据记录就是错误的 .如果数据并没有显著异常，但仍然可能记录的值是错误的，只是这

12、些值与正 常的值比较接近而已，这类准确性检验最困难，一般只能与其他来源或者统 计结果进行比对来发现此类问题 .第4章 数据清洗业务数据源所提供的数据内容不可能完美，存在着“脏数据 ,即数据有 空缺、噪音等缺陷。而且在数据中心的各数据之间，其内容也存在着不一致 的现象，为了减少这些“脏数据”对数据中心分析结果的影响程度，必须采 取各种有效的措施对其进行处理，这一过程称为“数据清洗 。4.1数据抽取完成之后的数据集所存在的问题4。1.1 不完整的数据 这一类数据主要是一些应该有的信息缺失，如教职工的所属单位、性 别、编制类别；主表与明细表不能匹配等。4.1.2错误的数据 这一类错误通常产生的原因有

13、两个：一、 业务系统不够健全，在接收输入后没有进行判断直接写入后台数 据库造成的，比如数值数据输成全角数字字符、字符串数据后面 有一个回车操作、日期格式不正确、日期越界等；二、 数据抽取的过程中产生的错误数据。4。1.3重复的数据对于这一类数据-特别是维表中会出现这种情况将重复数据记录的 所有字段导出来,让客户确认并整理。“脏数据会对建立的数据中心造成不良影响，扭曲从数据中获得的信 息,直接影响数据中心的运行效果,进一步影响数据挖掘及分析，最终影响决 策管理。因此,为了使数据中心的记录更准确、一致，消除重复和异常记录 就变得很重要，所以数据清洗工作是相当必要的。数据清洗作为数据处理的 一个重要

14、环节,在数据中心构建过程中占据重要位置。对于任何数据中心而言，数据清洗过程都是必不可少的。4.2数据清洗的步骤4.2.1 定义和确定错误的类型4.2.1。1数据审查 数据审查是数据清洗的前提与基础，通过详尽的数据审查来检测数据 中的错误或不一致情况，除了手动检查数据或者数据样本之外，还可以使用 一些分析工具或程序来获得关于数据属性的元数据 ,从而发现数据集中存在 的问题数据。4。2。1.2定义清洗转换规则 根据上一步进行数据分析得到的结果来定义清洗转换规则与工作流.根据数 据源的个数，数据源中不一致数据和“脏数据多少的程度,需要执行大量的数 据转换和清洗步骤。4。2.2搜寻并识别异常的数据4.

15、2。2.1检测数据异常 检测数据集中的数据异常，需要花费大量的人力、物力和时间，而且这个 过程本身很容易出错，尽量利用一些方法自动检测数据集中的数据异常，方法 主要有：基于统计的方法，聚类方法，关联规则的方法.4。2。2。2检测重复记录的算法 消除重复记录可以针对两个数据集或者一个合并后的数据集，首先需要检 测出标识同一个现实实体的重复记录，即匹配过程。检测重复记录的算法主要 有:基本的字段匹配算法，递归的字段匹配算法，Cosine相似度函数。4。2。3纠正所发现的错误 在数据源上执行预先定义好的并且已经得到验证的清洗转换规则和工作 流。当直接在源数据上进行清洗时，需要备份源数据，以防需要撤销

16、上一次或 几次的清洗操作.清洗时根据“脏数据”存在形式的不同,执行一系列的转换步 骤来解决数据质量问题.为处理单数据源问题并且为其与其他数据源的合并做好 准备，一般在各个数据源上应该分别进行几种类型的转换，主要包括: 4.2.3。1 从自由格式的属性字段中抽取值（属性分离）自由格式的属性一般包含着很多的信息，而这些信息有时候需要细化成多 个属性，从而进一步支持后面重复记录的清洗.4.2.3.2 确认和改正这一步骤处理输入和拼写错误，并尽可能地使其自动化。基于字典查询的 拼写检查对于发现拼写错误是很有用的。4.2。3.3标准化为了使记录实例匹配和合并变得更方便，应该把属性值转换成一个一致和 统一的格式。4.2。4干净数据回流当数据被清洗后，干净的数据应该替换原来的“脏数