物联网数据质量评价指标、层次分析法确定指标权重

GB/T XXXXXXXXX 7 A A 附录A （规范性）数据质量评价指标 表A.1给出了数据质量评价指标体系设计示例。表A.1数据质量评价指标体系设计示例 一级指标 二级指标 确定方法 准确性 内容准确率 数据集内容表述正确的元素数量与元素总数量之比 X=A/B 式中：A=数据集内容表述正确的元素数量 B=数据集元素总数量 精度准确率 数据项精度符合标准规范的元素数量与元素总数量之比 X=A/B 式中：A=数据项精度符合标准规范的元素数量 B=数据项元素总数量 记录重复率 数据集重复记录条数与记录总条数之比 X=A/B 式中：A=数据集重复记录条数 B=数据集记录总条数 脏数据出现率 数据集无效数据（非法字符和业务含义错误的数据）元素数量与元素总数量之比 X=A/B 式中：A=数据集无效数据（非法字符和业务含义错误的数据）元素数量 B=数据集元素总数量 一致性 元素赋值一致率 数据集具有相同含义数据（同一时点、存储在不同位置）赋值一致的元素数量与元素总数量之比 X=A/B 式中：GB/T XXXXXXXXX 8 A=数据集具有相同含义数据（同一时点、存储在不同位置）赋值一致的元素数量 B=数据集元素总数量 完整性 元素填充率 数据集赋值的元素数量与元素总数量之比 X=A/B 式中：A=数据集赋值的元素数量 B=数据集元素总数量 记录填充率 数据集赋值完整的记录条数与记录总条数之比 X=A/B 式中：A=数据集赋值完整的记录条数量 B=数据集记录总条数 数据项填充率 数据集赋值完整的数据项数量与数据项总数量之比 X=A/B 式中：A=数据集赋值完整的数据项数量 B=数据集数据项总数量 规范性 值域合规率 数据项值域符合标准规范的元素数量与元素总数量之比 X=A/B 式中：A=数据项值域符合标准规范的元素数量 B=数据项元素总数量 元数据合规率 数据集符合元数据规范的元素数量与元素总数量之比 X=A/B 式中：A=数据集符合元数据规范的元素数量 B=数据集元素总数量 格式合规率 数据集格式符合标准规范的元素数量与元素总数量之比 X=A/B 式中：A=数据集格式符合标准规范的元素数量 GB/T XXXXXXXXX 9 B=数据集元素总数量 安全合规率 数据集符合适用法律法规和行业安全规范的元素数量与元素总数量之比 X=A/B 式中：A=数据集符合适用法律法规和行业安全规范的元素数量 B=数据集元素总数量 时效性 周期及时性 数据集赋值满足业务周期频率要求的元素数量与元素总数量之比 X=A/B 式中：A=数据集中赋值满足业务周期频率要求的元素数量 B=数据集元素总数量 实时及时性 数据集赋值延迟时间满足业务要求的元素数量与元素总数量之比 X=A/B 式中：A=数据集赋值延迟时间满足业务要求的元素数量 B=数据集元素总数量 可访问性 可访问度 数据集请求访问成功的元素数量与请求访问元素总数量之比 X=A/B 式中：A=数据集请求访问成功的元素数量 B=数据集请求访问元素总数量 GB/T XXXXXXXXX 10 B B 附录B （资料性）层次分析法确定指标权重 1.建立层次模型 在深入分析数据业务的基础上，建立目标层、准则层和因素层层次结构，利用数据质量评价指标构建层次结构和因素从属关系。目标层：决策的目的、要解决的问题；准则层：考虑的主因素、决策的准则；因素层：决策时的备选方案，也可是准则层的子因素。2.构建判断矩阵 利用一致矩阵法构建判断矩阵，即把所有因素采用相对尺度，分别放在一起两两比较，判断矩阵标度反应同层次不同因素之间的重要程度，判断矩阵的元素标度及其含义见表1。表 1 判断矩阵标度及其含义 标度,含义 1 表示两个指标之间同等重要 3 表示两个指标之间，比稍微重要 5 表示两个指标之间，比明显重要 7 表示两个指标之间，比非常重要 9 表示两个指标之间，比极其重要 2,4,6,8 介于上述判断的中值 倒数 因素与比较得,，则因素与比较得,按照建立的层次模型，每一层因素以相邻上一层因素为基准，按照表 1 标度取值方法两两比较构造对各因素相对重要性认识的判断矩阵。指标的标度值由数据专家取定，构造判断矩阵=,，构造的判断矩阵一般形式见表2。表 2 判断矩阵形式 1 2 1 1,1 1,2 1,2 2,1 2,1 2,1,2 ,3.层次单排序及一致性校验 根据判断矩阵求得对应的最大特征根和经归一化后的,的元素为同一层次元素对于上一层因素某因素相对重要性的排序权值，这一过程称为层次单排序。将判断矩阵按式(1)进行每一列归一化（以矩阵A为例）GB/T XXXXXXXXX 11 ,=,=1(1)按式(2)每一列进行归一化后按行相加得和向量=,=1(2)将和向量正规化后按式(3)进行正规化，得到权重向量=1,=1,2,3,(3)采用“和积法”按式(4)计算最大特征根=1()=1(4)()指矩阵乘法，原始矩阵与特征矩阵相乘。一致性校验：对判断矩阵确定不一致的允许范围。首先按式(5)计算一致性指标。=1(5)式(5)中为比较矩阵的阶，即因素的个数，值越低一致性越被认可。按表3查找随机一致性指标，按式(6)计算一致性比率。=(6)表 3 随机一致性指标RI值 1 2 3 4 5 6 7 8 9 10 11 0 0 0.58 0.90 1.12 1.24 1.32 1.41 1.45 1.49 1.51 一般认为一致性比率0.1时，认为比较矩阵的不一致程度在允许的范围内，有满意的一致性，通过一致性检验。可用其归一化特征向量作为权向量，否则要重新构造判断矩阵。4.层次总排序及一致性校验 计算某一层所有因素对于最高层相对重要性的权值，这一过程可以从最高层到最底层依次进行。