第五节误差与精度评价一、误差及其来源任何分类都会产生不同程度的误差 分析误差的来源和特征既是对分类过程的检验, 也是改进分类方法的主要前提分类误差主要有两类,一类是位置误差,即各类别边界的不准 确;另一类是属性误差,即类别识别错误分类误差的来源很多,遥感成像过程、图像处理 过程、分类过程以及地表特征等都会产生不同程度和不同类型的误差遥感成像过程中,遥感平台翻滚、俯仰和偏航等姿态的不稳定会造成图像的几何畸变;传感器本身性能和工作状态也有可能造成几何畸变或辐射畸变; 大气中的雾、霾、灰尘等杂质必然造成图像中的辐射误差; 地形的起伏会使图像中产生像点位移造成几何畸变; 坡度也会影响地表的接受的辐射和反射水平,造成辐射误差遥感图像分类前,一般都要进行辐射校正、几何校正、研究区的拼接与裁切等预处理在这些图像处理过程中, 由于模型的不完善或控制点选取不准确等人为因素的影响, 处理后的图像中仍然可能存在残留的几何畸变和辐射畸变 此外,几何校正中像元亮度的重采样所造成的信息丢失是无法避免的,对分类结果也将产生一定影响地表各种地物的特征直接影响分类的精度 一般来说,地表景观结构越简单,越容易获 得较高的分类精度, 而类别复杂、破碎的地表景观则容易产生较大的分类误差。
因此, 各类别之间的差异性和对比度对分类精度有显著影响图像分类过程中,分类方法、各种参数的选择、训练样本的提取, 分类时所采用的分类系统与数据资料的匹配程度也会影响分类结果 不论是采用何种算法模型,目前还没有任何 一种方法堪称完美,其分类结果中都会出现错分的现象遥感图像的空间分辨率、 光谱分辨率和辐射分辨率的高低也是影响分类精度的重要因素有些分类结果精度不高,不是分类方法的问题,而是直接受制于图像本身的特征上述各个环节所产生的误差,最终都有可能累积并传递到分类结果中,形成分类误差因此,分类误差是一种综合误差,很难把它们区分开来 分析发现,分类误差在图像中并不是随机分布的,而是与某些地物类别的分布相关联, 从而呈现出一定的系统性和规律性 了解和分析分类误差产生的原因和分布特征, 对分类结果的修订或分类方法的改进都具有重要 意义精度评价的方法遥感图像分类精度的评价是把分类结果与检验数据进行比较以得到分类效果的过程 精 度评价中所使用的检验数据可以来自于实地调查数据或参考图像 参考图像包括分类的训练 样本、更高空间分辨率的遥感图像或其目视解译结果和具有较高比例尺的地形图、 专题地图 等实际工作中,检验数据往往以参考图像为主,实地调查数据为辅。
精度评价最好是比较分类图和参考图像上所有像元之间的一致性, 但这种做法往往是不 现实的,也是无意义的 因此, 精度评价一般都是通过采样的方法来完成的,即从检验数据 中选择一定数量的样本,通过样本与分类结果的符合程度来确定分类的准确度一)采样方法这里所说的采样方法是指从检验数据中选择样本的方法 精度评价有多种采样方法, 具 体采用哪种方法, 应根据研究目标来确定 常用的概率采样方法包括简单随机采样、 分层采 样和系统采样等(图 8.21)1、简单随机采样简单随机采样是指在分类图上随机选择一定数量的像元, 然后比较这些像元的类别与其 对应的检验数据之间的一致性 该方法对样本空间中的所有单元来说, 被选中的概率都是相 同的 如果区域内各种地物类别的分布均匀, 且面积差异不大, 简单随机采样应该是一种理 想的采样方法2、分层采样分层采样是指分别对每个类别进行随机采样 该方法克服了简单随机采样的不足, 保证 了在采样空间或类型选取上的均匀性及代表性, 使每个类别都能在采样中出现 分层的依据 可因精度评价的目标而不同 常用的分层有地理区、 自然生态区、 行政区域和分类后的类别 等在每层内采样的方式可以是随机的,也可以是系统的。
3、系统采样系统采样是指按照某种确定的间隔或规则进行采样的一种方法 该方法简单易行, 但其 固有的周期性及其存在的规则间隔性, 可能造成以某些样本数采样时, 即便方差很小, 但均 值仍然会偏离真值较大,从而使评价存在较大偏差b.图8.21几种采样方法示意图(二)样本容量样本容量(Sample Size)又称样本数,指样本必须达到的最少数目,是保证样本具有充分代表性的基本前提样本容量可通过统计方法来计算, 如百分率样本容量、基于多项式分布的样本容量等百分率样本容量的计算方法为(8-18)Z2(pq)E2式中:N为样本容量;Z为标准误差的置信水平, 一般取2,表示1.96的标准正态误差和 95%的双侧置信度;p是期望百分比精度(这里的精度指的是评价结果的精度,而非图像的分类精度);q=100-p; E表示容许误差根据公式可知,期望精度( p)越低,允许误差(E)越大,则用来估算分类精度所需的检验样本就越少如期望精度为 85%,允许误差为 5%,根据公式(8-18)可算出样本容量为 203,即至少选取203个样本;当允许误差放宽到 10%时,51个样本就可以满足要求基于多项式分布的样本容量计算方法为(8-19)N BW(1-W)式中:N为样本容量;Wi为所有k个类别中面积比例最接近 50%的第i类的面积比例;bi 为该类的容许误差;B为自由度为1且服从x2分布的(b/k) x百分位数,可以从自由度为 1 的x2分布表查得;k是总分类数。
假如一幅图像共分为 8个类,类 Wi约占总面积的30%且其面积百分比最接近 50%,要 求置信度为95%,容许误差为5%可算出样本容量为 636,每个类别大约需要 80个样本如果无法知道任意一个类别所占的面积比例,在公式( 8-19)中可假设其中一种类型的面积比例为 50%,这样可以计算出一个比已知面积比例的情况下更大的样本容量在有些情况下,95%的置信度是不现实的,或者由于各种原因,很难获得样本容量所规定的样本数依据因此,实际工作中要合理权衡理论上的样本容量与实际能够获取的样本数之间的关系, 各类在研究中的重要性或各类的复杂程度适当调整样本容量二)混淆矩阵与精度指标样本是分类精度评价的基本单元 在获取了可靠的样本数据之后,便需要确定精度评价 的方法与精度指标目前最常用的精度评价方法是混淆矩阵法, 即通过混淆矩阵计算各种统 计量并构建精度评价指标,最终给出分类的精度值1混淆矩阵混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式 误差矩阵是n行n列的矩阵, 一般可用表8.2的形式来表示表中 n代表类别的数量,P代表样本总数,Pj是分类数据类 型中第1类和参考图像第j类所占所占的组成成分nPi. = 7 pj ,为分类所得到的第i类的总和;j 二nP.j=7 Pj ,为检验数据中第j类的总和。
i壬表8.2混淆矩阵的基本形式分类数据类型12n总和检 验 数 据 类 型1P11P21P n 1P+12P12P22P n 2P+2nP1nP2nPnnP+n总和P1 +P2+P n +P表8.3是在沙漠化地区土地利用 /覆盖分类研究中构建的混淆矩阵矩阵的左边( y轴) 代表的是参考图像上的类别,上部( x轴)代表的是要评价图像上的类别精度评价时采用简单随机采样的方法采集了 765个训练样本以绿洲为例,在参考图像中有123个绿洲像元,其中102个被识别出来,其余 21个像元均被错误地分类成其他类型,但参考图像上同时又 有9个其他类型的像元被误分成了绿洲 显然,误差矩阵中对角线上列出的是被正确分类的像元数量表8.3混淆矩阵实例被评价的分类图像戈壁流沙地平沙地绿洲干湖盆水体总和参 考 图 像戈壁26130000264流沙地501921600249平沙地667530090绿洲123010206123干湖盆40209015水体300002124总和336204781119277652、基本的精度指标根据混淆矩阵可以设计出三种基本的精度评价指标, 即总体精度、用户精度和制图精度这些精度指标从不同的侧面描述了分类精度,是简便易行并具有统计意义的评价指标。
1) 总体分类精度(Overall Accuracy):表述的是对每一个随机样本, 所分类的结果与 检验数据类型相一致的概率表示为nPc 八 Pkk/N ( 8-20)kA(2) 用户精度(User' s Accuracy:指从分类结果中任取一个随机样本,其所具有的类 型与地面实际类型相同的条件概率表示为Pui 二 Pii / Pi ( 8-21 )(3) 制图精度(Producer' Accuracy):表示相对于检验数据中的任意一个随机样本,分类图上同一地点的分类结果与其相一致的条件概率表示为PAj 二 Pjj / P j ( 8-22)与上述精度指标相关的还有漏分误差和错分误差 漏分误差是指对于参考图像上的某种类型,被错分为其他不同类型的概率,即实际的某一类地物有多少被错误地分到其他类别而错分误差是指对于分类图像上的某一类型, 它与参考图像类型不同的概率, 即图像中被划为某一类地物实际上有多少应该是别的类别 漏分误差与制图精度相对应,可用于判断分类方法的优劣;错分误差与用户精度相对应, 从检验数据的角度判断了各类别分类的可靠性 •表8.4为根据上面的实例计算出来的三种精度值表8.4分类精度计算实例制图精度漏分误差用户精度错分误差戈壁261/264=98.86%1.14%261/336=77.68%22.32%流沙地192/249=77.11%22.89%192/204=94.11%5.89%平沙地75/90=83.33%16.67%75/78=96.15%3.85%绿洲102/123=82.92%17.08%102/111=91.89%8.11%干湖盆9/15=60.00%40.00%9/9=100%0.00%水体21/24=87.50%12.50%21/27=77.78%22.22%总体精度=(261+192+75+102+9+21 ) /765=86.27%(四)Kappa分析Kappa系数是一种对遥感图像的分类精度和误差矩阵进行评价的多元离散方法, 该方法 摒弃了基于正态分布的统计方法, 认为遥感数据是离散的、呈多项式分布的,在统计过程中 综合考虑了矩阵中的所有因素,因而更具实用性。
其计算方法为n nN' Xu - ' (Xj x JKappa 二- n _N2 - ' (Xj x .J(8-23)式中:N为所有样本的总数;n为矩阵行数,一般等于分类的类数; Xii指位于第i行、第列的样本数,即被正确分类的像元数; Xi+和x+i分别是第i行、第i列的总像元数将表8.3中的相关数据代入公式(8-23),计算出的Kappa系数为0.81,即Kappa=765 (261 192 75 102 9 2。