5, 残差与残差与误差检验 5.1 残差 5.2 粗差与数据探测 5.3 模型误差及其检验 5.4 稳健估计 5.5 基于相关分析的粗差检验 5.1 残 差1) 普通残差及其性质普通残差及其性质 1, 普通残差的定义普通残差的定义 观测方程: L = AX - 回归模型: y = x- e 误差方程: 2, 平差因子平差因子( 帽子矩阵帽子矩阵,投影矩阵投影矩阵) 3,普通残差的性质普通残差的性质2) 标准化残差标准化残差3) 预测残差预测残差i 与学生化残差与学生化残差1,定义定义: 在 观测值 L 中 去掉 Li 后 , 有:2, i与与 vi的关系的关系3, 标准化预测残差与学生化残差标准化预测残差与学生化残差4) 不相关残差不相关残差1, 普通残差的相关性普通残差的相关性2, 标准化残差的相关性标准化残差的相关性3, 不相关残差不相关残差 n个残差中有个残差中有n-t个是独立的，不独立的个是独立的，不独立的t个个vi是与该是与该n-t个个vi线性相关的线性相关的W是由是由V转换成的等权独立的转换成的等权独立的n-t个不相关残差个不相关残差5.2 粗差与数据探测粗差与数据探测1，粗差及其对残差的影响，粗差及其对残差的影响 （1）粗差的定义粗差的定义 异常误差， 超限误差 23 当 L 含有粗差时， （2）粗差对残差的影响）粗差对残差的影响 当当 L 含有观测误差含有观测误差时，时， （3）当仅有一个观测值含粗差）当仅有一个观测值含粗差 k时时 可以看到可以看到 , 当 rkk = 0 , vkk = 0 ; 不能反映粗差 当 rkk = 1 , vkk =k ; 完全反映粗差 一般要求： 0 rkk rkj ; 2，数据探测法，数据探测法 ( u 检验）检验） 原假设 H0: E ( vk) = 0;（ vk一般取残差中值最大的） 备选假设 H1: E ( vk) 0; 检验统计量： 当原假设 H0 成立时，统计量 uk N (0,1); k很小时影响判断。
检验步骤： 1） 计算 uk; 2) 选择适当的显著水平 ，查得分位值 u /2 ; 3) 比较 uk 与 u /2 ， 若 uk u /2 ， 则接受 H0 荷兰巴尔达教授提出的数据探测法：一次剔除一个粗差荷兰巴尔达教授提出的数据探测法：一次剔除一个粗差3，单个粗差的残差检验单个粗差的残差检验（1）检验检验 原假设 H0: E ( vk) = 0; 备选假设 H1: E ( vk) 0; 检验统计量 当原假设 H0 成立时，统计量 检验步骤： 1）计算 |rk| ; 2) 选择适当的显著水平 ，查得分位值/2 ; 3) 比较 |rk| 与/2 ， 若 |rk| /2 则接受 H0 2）检验检验 原假设 H0: E ( vk) = 0; 备选假设 H1: E ( vk) 0; 检验统计量 当原假设 H0 成立时，统计量 Bk （1/2，(n-t-1)/2) 检验步骤： 1）计算 Bk ; 2) 选择适当的显著水平 ，查得分位值B/2 ; 3) 比较 Bk与u/2 ， 若 Bk u/2 则接受 H0 3）t 检验检验 原假设 H0: E ( vk) = 0; 备选假设 H1: E ( vk) 0; 检验统计量 当原假设 H0 成立时，统计量 t (n-p-1) 检验步骤： 1）计算 ; 2) 选择适当的显著水平 ，查得分位值 t/2 ; 3) 比较 与 t/2 ， 若 F1- (m,n-t-m） 则原假设 H0 不成立5.4 稳健估计1、最小二乘法最小二乘法：可以抵御大量随机小误差大量随机小误差的影响，估值无偏，方差最小。
2、稳健估计：稳健估计：平差时牺牲估值的部分最优性(效率)，以达到抗御粗差的目的是在抗差的前提是在抗差的前提下讲效率下讲效率3、稳健性与影响函数稳健性：当实际模型偏离假定模型时，参数估值的性能不会受到太大的影响4、广义极大似然估计（M估计)以 式定义极小条件的一类估计5、选权迭代法抗差估计指导思想：抗差估计指导思想：在抗差能力和效率（指估值最优性）在抗差能力和效率（指估值最优性）中求得最佳平衡一般要求其效率达到经典平差效率的中求得最佳平衡一般要求其效率达到经典平差效率的90%以上是在抗差的前提下谈效率在抗差的前提下谈效率抗差估计实质：抗差估计实质：牺牲最小二乘估计的最优性，达到抵抗粗牺牲最小二乘估计的最优性，达到抵抗粗差污染的目的差污染的目的抗差估计的特点：抗差估计的特点：当观测数据的实际分布偏离假定模型时当观测数据的实际分布偏离假定模型时的不敏感性其对子样分布要求不十分严格，只要子样的不敏感性其对子样分布要求不十分严格，只要子样近似服从某一模型近似服从某一模型若母体确实为正态时，若母体确实为正态时，抗差估计值无最小二乘估计值优良抗差估计值无最小二乘估计值优良 在观测数据中出现在观测数据中出现0.2%的粗差时，最小二乘估值便的粗差时，最小二乘估值便失去了其最优性，但失去了其最优性，但0.2%的粗差概率完全正常，特别是的粗差概率完全正常，特别是在现代的大数据量自动测量中。
所以经典平差适用的范在现代的大数据量自动测量中所以经典平差适用的范围狭窄 粗差作为一种模型误差，可以从两种角度去描述它：粗差作为一种模型误差，可以从两种角度去描述它：1）将粗差归入函数模型）将粗差归入函数模型数据探测法数据探测法（也称均值漂移模型）（也称均值漂移模型）2）将粗差归入随机模型）将粗差归入随机模型稳健估计法稳健估计法（也称方差膨胀模型）（也称方差膨胀模型）稳健估计法适用范围：稳健估计法适用范围：适用于确定性函数模型：如控制网平差的适用于确定性函数模型：如控制网平差的各类函数模型，且观测值要求大部分正确不适用不确定性的函各类函数模型，且观测值要求大部分正确不适用不确定性的函数模型：如回归数学模型、时间序列分析等数模型：如回归数学模型、时间序列分析等设有独立观测值L1、L2-Ln，其误差的密度函数为：根据极大似然估计法，其似然函数为：即或选用函数 代替 ，使其定义广义化：M估计广义极大似然估计估计准则：其中， 取为增长较慢的残差的函数，称为极值函数， 为其导数 函数的构造应该满足：随着残差的增大函数的构造应该满足：随着残差的增大 该函数应该函数应该是增长很慢或是有界的，不会随残差一直增长下去。
该是增长很慢或是有界的，不会随残差一直增长下去当观测值等权且互独立时，权函数权函数为：当观测值不等权但互独立时，等价权等价权为：上两式称为：第j个观测值第i次迭代时所使用的权函数或等价权Pj第j个观测值的观测权M估计的迭代公式：（以权函数为例）第一次平差时，权阵P=I若为不等精度平差时，只需将上式中的权函数换成等价权且第一次平差时权阵为观测值权阵几种常见的选权迭代法1、Huber法2、一次范数最小法（L1估计）（中位数法）3、P范最小法（LP法）4、IGG法（周江文法）5、经典最小二乘法（不具有抗差性） v1 v2 v3 v4 v5 v6 v7 给定误差 0.640.73-0.84-0.260.01-10.481.86 L2-2.290.53-0.812.572.906.00-3.42 L12-1.4100.07-0.031.499.42-1.42 L1-1.4500.0301.539.41-1.39Huber法-0.95-0.200.53-0.231.239.68-1.42 丹麦法-0.58-0.100.980.390.4810.75-1.101546372ABH3H1H2 如图，为模拟水准网，7个观测值配赋了随机误差，在第六条路线的观测高差中附加了10mm的粗差。
用各种算法结果列于下表从表中看各种选权迭代法均有抗差性，而最小二乘法不具有抗差性选权迭代法的缺陷：选权迭代法的缺陷：1、由于粗差的大小及位置未知，只能、由于粗差的大小及位置未知，只能以残差来研究，且目标函数以残差来研究，且目标函数 选择成为选择成为残差残差v的函数，这并不一定符合实际的函数，这并不一定符合实际2、选权迭代法中，第一次按最小二乘、选权迭代法中，第一次按最小二乘平差求得的残差受粗差的影响很大，由平差求得的残差受粗差的影响很大，由此将影响迭代的权函数此将影响迭代的权函数P(v)的选择，可的选择，可能导致错误的收敛能导致错误的收敛M估计迭代结束时，正常观测值落入保权区；非正常但可用的观测值落入降权区；含粗差的观测值落入除权区 以上所列为理想状态最好是用以上所列为理想状态最好是用M估计法定位出粗差后，剔除估计法定位出粗差后，剔除粗差，重新用经典平差法进行平差粗差，重新用经典平差法进行平差稳健估计（选权迭代法）的精度评定稳健估计（选权迭代法）的精度评定之所以称以上三式为近似公式，是因为近似地视等价权为常数矩之所以称以上三式为近似公式，是因为近似地视等价权为常数矩阵（其实等价权是随机量，是残差的函数）。
阵（其实等价权是随机量，是残差的函数）5.5 5.5 基于相关分析的粗差检验方法基于相关分析的粗差检验方法1、相关系数的分布计算出的计算出的r若大于查表所得的若大于查表所得的r ，则认为在，则认为在 水平下水平下 0，x与与y统统计相关；若计相关；若r r ，则认为在，则认为在 水平下水平下 =0， x与与y这称为相关系这称为相关系数显著性检验数显著性检验分布函数表1）2）给定显著水平=0.0125，0.025，. =0，-0.1-0.9 下的临界值表（p.160，附表7）3） = - 1/3 的分布函数表（p.168，附表8）应用1）=0，相关系数检验表（p.160，附表7） 检验2个随机变量是否线性相关2） 已知=k0 时，样本相关系数的检验 相邻三角形闭合差 =-1/32、基于相关分析的粗差检验原理设对有5个GPS站点、25条观测基线的GPS网进行平差，n=25现在第18个观测值中加入3倍中误差的一个粗差，i=18得左图： 上图为残差上图为残差V与与观测量序列的对应关观测量序列的对应关系；系； 下图为向量下图为向量Fi=F18的各分量与观的各分量与观测量序列的对应关系测量序列的对应关系。
可见两条曲线具可见两条曲线具有显著相关性有显著相关性 左图为有40个观测值、并在第16、18两个观测值有粗差的有关V与F16、F18的曲线图 可见可见V向量表现为向量表现为F16与与F18的叠加，即的叠加，即V与与F16和和F18的向量和具的向量和具有相似性有相似性。