第03讲最小二乘法课件

2022/10/31第三讲第三讲 LS法法(1/4)第三讲 最小二乘法q最小二乘(Least Square,以下简称LS)法是1795年高斯(Gauss)在星体运动预报研究工作中提出来的.2022/10/32第三讲第三讲 LS法法(2/4)LS法在数学各种分支以及其它应用科学中有广泛应用,如:数学数学v计算数学中的曲线拟合和函数逼近v概率统计中的回归分析与参数估计v非相容(矛盾)方程解理论中的LS解系统与控制科学系统与控制科学v实验建模(系统辨识)测量理论中的误差分析测量理论中的误差分析 2022/10/33第三讲第三讲 LS法法(3/4)q系统与控制科学中的随机离散系统辨识的参数估计方法是从数学中的概率统计理论发展而来的.只不过,系统辨识更关注的是动态系统模型的参数估计问题.LS法是概率统计中参数估计的主要方法,也为系统与控制科学中系统辨识的主要参数估计方法.由于LS法原理简单,易于理解,与实际要求吻合,求解与应用也并不困难,所以它颇受人们的重视,应用相当广泛.2022/10/34第三讲第三讲 LS法法(4/4)q本讲主要讲授:回归模型表述回归模型表述LS法的基本原理和算法法的基本原理和算法,LS估计的数值计算估计的数值计算,LS法的应用例子法的应用例子,及其LS估计值的统计特性分析估计值的统计特性分析.2022/10/351 回归模型表述回归模型表述(1/1)1 回归模型表述回归模型表述q在讨论LS算法之前,下面先讨论在统计回归与系统辨识中的回归模型.静态模型静态模型(回归模型)动态模型动态模型(自回归模型)2022/10/361 回归模型表述回归模型表述静态模型静态模型(1/3)A.静态模型静态模型q在数理统计中参数估计所讨论的模型可用如下回归式表示y(k)=(k-1)+w(k)(1)其中y(k)为过程输出,(k)为n维观测数据向量,为n维回归参数向量,w(k)为统计噪声或误差.q对回归模型(1),其参数估计问题是:基于已知的观测数据向量(k)在回归误差平方最小的意义下求解回归参数向量.2022/10/371 回归模型表述回归模型表述静态模型静态模型(2/3)q在数理统计中,回归式(1)表示的是静态系统,即过程输出y(k)与过去的观测数据向量(i-1)和统计噪声w(i)无直接时间上的逻辑(因果)关系,i0为加权因子;L=diagl1,l2,.,lL为加权矩阵.2022/10/3182 基本算法基本算法(3/14)q引入加权因子的目的是考虑到观测数据的可信度和噪声w(k)的分布对估计值有较大影响,从而利用对观测数据加权而减消其对LS估计的影响.加权因子的取值可考虑如下因素:1.若有理由认为某步的观测数据可靠和重要性程度高,可将该步的加权因子相对取得大一些.v比如,若认为现时刻的观测数据比过去的要可靠和重要性程度高,则可取lk=lL-k,0l1,k=1,2,.,L.2.若噪声w(k)不为同分布的白噪声,则可利用已知的噪声模型和分布的信息来选择适当的加权矩阵以补偿噪声的不同分布或非白噪声对估计的影响.2022/10/3192 基本算法基本算法(4/14)q下面讨论由函数极值理论,根据准则函数求极值来推导LS法.q由于对准则函数求极值涉及对向量变量的偏导,下面先给出对向量变量的导数公式:标量标量f对对n维向量维向量x的导数的导数f/x=f/x1 f/x2 f/xnm维向量维向量y对对n维向量维向量x的导数的导数2022/10/3202 基本算法基本算法(5/14)在不混淆的情况下,向量间导数又记为基于上述向量对向量的导数向量对向量的导数,有2022/10/3212 基本算法基本算法(6/14)内积对向量的导数内积对向量的导数.由上述定义的向量和矩阵的导数,有2022/10/3222 基本算法基本算法(7/14)加权内积对向量的导数加权内积对向量的导数.由上述定义的内积对的导数,有q基于上述矩阵、向量对向量的导数的定义,下面进行对LS辨识的准则函数进行求极小化.2022/10/3232 基本算法基本算法(8/14)q由函数优化理论知,使得准则函数为最小的未知变量向量q应满足其对q的偏导为零的函数最优化的必要条件.根据上述向量导数,因此有对称与q无关2022/10/324这就是加权LS公式2 基本算法基本算法(9/14)即因此,LS解即为求解上述正则方程正则方程.当 L L L可逆时,即信号充分丰富时,则可求得q的如下加权LS估计p上面讨论的是极小值得必要条件，其充分条件为：即指标函数的2阶偏导矩阵为正定（偏导大于零）。2022/10/3252 基本算法基本算法(10/14)对指标函数求2阶偏导，有因 L为正定矩阵,故只要 L L L可逆即为正定矩阵,即所以加权LS估计qWLS使得J(q)=min,即qWLS是LS指标函数的唯一最优解.2022/10/3262 基本算法基本算法(11/14)q因此,所谓LS估计,即通过实验观测数据,构造出系统输出数据向量YL与观测数据矩阵 L,然后进行如下矩阵数值计算关于上述LS估计的矩阵数值计算,将在后面加以讨论.q下面讨论加权LS估计解的一些特例(1)一般一般LS估计估计.当加权矩阵 L取为单位矩阵I时,则加权LS估计qWLS退化成如下一般LS估计2022/10/3272 基本算法基本算法(12/14)(2)Markov估计估计(最小方差估计最小方差估计).当回归方程(3)的噪声向量WL的统计协方差矩阵 L=E(WLWL)已知时,取加权矩阵 L=L-1,则此时的加权LS估计qWLS称为Markov估计qMLS,其解的形式为2022/10/3282 基本算法基本算法(13/14)q对系统辨识问题,还存在一个可辨识性问题.当给定输入输出数据时,对假定的模型结构是否能唯一地确定模型的参数,这就是可辨识问题.在上述LS估计问题中,可辨识性即为基于参数模型的辨识问题归结的模型参数的LS最优化问题是否存在唯一解问题.可辨识性直接与系统的结构、系统的输入输出信号的性质相关.与系统结构的关系v对输入输出模型,则有求系统阶次准确已知,系统传递函数模型的分子分母互质.v对状态空间模型,则要求系统能控并能观.2022/10/3292 基本算法基本算法(14/14)与输入信号的关系.v要求过程的所有模态都必须被输入信号“持续激励”,即系统的输入输出信息“充分丰富”.o此外系统的观测数据矩阵 L的各列线性无关,输入u(k)应有充分的变化(其频带较宽),还要与输出y(k)相对“独立”.o对输出反馈闭环系统,反馈环应存在纯滞后环节.oLS估计的可辨识条件为矩阵 L L L必须是非奇异的.v常用的输入信号:随机序列、伪随机序列、频带较宽的离散序列.2022/10/3303 LS估计的数值计算估计的数值计算(1/3)3 最小二乘估计的数值计算最小二乘估计的数值计算qLS估计的计算主要是寻找具有良好数值特性的正定矩阵 L L L的矩阵求逆数值算法,或求解正则方程正则方程(即为多元线性一次方程组)的数值方法2022/10/3313 LS估计的数值计算估计的数值计算(2/3)q对正则方程的求解,可以利用消元法等一系列求解一次线性方程组的方法.但有时在求解该方程组是会出现矩阵接近于奇异(行列式数值接近于零,或矩阵的条件数偏大),即所谓“病病态态”的情况.由此导致参数估计的结果不稳定,不可信.出现上述情况的原因可能是由于v信号不充分丰富o被辨识的过程受到的外加激励不够,o采样间隔太密；v或者A/D转换的位数太短,计算舍入误差累计所致.2022/10/3323 LS估计的数值计算估计的数值计算(3/3)为解决LS计算中可能出现的病态问题,提出了基于矩阵分解方法的不少改进算法(具体可参阅关于计算方法的文献),例如:Householder变换法、改进的平方根法和U-D分解算法.v该方法是Bierman 1977提出的改善逆矩阵(L L L)-1计算性质(对称性、正定性和稳定性)而又不增加计算量的算法.总之,我们在使用LS的辨识方法时,应该注意避免出现和克服病态问题.2022/10/3334 LS法的应用例子法的应用例子(1/1)3 最小二乘法的应用例子最小二乘法的应用例子q为加深对LS辨识算法的理解,下面讨论几个LS辨识方法应用的小例子.测电阻实验数据处理测电阻实验数据处理(例例2)一阶化工被控系统辨识一阶化工被控系统辨识(例例3)线性曲线拟合线性曲线拟合(例例4)非线性曲线拟合非线性曲线拟合(例例5)不相容方程组不相容方程组(例例6)2022/10/3344 LS法的应用例子法的应用例子-例例2(1/6)A.测电阻实验数据处理测电阻实验数据处理q例例2 某电路实验课,测得某电阻两端的电压和通过其间的电流分别为Vi和Ii,其中i为实验数据的组号.试根据L组该实验数据,推算电阻值R.q解 由电路理论,电阻的电流与电压满足如下欧姆定律V=RI (11)2022/10/335基于上述欧姆定律,利用实验数据来推算电阻值的问题,可视为静态系统辨识(回归分析)问题.因此,将L组实验数据分别代入上述欧姆定律,则可得如下向量回归方程YL=L (12)式中=R;YL=V1,V2,.,VL L=I1,I2,.,IL因此,由上述LS辨识算法,有4 LS法的应用例子法的应用例子-例例2(2/6)2022/10/3364 LS法的应用例子法的应用例子-例例2(3/6)一般在进行实验数据处理时,推算电阻值R采用如下算术平均值q可以证明,若将在实验中的所有扰动和测量误差都等效地综合反映在方程(11)等式左边的电压上且可以用白噪声w描述,即方程(11)可描述为V=RI+w则LS估计(13)的估计误差的方差可能将远远小于算术平均值估计(14).这就是说,LS法比算术平均法提供更精确的估计值法比算术平均法提供更精确的估计值.上述结论可证明如下:2022/10/337q设电压测量值中包含有噪声,即Vi=RIi+wi因此有4 LS法的应用例子法的应用例子-例例2(4/6)而对一般算术平均值,有2022/10/338若噪声wi为同分布的白噪声(即wi与wj统计独立),则有E(RLS)=E(Raverage)=R即两种方法得到的估计值都为期望值无偏的,但对估计值的方差,有4 LS法的应用例子法的应用例子-例例2(5/6)2022/10/339可以证明,对任意的电流值4 LS法的应用例子法的应用例子-例例2(6/6)即V(RLS)V(Raverage)故LS估计方法的估计值比算术平均方法的估计值在期望值一致的情况下,但估计值的方差更小,即更加准确.2022/10/340B.一阶化工被控系统辨识一阶化工被控系统辨识q例例3 对某化工被控系统,通过实验可测取得输入输出的采样值(ui,yi),其中i为采样次数.试根据L组实验数据,用1阶离散系统辨识该化工被控系统.q解 设描述该被控系统的1阶系统的模型如下yk+1=-a1yk+b1uk+wk+1 (15)将L组实验数据分别代入上述模型,则可得如下回归方程YL=L+WL (16)式中=-a1 b1;YL=y1,y2,.,yL4 LS法的应用例子法的应用例子-例例3(1/5)2022/10/341因此,由上述LS辨识算法,有4 LS法的应用例子法的应用例子-例例3(2/5)2022/10/3424 LS法的应用例子法的应用例子-例例3(3/5)当输入uk为平稳随机序列且系统为稳定的,此时系统的输出亦为平稳的随机序列,可以证明,随着采样次数L趋于无穷,上述估计式最后收敛于2022/10/3434 LS法的应用例子法的应用例子-例例3(4/5)其中Ry()和Ry()为自相关函数,Ryu()为互相关函数.q下面通过分析上述相关函数证明对于本例研究的动态系统辨识,LS估计可以得到无偏一致估计.对式(15)所描述的系统有Ryu(1)=Eyk+1uk=E(-a1yk+b1uk+wk+1)uk=-a1Ryu(0)+b1Ru(0)Ry(1)=Eyk+1yk=E(-a1yk+b1uk+wk+1)yk=-a1Ry(0)+b1Ryu(0)2022/10/