《最小乘参数辨识方法十》由会员分享，可在线阅读，更多相关《最小乘参数辨识方法十（3页珍藏版）》请在金锄头文库上搜索。
1、1系统辨识基础系统辨识基础第第 1212 讲要点讲要点 第第 5 5 章章 最小二乘参数辨识方法最小二乘参数辨识方法 5.15.1 辨识方法分类辨识方法分类 根据不同的辨识原理，参数模型辨识方法可归纳成三类： 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数：min)()( LkkJ 12其中代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、)(k辅助变量法、广义最小二乘法等。 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数， 使准则函数达到最小，如随机逼近法。 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率密度
2、最大)|( zp限度地逼近条件下的概率密度，即。典型的方法是极大0 )|(0 zp)|()|(0max zpzp 似然法。 5.25.2 最小二乘法的基本概念最小二乘法的基本概念 两种算法形式 批处理算法：批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计 值。 递推算法：递推算法：在上次模型参数估计值的基础上，根据当前获得的数据提出修)(1k 正，进而获得本次模型参数估计值，广泛采用的递推算法形式为)(k $( )$()( ) ()( ) kkkkd z k1Kh其中表示k 时刻的模型参数估计值，K K(k)为算法的增益，h h(k-d) 是由观测数据组成的)(k 输入
3、数据向量，d 为整数，表示新息。)(kz 最小二乘原理最小二乘原理 定义：定义：设一个随机序列的均值是参数 的线性函数),(),(LkkzL21 )()(kkzhE其中h h(k)是可测的数据向量，那么利用随机序列的一个实现，使准则函数21)()()( LkkkzJh达到极小的参数估计值称作的最小二乘估计。 最小二乘原理表明，未知参数估计问题，就是求参数估计值，使序列的估计值尽 可能地接近实际序列，两者的接近程度用实际序列与序列估计值之差的平方和来度量。 如果系统的输入输出关系可以描述成如下的最小二乘格式 )()()(knkkz h2式中 z(k)为模型输出变量，h(k)为输入数据向量，为模型
4、参数向量，n(k)为零均值随机噪 声。为了求模型(3-2)的参数估计值，可以利用上述最小二乘原理。根据观测到的已知数据序 列和，极小化下列准则函数)(kz)(kh21)()()( LkkkzJh即可求得模型参数的最小二乘估计值。 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。 5.35.3 最小二乘问题的提法最小二乘问题的提法 (1) 考虑模型 A zz kB zu kn k() ( )() ( )( )11式中 u(k)和 z(k) 分别为模型输入和输出变量，n(k)是均值为零、方差为的随机噪声，2 n和为迟延算子多项式，写成)(
5、1zA)(1zB A za za za z B zb zb zb znnnnaabb() () 1 11 221 11 221L L(2) 假定模型阶次na和nb为已知，且有，也可设,并定义bann nnnba ,)(,),(),(,),()(bannba bbbaaankukunkzkzkLLLL212111h(3) 将模型写成最小二乘格式 )()()(knkkz h对于 (L为数据长度)，可以构成如下线性方程组Lk,L21 zHnLLL 式中 )(,),(),()()()()()()()()()()()()()()()()(,),(),(LnnnnLuLunLzLznuunzznuunzz
6、LLzzzLbababaLLLLLMLMMLMLLLLML2111212110102121TTTnhhhHz(4) 噪声的统计性质 nLLLL nnnnE0Ecov,(5) 噪声与输入不相关 lklkukn,)()(0E(6) 数据长度 L 充分大 5.45.4 最小二乘问题的解最小二乘问题的解 考虑模型 A zz kB zu kn k() ( )() ( )( )113 准则函数取2)()()()( L1kkkzkJh其中为加权因子，对所有的k，都必须大于零。)(k)k( 准则函数又可写成 )()()( LLLLLJHzHz式中为加权矩阵，它是正定的对角阵，由加权因子构成L )(k L)()
7、()(LLMOMMLL00020001 该准则函数可用以衡量模型输出与实际系统输出的接近情况极小化这个准则)( J函数，即可求得模型的参数估计值，使模型的输出能最好地预报系统的输出。 当是正则矩阵时，模型的加权最小二乘解为LLLHH LLLLLLzHHH 1 WLS)( 通过极小化准则函数 求得模型参数估计值的方法称作加权最小二乘法，)( JWLS 记作 WLS(Weighted Least Squares algorithm)，对应的称为加权最小二乘估计值。WLS 如果加权矩阵取单位阵，即，则加权最小二乘解退化成普通最小二乘解IL LLLLzHHH 1 LS)(这时的 称之为最小二乘估计值，对应的估计方法称作最小二乘法，记作 LS(Least LS Squares algorithm)。最小二乘法是加权最小二乘法的一种特例。
