《系统辨识与滤波最小二乘法辨识.ppt》由会员分享，可在线阅读，更多相关《系统辨识与滤波最小二乘法辨识.ppt（34页珍藏版）》请在金锄头文库上搜索。
1、第5章 最小二乘法辨识v把待辨识的系统看作“黑箱”，只考虑系统的输入输出特性，而不强调系统的内部机理。v本章主要讨论单输入单输出系统的差分方程作为模型的系统辨识问题。v差分方程模型的辨识问题包括阶的确定和参数估计2个方面。v本章讨论采用最小二乘法进行参数估计。1、最小二乘法v设单输入单输出线性定常系统的差分方程为 （1）v式中： 为输入信号； 为理论上的输出值。v 的观测值 可表示为v式中 为随机干扰，则：v将 代入差分方程中，有 （4）v往往把 看作白噪声v设v则式（4）可写成 （5）v假设 不仅包含了 的测量误差，而且还包含 的测量误差和系统内部噪声。v假定 是不相关随机序列。v现分别测出
2、 个输入输出值 ， 列出个方程为：v设v可得到v （8）v式中： 为N维输出向量； 为N维噪声向量； 为 维参数向量； 为 测量矩阵。v式（8）式一个含有 个未知参数，由N个方程组成方程组。v当 ，方程数少于未知数数目，则方程组的解是不定的。v当 ，方程数正好与未知数相等，当噪声 时，就能准确的解出v如果噪声 ，则v从上式可以看出噪声 对参数估计有影响，为了尽量减少噪声 对 估值的影响，应取v此时，要采用数理统计的方法求 的值，以减少噪声对 估计值的影响。最小二乘估计算法v设 表示 的最优估值， 表示 的最优估值，则有v式中v设 表示 与 之差，即v将 称为残差。把 分别代入上式可得残差 。设
3、v则有v最小二乘估计要求残差的平方和为最小，即按照目标函数v为最小来确定估值 。v求J对 的偏导数并令其等于0，可得vJ为极小值的充分条件是v即矩阵 为正定矩阵。v这种辨识方法称为一次完成的最小二乘估计，用来辨识的数据长度是 。算法表明，全部 组数据是一次计算完毕的，这种方法常用于离线辨识。v优点：辨识精度高。v缺点：每取到一组新数据后，都需要重新解方程组，每算一次都需要用全部数据，致使计算的存储量越来越大，计算量也逐渐增加。2、最小二乘递推算法v令v则有v考虑目标函数v极小化，可求得 （10）v当新数据 取得时，有v其中：v令v则v应用矩阵求逆引理，可得 和 的递推关系式v矩阵求逆引理：设A
4、为 矩阵，B和C为 矩阵，并且A， 和 都是非奇异矩阵，则有矩阵恒等式v令 ， ， ，根据引理有v由于 为标量，则v而v由于上式中第二项为v把它代入原式，消去同类项，经整理得v此式即为最小二乘的递推算式。v利用此式计算 ， 时要已知 ， （前次估计值）， （历史数据）和新观测值 。算法所需存贮空间分析： 算法中， 为2n+1个存贮单元（ ），而 是 维矩阵，显然，将 换成 后，存贮量大为减少（因为n为模型的阶数，一般远远小于N）递推公式的直观意义： 如果用 表示预报值，那么 表示预报误差，这就表明，新的参数估计值 是根据预报偏差来对原估计值 进行修正，修正的幅度大小是按最小二乘准则来确定的。
5、为了进行递推计算，需要给出 和 的初值 和 ，有两种给出初值的方法。 1）设 为N的初始值，则根据公式可算出初值 2）假定 是充分大的常数， 为 单位矩阵,则经过若干次递推之后能得到较好的参数估计。3、最小二乘估计量的统计特性1、无偏性 定理1：假设模型（5）式中的 是均值为零的平稳独立随机序列，则最小二乘估计量 是具有无偏性的，即 其中 表示参数的真实值。 证明：令误差向量 ，由式（8） 可知v将它代入（10）式得v对上式两边取数学期望，并应用 为独立，零均值得统计特性，可得 证毕。v2、误差协方差v定理2：如果 是均值为零，方差为 的白噪声序列，则最小二乘估计误差 的协方差矩阵是v证明：定
6、义误差向量的协方差矩阵是证毕。 上式可写为 当 时，上式为零，即 以概率1趋近 。 因此，当 为不相关随机序列时，最小二乘估计具有无偏性和一致性。如果系统的参数估计具有这种特性，就称系统具有可辨识性。v现举例说明最小二乘法的估计精度v例5.1：设单输入单输出系统的差分方程为v设 是幅值为1的伪随机二位式序列，噪声 是一个方差 可调的正态分布 随机序列。v从方程中可看到 ，因此v真实的 为v取观测数据长度 ，当噪声均方差 取不同值时，系统参数的最小二乘估计值如下表表5.1 参数估值表0.00.10.51.05.0参数真值-1.50.701.000.50计算结果表明，当不存在噪声时，可以获得精确的
7、估值 。估值 的均方差随着噪声均方差 的增大而增大。 3）渐进正态性 定理3：假设 是均值为零，方差为 的正态白噪声，则最小二乘参数估计值 服从正态分布，即 4）有效性 定理4：假设 是均值为零，方差为 的正态白噪声，则最小二乘参数估计量 是有效估计量，即参数估计误差的协方差达到Cramer-Rao不等式（克拉默勞下限 ）的下界 其中M为Fisher信息矩阵。4、适应算法v随着更多观测数据的处理，递推最小二乘法对线性定常系统的参数估计并非越来越精确，有时会发现由此得到的参数估计量与实际参数之间的误差越来越大，即出现“数据饱和”现象。v这是因为 是正定的，而 中 是非负定的，所以 都是正定的。根
8、据递推最小二乘法中公式，可得：v所以v随着递推次数的增加， 越来越小，这会导致新采样值对参数估计的修正不再起作用，即产生“数据饱和”现象。v另外，由于递推在有穷字长的计算机上实现时，每步都存在舍入误差。因此数据饱和后，由于这些原因致使新的采样值不仅对参数估计不起改进作用，反而可能使所计算的 失去正定性，甚至失去对称性，造成参数的估计值和真实参数之间的偏差越来越大。v为了克服数据饱和现象，可以用降低旧数据影响的办法来修正算法。而对于时变系统，估计k时刻的参数最好用k时刻附近的数据估计较准确。否则新数据所带来的信息将被就数据所淹没。v几种算法：渐消记忆法，限定记忆法与振荡记忆法1）渐消记忆法v该法
9、的思想是对过去数据乘上加权因子 ，利用加权来人为地降低老数据的作用。v考虑下列目标函数v其中 ，当 时就是标准的最小二乘算法，可以证明其递推算法是41a41b41cv证明：令v则利用矩阵求逆令证毕一般情况下比较适宜，太小了会降低参数估计的精度。 的一个很好的选择是令典型取值4-22）限定记忆法v这种估计算法只用最新的N个数据，在此前的数据，全部删除掉。v如考虑一个固定长度为N的矩形窗，每一时刻一个新数据点增加进来，一个老数据点剔除出去，这样就保持了每次都只取最新的N组数据。v用下标 表示用第 组直到 组观测值计算到的各种变量，例如 表示第 组直到 组一共N1组观测数据计算到的参数估计值。v而 表示第 组到 组一共N组观测数据计算到的参数估计值。v这样，递推方程（41）中， 则可写成v为了保持数据窗的长度等于N，要从上三式中剔除i时刻的观测值，即求v其中：v利用矩阵求逆运算，可得该式就是限定记忆的最小二乘递推法3）振荡记忆算法v振荡记忆算法指整段剔除N组数据的方法，即当数据长度已经达到2N时，可剔除开始的N个数据。其有用的数据在N到2N之间变化练习v根据递推最小二乘算法，矩阵求逆公式以及公式(4-1-b),(4-1-c)和（4-2），推导公式(4-1-a)
