《最小二乘法综述》由会员分享，可在线阅读，更多相关《最小二乘法综述（25页珍藏版）》请在金锄头文库上搜索。
1、大学 年第学期期末考试系统辨识 (小论文)题 目：最小二乘法综述 学 院：电气与信息工程学院 系：自动化系 专 业：自动化 班 级：自动化*班 学生姓名： 学 号： 日 期：/12/27_ 最小二乘法综述摘要：最小二乘法是一种最基本的辨识措施，本文一方面对系统辨识概念以及最小二乘法原理进行了简介，针对最小二乘存在的缺陷：一是随着数据的增长，最小二乘法将浮现所谓的“数据饱和”现象；二是存在有色噪声时不能获得无偏一致估计。进行了分析并论述了几种能有效解决上述问题的改善型最小二乘法，分别称为遗忘因子法、限定记忆法和广义最小二乘法，并且在Matlab上进行了仿真分析。最后对最小二乘法在系统辨识中的发展
2、趋势做了预测。核心词：最小二乘法 改善型最小二乘法 Matlab 发展趋势 引 言系统辨识归根究竟是一种数学建模的过程，而建模过程中运用的措施并不唯一，最小二乘法是较早被应用于系统辨识中的一类措施。1962年，L. A. Zadeh 最先提出了系统辨识的定义：“辨识就是在输入和输出数据的基本上，从一组给定的模型类中，拟定一种与所测系统等价的模型。”简朴的来说，就是在既有数据的基本上，按照一种准则在一组模型类中选择一种与提供的数据拟合得最佳的模型。而根据最小二乘法的定义：“最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。”其基本思想就是让实测数据和估计数据之间的平方
3、和最小，这恰恰是系统辨识所需要解决的问题，因此最小二乘法很早就被用来求解辨识中需要的拟合数学模型。本文在论述最小二乘法理论的基本上对于其在系统辨识中的应用做了简介，并指出实际应用中存在的局限性，列举了几种改善型的最小二乘算法限定记忆法和遗忘因子法，并通过Matlab进行仿真分析，最后给出了系统辨识的发展趋势。1. 基于最小二乘法的系统辨识的理论基本及应用1.1最小二乘法历史简介18，意大利天文学家朱赛普皮亚齐发现了第一颗小行星谷神星。通过40天的跟踪观测后，由于谷神星运营至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家运用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的成果来
4、寻找谷神星都没有成果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的措施刊登于18她的著作天体运动论中。通过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个措施更加显示出其强大的生命力。1.2系统辨识的理论基本从字面上讲，系统辨识( System Identification) 就是辨认一种系统、辨识一种系统。系统一般是由表征系统输入输出关系的数学模型描述的，这个模型有其特定的构造和参数。因此，系统辨识涉及系统构造辨识 ( System Structure Ident
5、ification) 和参数估计( Parameter Estimation) 系统构造(或模型构造) 就是系统数学体现式的形式。对单输入单输出线性系统而言，模型构造就是系统的阶次(Order) ；对多变量线性系统而言，模型构造就是系统的能控性构造指数(Controllability Structure Index) 或能观测性构造指数 (Observability Structure Index) ，系统阶次等于系统的能控性构造指数或能观测性构造指数之和。对传递函数而言，系统参数就是传递函数分子分母多项式的系数(Coeffi-cient) ，系统阶次就是传递函数分母多项式的次数(Degree
6、) ; 对状态空间模型而言，系统参数就是状态空间模型的 A，B，C，D 矩阵，就是状态向量的维数或矩阵的维数，它等于系统的能控性构造指数系统阶次或能观测性构造指数之和。求解系统辨识问题实质上就是找到合适的数学措施来判断系统的构造以及得到系统参数。1.3最小二乘法原理最小二乘法作为一种老式的参数估计措施，早已经被人们所理解。 然而大多同窗对最小二乘法的结识都比较模糊，仅仅把最小二乘法理解为简朴的线性参数估计。 事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域均有着广泛的应用。特别是针对动态系统辨识的措施有诸多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识措施，研究最小二乘法在系
7、统辨识中的应用品有现实的、广泛的意义。因此要用最小二乘法解决实际的辨识问题，一方面要对最小二乘法有深刻理解。根据最小二乘法原理，也就是误差的平方和最小原理，设：z(k)为k时刻的测量值，为k时刻的估计值，误差的平方和J=,考虑线性离散系统下的差分方程，将其写成最小二乘格式则当。考虑到不同步刻的测量值的可信度，可以引入加权因子（k）则 由得因此使得J为极小值。1.4最小二乘法解决辨识问题的应用举例考虑如下线性系统： 其中，u(k)为系统鼓励信号，y(k)为系统输出，e(k)为模型噪声。其系统模型如图1所示：图1 SISO的系统模型构造图其中G(z-1)是系统函数模型，N(z-1)为有色噪声系统模
8、型，e(k)为白噪声v(k)通过系统函数为N(z-1)的系统后的输出。一般式中： 则系统可表达为： 设样本和参数集为： h(k)为可观测的量， 差分方程可写为最小二乘形式如何在系统噪声e(k)存在的状况下从该方程中对的的解出，即是系统辨识的任务。为了求出，我们面临三大问题：一是输入信号的选择，二是判决准则的选用，三是辨识算法的选择，下面一一探讨。1.4.1选择输入为了精确辨识系统参数，我们对输入信号有两大规定，一是信号要能持续的鼓励系统所有状态，二是信号频带能覆盖系统的频带宽度。除此之外还规定信号有可反复性，不能是不可反复的随机噪声，因此我们一般选择M序列或逆M序列作为输入。1.4.2准则函数
9、由于本文重要探讨最小二乘类辨识措施，在此选用准则函数使准则函数的估计值记做，称作参数的最小二乘估计值。在式中，令k=1,2,3,L，可构成线性方程组： 式中 准则函数相应变为：极小化,求得参数的估计值，将使模型更好的预报系统的输出。1.4.3最小辨识二乘算法设使得，则有展开上式，并根据如下两个向量微分公式：得正则方程： 当为正则阵时，有 且有，因此满足上式的唯一使得，这种通过极小化式计算的措施称作最小二乘法。并且可以证明，当噪声e(k)是均值为0的高斯白噪声时，可实现无偏估计。2.最小二乘法在辨识时存在的问题及其改善型最小二乘法2.1老式最小二乘存在的问题最小二乘法存在某些缺陷制约着最小二乘法
10、在系统辨识中的应用，在解决日益复杂的系统辨识问题中，最小二乘法在系统辨识中存在的缺陷逐渐显现出来。重要是有一下两方面的缺陷：一是当模型是有色噪声时，最小二乘参数估计不是无偏、一致估计；二是随着数据的增长，最小二乘法将浮现所谓的“数据饱和”现象。这是由于增益矩阵K(k)随着k的增长将逐渐趋近与零，以致递推算法慢慢失去修正能力之故。本节先给出了最小二乘的递推算法，由递推算法看出“数据饱和”目前，然后论述了两种解决这种现象的算法称为遗忘因子法和限定记忆法，最后还论述了一种解决存在有色噪声不能进行无偏估计的算法，称为广义最小二乘法。2.2最小二乘法的递推算法为了减少计算量，减少数据在计算机中占用的内存
11、，并实时辨识出系统动态特性，我们常运用最小二乘法的递推形式。下面我们来推导递推最小二乘算法的原理。一方面，将准则函数的最小二乘一次完毕算法写为 定义式中式中，h(i)是一种列向量，也就是HL的第i行的倒置，P(k)是一种方阵，它的维数取决于未知参数的个数，假设未知参数的个数是n，则P(k)的维数是nn.。由定义中的式子可得P(k)的递推关系为：设 则 由此可得： 由上述推导可得引进增益矩阵K(k)，定义 式可以进一步写为 接下来可以进一步把写为：运用矩阵反演公式将演变成： 将上式代入K(k)中，整顿后可得综合上式可得最小二乘递推参数估计算法RLS2.3 遗忘因子递推算法所谓“数据饱和”饱和现象
12、就是随着时间的推移，采集到的数据越来越多，新数据所提供的信息被沉没在老数据的海洋之中，由上节推导的RLS可知，k时刻的参数估计值是依托新信息与增益矩阵K(k)的乘积来修正的，K(k)的值越大，算法的修正能力越强，可是随着时间k的增长，K(k)的值会逐渐趋近于零，故算法就会失去修正能力，为此本节论述的遗忘因子算法能改善这种现象。这种措施的基本思想是对老数据加上遗忘因子，以减少老数据所提供的信息量，增长新数据的信息量。设SISO过程采用如下的数学模型： 其中u(k)和z(k)是过程的输入输出量，v(k)是零均值的不有关随机噪声，改成最小二乘的格式为：又可写为：当数据加衰减因子后，一次算法可以写成：
13、其中u称为遗忘因子，并且u不小于0不不小于等于1。定义则最后得令增益矩阵综上分析，遗忘因子的递推算法可以写为：可见，遗忘因子的递推算法和一般最小二乘法的递推算法的计算流程基本一致，但是遗忘因子必须选择接近于1的正数，一般不不不小于0.9，如果过程是线性的，应把u限定在0.95和1之间。2.4限定记忆递推算法最小二乘法或遗忘因子法在一次完毕算法中所用的数据长度L是一定的。但在递推算法中，数据长度L就不是固定的了，它随着时间k的推移而逐渐增长。这意味着老数据所含的信息在不断积累，长期下去新数据所含的信息将被沉没。新数据的作用就会被削弱。这种数据长度岁k不断增长的辨识算法称作增长记忆法，其特点是老数据所含的信息始终在起作用，相对将影响新数据的作用。另一类辨识算法叫做限定记忆法。这种措施的参数估计值始终依赖于有限个最新数据所提供的信息，每增长一种新数据的信息，就要去掉一种老数据的信息，数据的长度始终保持不变。它的特点是离现时刻L此前的老数据所含的信息从算法中彻底被刨除，影响参数估计值的数据始
