最小二乘法在数学模型建立与检验中的运用

《最小二乘法在数学模型建立与检验中的运用》由会员分享，可在线阅读，更多相关《最小二乘法在数学模型建立与检验中的运用（20页珍藏版）》请在金锄头文库上搜索。

1、最小二乘法在数学模型建立与检验中的应最小二乘法在数学模型建立与检验中的应用用信息与计算科学专业 2008 级 周建勤摘要：本文主要研究了最小二乘法在建立数学模型中的参数学模型中的参数估计数估计，模型检验中的应用。通过给出最小二乘法在 Matlab 中的代码计算模型参数，误差精确 度，并给出检验模型是否具有多重共线，异方差性，序列相关性方法。关键词：最小二乘法；参数估计；误差精确度；多重共线性；异方差；自相关。Application of Least-Square Method on establish and test mathematical modelZhou Jianqin ,Grade

2、 2008,Information and Computing Science Abstract: In this text we main consider application of Least-Square Method in use of parameter estimation and model checking in mathematical models. By giving the least squares methods code in Matlab to find the model Heteroscedasticity, autocorrelation method

3、 parameters,Error accuracy and Test whether the model with multiple collinear heteroscedasticity, autocorrelation method. Keywords: least squares method; parameter estimation; error accuracy; multicollinearity; heteroscedasticity; autocorrelation.背景介绍最小二乘方法最早是有高斯提出的，他用这种方法解决了天文学方面的问题，特别是确 定了某些行星和彗星的

4、天体轨迹。最小二乘法普遍适用于各个科学领域，它在解决实际问 题中发挥了重要的作用。它在生产实践、科学实验及经济活动中均有广泛应用。近半个多世纪以来，随着计算机技术的迅速发展，数学的应用不仅在工程技术、自然科 学等领域发挥着越来越重要的作用，而且以空前的广度和深度向经济、管理、金融、生物、 医学、环境、地质、人口、交通等新的领域渗透，所谓数学技术已经成为当代高新技术的 重要组成部分 。数学模型是一种模拟，是用数学符号、数学式子、程序、图形等对实际课 题本质属性的抽象而又简洁的刻划，它或能解释某些客观现象，或能预测未来的发展规律， 或能为控制某一现象的发展提供某种意义下的最优策略或较好策略。数学模

5、型一般并非现实问题的直接翻版，它的建立常常既需要人们对现实问题深入细微的观察和分析，又需要 人们灵活巧妙地利用各种数学知识。这种应用知识从实际课题中抽象、提炼出数学模型的 过程就称为数学建模。 不论是用数学方法在科技和生产领域解决哪类实际问题，还是与 其它学科相结合形成交叉学科，首要的和关键的一步是建立研究对象的数学模型，并加以 计算求解。在已知系统模型结构时，用系统的输入和输出数据计算系统模型参数的过程。18 世纪末 德国数学家 C.F.高斯首先提出参数估计的方法，他用最小二乘法计算天体运行的轨道。20 世纪 60 年代,随着电子计算机的普及,参数估计有了飞速的发展。参数估计有多种方法，有

6、最小二乘法、极大似然法、极大验后法、最小风险法和极小化极大熵法等。在一定条件下， 后面三个方法都与极大似然法相同。最基本的方法是最小二乘法和极大似然法。 由于测量仪器的精度不完善和人为因素及外界条件的影响，测量误差总是不可避 免的。 为了提高成果的质量，处理好这些测量中存在的误差问题，观测值的个数往往要多于确定 未知量所必须观测的个数，也就是要进行多余观测。有了多余观测，势必在观测结果之间 产生矛盾，测量平差的目的就在于消除这些矛盾而求得观测量的最可靠结果并评定测量成 果的精度。测量平差采用的原理就是“最小二乘法”。由于误差的客观存在，真值一般是无法测得的。测量次数无限多时，根据正负误差出现

7、的概率相等的误差分布定律，在不存在系统误差的情况下，它们的平均值极为接近真值。 故在实验科学中真值的定义为无限多次观测值的平均值。但实际测定的次数总是有限的， 由有限次数求出的平均值，只能近似地接近于真值，可称此平均值为最佳值。 所谓多重共线性（Multicollinearity）是指线性回归模型中的解释变量之间由于存在精确 相关关系或高度相关关系而使模型估计失真或难以估计准确。一般来说，由于经济数据的 限制使得模型设计不当，导致设计矩阵中解释变量间存在普遍的相关关系。 经济学是非实 验型科学，经济数据是被动生成和由从事经济研究的人员被动获得，而且经济数据的获得 是不可控的，大多数情况下，人们

8、并不能按照自己的设计与要求获得相应的经济数据。所 以，为建模研究而取得的样本数据常常不能提供足够的信息，以至于导致多重共线性的产 生。异方差性（heteroscedasticity ）是为了保证回归参数估计量具有良好的统计性质，经典 线性回归模型的一个重要假定是：总体回归函数中的随机误差项满足同方差性，即它们都 有相同的方差。如果这一假定不满足，则称线性回归模型存在异方差性。线性回归模型中随机误差项存在序列相关的原因很多，但主要是经济变量自身特点、数 据特点、变量选择及模型函数形式选择引起的。 1.经济变量惯性的作用引起随机误差项自相关 2.经济行为的滞后性引起随机误差项自相关 3.一些随机因

9、素的干扰或影响引起随机误差项自相关 4.模型设定误差引起随机误差项自相关 5.观测数据处理引起随机误差项序列相关 文章对经典的最小二乘方法的应用背景、原理与算法进行了介绍，给出了它们在线性模 型参数估计中的 MATLAB 实现，以经典单方程数学模型为对象，介绍建立数学模型的过程， 主要采用回归分析的方法的数学模型，采用最小二乘法计算模型中参数，误差估计，并检 验模型的多重共线性，异方差，自相关性。知识预备最小二乘法最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数 据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据 与实际数据之间误差的平

10、方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题 也可通过最小化能量或最大化熵用最小二乘法来表达 。最小二乘法原理最小二乘法原理在我们研究两个变量（x,y）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1.x2,y2. xm,ym） ；将这些数据描绘在 x -y 直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1-1） 。 Y 计= a0 + a1 X （式1-1) 其中：a0、a1 是任意实数 为建立这直线方程就要确定 a0和 a1，应用最小二乘法原理 ，将实测值 Yi 与利用（式1-1）计算值（Y 计=a0+a1X）的离差（Yi-Y 计）的平方和（Yi

11、- Y 计）2最小为“优化判据”。 令： = （Yi - Y 计） （式1-2) 把（式1-1）代入（式1-2）中得： = （Yi - a0 - a1 Xi)2 （式1-3) 当（Yi-Y 计）平方最小时，可用函数 对 a0、a1求偏导数，令这两个偏导数等于零。 （式1-4)（式1-5) 亦即： m a0 + （Xi ) a1 = Yi （式1-6) （Xi ) a0 + （Xi2 ) a1 = （Xi,Yi) （式1-7) 得到的两个关于 a0、 a1为未知数的两个方程组，解这两个方程组得出： a0 = （Yi) / m - a1（Xi) / m （式1-8) a1 = mXi Yi - （

12、Xi Yi) / mXi2 - （Xi)2 ) （式1-9) 这时把 a0、a1代入（式1-1）中， 此时的(式1-1）就是我们回归的元线性方程即：数学模型。 在回归过程中，回归的关联式是不可能全部通过每个回归数据点（x1,y1. x2,y2.xm,ym） ，为了判断关联式的好坏，可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。 R = XiYi - m （Xi / m） （Yi / m)/ SQRXi2 - m （Xi / m)2Yi2 - m （Yi / m)2（式1-10) * 在（式1-1）中，

13、m 为样本容量，即实验次数；Xi、Yi 分别任意一组实验X、Y 的数值。编辑本段最小二乘法公式最小二乘法公式最小二乘法公式 注：以下“平”是指某参数的算数平均值。如：X 平x 的算术平均值。 1、（X-X 平） （Y-Y 平）= （XY-X 平 Y-XY 平+X 平 Y 平）= XY-X 平Y-Y 平X+nX 平 Y 平= XY-nX 平 Y 平-nX 平 Y 平+nX 平 Y 平=XY-nX 平 Y 平； 2、（X -X 平）2= （X2-2XX 平+X 平2)= X2-2nX 平2+nX 平2=X2-nX 平2；3、Y=kX+b k=（XY）平-X 平*Y 平）/（X2）平-(X 平）2）

14、 ， b=Y 平-kX 平； X 平=1/nXi， (XY）平=1/nXiYi；编辑本段最小二乘最小二乘法拟合法拟合对给定数据点(Xi，Yi)(i=0,1，m） ，在取定的函数类 中，求 p(x），使误差的平方和 E2最小，E2=p(Xi)-Yi2。从几何意义上讲，就是寻求与给定点 (Xi，Yi)(i=0,1，m）的距离平方和为最小的曲线 y=p(x） 。函数 p(x）称为拟合函数或最小二乘解，求拟合函数 p(x）的方法称为曲线拟合的最小二乘法。最小二乘法的矩阵形式最小二乘法的矩阵形式Ax=b，其中 A 为 nxk 的矩阵，x 为 kx1 的列向量，b 为 nx1 的列向量，nk。这个方 程系

15、统称为 Over Determined System，如果 n x=-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6;y=-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04; plot(x,y,r*), legend(实验数据(xi,yi) xlabel(x), ylabel(y), title(例7.2.1的数据点(xi,yi)的散点图) 运行后屏幕显示数据的散点图（略）. （3 3）编写下列 MATLAB 程序计算在处的函数值，即输入程序)(xf),(iiyx syms a1 a2 a3 a4 x=-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6; fi=a1.*x.3+ a2.*x.2+ a3.*x+ a4 运行后屏幕显示关于a1,a2, a3和a4的线性方程组 fi = -125/8*a1+25/4*a2-5/2*a3+a4, - 4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2- 11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9