《数值分析3-4(最小二乘法)【青苗书苑】》由会员分享，可在线阅读，更多相关《数值分析3-4(最小二乘法)【青苗书苑】（29页珍藏版）》请在金锄头文库上搜索。
1、一、最小二乘法的定义一、最小二乘法的定义 第第3 3章章 函数逼近与曲线拟合函数逼近与曲线拟合 4 4 曲线拟合的最小二乘法曲线拟合的最小二乘法 二、求解方法二、求解方法三、求解步骤三、求解步骤 四、举例四、举例 一、最小二乘法的定义一、最小二乘法的定义1. “曲线拟合曲线拟合”问题问题已已知知：一一组组实实验验数数据据（xi，yi）(i=0,1,m)， 且观测数据有误差且观测数据有误差求求：自自变变量量x与与因因变变量量y之之间间的的函函数数关关系系y=F(x) ，不不要要求求y=F(x)经经过过所所有有点点，而而只只要要求在给定点上误差求在给定点上误差按按某种标准某种标准最小。最小。(1)
2、使残差的最大绝对值为最小使残差的最大绝对值为最小(2)使残差的绝对值之和为最小使残差的绝对值之和为最小(3)使残差的平方和为最小使残差的平方和为最小最小二乘法最小二乘法度度量量标标准准不不同同，将将导导致致不不同同的的拟拟合合结结果果，常常用用的准则有如下三种：的准则有如下三种：2. 多项式拟合的一般定义多项式拟合的一般定义一组数据（一组数据（xi，yi）(i=0,1,m)，已知：已知：求：求： 在函数类在函数类 中找一中找一个函数个函数 ，使误差平方和最小，使误差平方和最小，即即这里这里3. 一般定义一般定义一组数据（一组数据（xi，yi）(i=0,1,m)，已知：已知：求：求： 在函数类在
3、函数类 中找一中找一个函数个函数 ，使误差平方和最小，使误差平方和最小，即即这里这里4. 广义定义广义定义通常把最小二乘法通常把最小二乘法 都考虑为加权平方和都考虑为加权平方和 即即其中其中注：权函数在实际问题中有重要作用！注：权函数在实际问题中有重要作用！二、求解方法二、求解方法求求S S* *(x)(x)求如下多元函数的最小值求如下多元函数的最小值由由多多元元函函数数求求极极值值的的必必要条件要条件展开展开法方程法方程解方程组解方程组三、求解步骤三、求解步骤确定拟合曲线的形式确定拟合曲线的形式确定变量对应的数据确定变量对应的数据确定法方程确定法方程求解法方程求解法方程最困难！最困难！四、举
4、例四、举例例例1. 已知一组实验数据如下，求它的拟合曲线已知一组实验数据如下，求它的拟合曲线.xi12345fi44.5688.5i21311解解根根据据所所给给数数据据，在在坐坐标标纸纸上上标标出出，从从图图中中看看到到各各点点在在一一条条直直线线附附近近，故故可可选选择择线性函数作拟合曲线，即令线性函数作拟合曲线，即令得法方程为得法方程为解得解得于是所求拟合曲线为于是所求拟合曲线为例例2. 在在某某化化学学反反应应里里，根根据据实实验验所所得得生生成成物物的的浓浓度度与与时时间间关关系系如如下下表表，求求浓浓度度y与与时时间间t的的拟拟合曲线合曲线y=F(t).t12345678Y4.00
5、6.408.008.809.229.509.709.86t910111213141516y10.00 10.20 10.32 10.42 10.50 10.55 10.58 10.60解解根据所给数据，在坐标纸上标出，得下图根据所给数据，在坐标纸上标出，得下图ty从从图图中中可可以以看看出出开开始始时时浓浓度度增增加加较较快快，后后来来逐逐渐渐减减弱弱，到到一一定定时时间间就就基基本本稳稳定定在在一一个个数数值值上上，即即当当t时时，y趋趋于于某某个个常常数数，故故有有一一水水平平渐渐近近线线。另另外外 t = 0 时时，反反应应未未开开始始，浓浓度为度为0。概括起来为。概括起来为根据这些条件
6、，可设想两种形式的函数关系：根据这些条件，可设想两种形式的函数关系：y = F(t) 是双曲线型是双曲线型y = F(t) 是指数形式是指数形式 b0y = F(t) 是双曲线型是双曲线型为了确定为了确定a、b，令，令于是可用于是可用 x 的线性函数的线性函数 拟合拟合数据数据 。 可由原始可由原始数据数据 计算出来。计算出来。可求得可求得 代入法方程得代入法方程得解得解得从而得到从而得到于于是是由由 计计算算出出 ，拟拟合合数数据据 的曲线仍设为的曲线仍设为y = F(t) 是指数形式是指数形式 为了确定为了确定a 与与b，对上式两边取对数得，对上式两边取对数得令令得法方程得法方程解得解得从
7、而得到从而得到请回答请回答: :怎样比较这两个数学模型的好坏呢？怎样比较这两个数学模型的好坏呢？答答：只只要要分分别别计计算算这这两两个个数数学学模模型型的的误误差差，从中挑选误差较小的模型即可。从中挑选误差较小的模型即可。本例经过计算可得本例经过计算可得而均方误差为而均方误差为由此可知第二个模型较好。由此可知第二个模型较好。结论：结论： 选择拟合曲线的数学模型，并不一定开始选择拟合曲线的数学模型，并不一定开始就能选好，往往需要通过分析若干模型后，就能选好，往往需要通过分析若干模型后，经过实际计算才能选到较好的模型，如本经过实际计算才能选到较好的模型，如本例的指数模型就比双曲线模型好得多。例的
8、指数模型就比双曲线模型好得多。例例3. 用最小二乘法解超定方程组用最小二乘法解超定方程组解解欲欲求求（x,y）使使得得其其尽尽可可能能使使四四个个等等式式成成立，即使立，即使达到最小达到最小则（则（x,y）应满足）应满足即即解得解得所以用最小二乘法解得的超定线性方程组的所以用最小二乘法解得的超定线性方程组的解为解为第三章第三章 补充补充 逼近问题的发展逼近问题的发展对对基基于于经经验验数数据据估估计计函函数数依依赖赖关关系系的的方方法法的的研研究究（从从实实例例学学习习的的研研究究）已已经经有有很很长长的的历历史史了了。这这些些研研究究是是由由两两个个伟伟大大的的数数学学家家开开始始的的：他他
9、们们是是高高斯斯（Gauss,1777-1855）和和拉拉普普拉拉斯斯（Laplace,1749-1827），他他们们提提出出了了从从天天文文学学和和物物理理学学中中的的观观测测结结果果估估计计依依赖赖关关系系的两种不同方法。的两种不同方法。逼近问题的发展逼近问题的发展高高斯斯提提出出了了最最小小二二乘乘法法，而而拉拉普普拉拉斯斯提提出出了了最最小小模模方方法法。从从那那时时起起就就有有了了下下面面的的问问题题：那那种种方方法法更更好好呢呢？在在19世世纪纪和和20世世纪纪初初，人人们更趋向于最小二乘法。们更趋向于最小二乘法。在在1953年年，L.Le Cam定定义义了了ML方方法法一一致致收
10、收敛敛的的一一些些充充分分条条件件后后，人人们们发发现现：如如果果离离散散数数据据点点的的噪噪声声是是服服从从高高斯斯（正正态态）规规律律的的，则则最最小小二二乘乘法法给给出出最最好好的的结结果果；若若噪噪声声是是服服从从拉拉普普拉拉斯斯规规律律的的，则则最最小小模模法法给给出出最最好好的的结果。结果。 但但遗遗憾憾的的是是，在在实实际际中中噪噪声声的的形形式式往往往往是是未未知知的的。在在上上个个世世纪纪60年年代代，Tukey说说明明了了在在现现实实情情况况中中，噪噪声声的的形形式式与与高高斯斯或或拉拉普普拉拉斯斯规规律律都相去甚远。都相去甚远。回到起点！回到起点！作业：作业：习题习题 1616，1717，1818( (数据有删减数据有删减) )
