《上海交大数值分析课件数值分析3-4》由会员分享，可在线阅读，更多相关《上海交大数值分析课件数值分析3-4（31页珍藏版）》请在金锄头文库上搜索。
1、一、最小二乘法的定义 第3章 函数逼近与曲线拟合 4 曲线拟合的最小二乘法 二、求解方法三、求解步骤 四、举例 一、最小二乘法的定义1. 问题的产生在实际研究中，f(x)是未知的(并非复杂的)，但已知一组实验数据 （xi，yi）(i=0,1,m)，我们的任务是寻找自变量x与因变量y之间的函数关系y=F(x) ，即曲线拟合由于观测数据有误差，因此不要求y=F(x)经过所有点，而只要求在给定点上误差按某种标准最小。度量标准不同，将导致不同的拟合结果， 常用的准则有如下三种：(1)使残差的最大绝对值为最小(2)使残差的绝对值之和为最小(3)使残差的平方和为最小 最小二乘法2. 多项式拟合的一般定义一
2、组数据（xi，yi）(i=0,1,m)，已知 ：求：在函数类 中找一个函数 ，使误差平方和最小，即这里3. 一般定义一组数据（xi，yi）(i=0,1,m)，已知 ：求：在函数类 中找一个函数 ，使误差平方和最小，即这里4. 广义定义通常把最小二乘法 都考虑为加权平方和 即其中注：权函数在实际问题中有重要作用！二、求解方法求S*(x)求如下多元函数的最小值由多元函数 求极值的必 要条件展开用矩阵表示解方程组 法方程三、求解步骤确定拟合曲线的形式确定变量对应的数据确定法方程求解法方程最困难！四、举例例1. 已知一组实验数据如下，求它的拟合曲线.xi12345 fi44.5688.5 i21311
3、解根据所给数据，在坐标纸上标出，从图 中看到各点在一条直线附近，故可选择 线性函数作拟合曲线，即令这里故得法方程为解得于是所求拟合曲线为例2. 在某化学反应里，根据实验所得生成物的浓度与时间关系如下表，求浓度y与时间t的拟合曲线y=F(t).t12345678Y4.006.408.008.809.229.509.709.86 t910111213141516y10.00 10.20 10.32 10.42 10.50 10.55 10.58 10.60解根据所给数据，在坐标纸上标出，得下图ty从图中可以看出开始时浓度增加较快，后来 逐渐减弱，到一定时间就基本稳定在一个数 值上，即当t时，y趋于
4、某个常数，故有一 水平渐近线。另外 t = 0 时，反应未开始，浓 度为0。概括起来为根据这些条件，可设想两种形式的函数关系 ：y = F(t) 是双曲线型y = F(t) 是指数形式 b0y = F(t) 是双曲线型为了确定a、b，令于是可用 x 的线性函数 拟合数据 。 可由原始数据 计算出来。可求得 代入法方程得解得从而得到于是由 计算出 ，拟合数据 的曲线仍设为y = F(t) 是指数形式 为了确定a 与b，对上式两边取对数得令得法方程解得从而得到请回答:怎样比较这两个数学模型的好坏呢？答：只要分别计算这两个数学模型的误差，从中挑选误差较小的模型即可。本例经过计算可得而均方误差为由此可
5、知第二个模型较好。结论： 选择拟合曲线的数学模型，并不一定开始就能选好，往往需要通过分析若干模型后，经过实际计算才能选到较好的模型，如本例的指数模型就比双曲线模型好得多。例3. 用最小二乘法解超定方程组解欲求（x,y）使得其尽可能使四个等式成立，即使达到最小则（x,y）应满足即解得所以用最小二乘法解得的超定线性方程组的 解为第三章 补充 逼近问题的发展对基于经验数据估计函数依赖关系的方法的研究（从实例学习的研究）已经有很长的历史了。这些研究是由两个伟大的数学家开始 的：他们是高斯（Gauss,1777-1855）和拉普拉斯（Laplace,1749-1827），他们提出了从天文学和物理学中的观测结果估计依赖关系的两种不同方法。逼近问题的发展高斯提出了最小二乘法，而拉普拉斯提出了最小模方法。从那时起就有了下面的问题： 那种方法更好呢？在19世纪和20世纪初，人们更趋向于最小二乘法。在1953年，L.Le Cam定义了ML方法一致收敛的一些充分条件后，人们发现：如果离散 数据点的噪声是服从高斯（正态）规律的， 则最小二乘法给出最好的结果；若噪声是服 从拉普拉斯规律的，则最小模法给出最好的 结果。但遗憾的是，在实际中噪声的形式往往是未 知的。在上个世纪60年代，Tukey说明了在现实情况中，噪声的形式与高斯或拉普拉斯规律 都相去甚远。 回到起点 ！作业：习题 16，17，18
