《数值分析最小二乘法ppt课件.ppt》由会员分享，可在线阅读，更多相关《数值分析最小二乘法ppt课件.ppt（30页珍藏版）》请在金锄头文库上搜索。
1、一 最小二乘法的定义 第3章 函数逼近与曲线拟合 4 曲线拟合的最小二乘法 二 求解方法 三 求解步骤 四 举例 一 最小二乘法的定义 1 曲线拟合 问题 已知 一组实验数据 xi yi i 0 1 m 且观测数据有误差 求 自变量x与因变量y之间的函数关系 y F x 不要求y F x 经过所有点 而只要 求在给定点上误差 按某种标准最小 1 使残差的最大绝对值为最小 2 使残差的绝对值之和为最小 3 使残差的平方和为最小 最小二乘法 度量标准不同 将导致不同的拟合结果 常用 的准则有如下三种 2 多项式拟合的一般定义 一组数据 xi yi i 0 1 m 已知 求 在函数类 中找一 个函数
2、 使误差平方和最小 即 这里 3 一般定义 一组数据 xi yi i 0 1 m 已知 求 在函数类 中找一 个函数 使误差平方和最小 即 这里 4 广义定义 通常把最小二乘法 都考虑为加权平方和 即 其中 注 权函数在实际问题中有重要作用 二 求解方法 求S x 求如下多元函数的最小值 由多元函数 求极值的必 要条件 展开 法方程 解方程组 三 求解步骤 确定拟合曲线的形式 确定变量对应的数据 确定法方程 求解法方程 最困难 四 举例 例1 已知一组实验数据如下 求它的拟合曲线 xi12345 fi44 5688 5 i21311 解根据所给数据 在坐标纸上标出 从图 中看到各点在一条直线附
3、近 故可选择 线性函数作拟合曲线 即令 得法方程为 解得 于是所求拟合曲线为 例2 在某化学反应里 根据实验所得生成物的 浓度与时间关系如下表 求浓度y与时间t的拟 合曲线y F t t12345678 Y 4 006 408 008 809 229 509 709 86 t910111213141516 y 10 00 10 20 10 32 10 42 10 50 10 55 10 58 10 60 解根据所给数据 在坐标纸上标出 得下图 t y 从图中可以看出开始时浓度增加较快 后来 逐渐减弱 到一定时间就基本稳定在一个数 值上 即当t 时 y趋于某个常数 故有一 水平渐近线 另外 t
4、0 时 反应未开始 浓 度为0 概括起来为 根据这些条件 可设想两种形式的函数关系 y F t 是双曲线型 y F t 是指数形式 b 0 y F t 是双曲线型 为了确定a b 令 于是可用 x 的线性函数 拟合 数据 可由原始 数据 计算出来 可求得 代入法方程得 解得 从而得到 于是由 计算出 拟合数 据 的曲线仍设为 y F t 是指数形式 为了确定a 与b 对上式两边取对数得 令 得法方程 解得 从而得到 请回答 怎样比较这两个数学模型的好坏呢 答 只要分别计算这两个数学模型的误差 从中挑选误差较小的模型即可 本例经过计算可得 而均方误差为 由此可知第二个模型较好 结论 选择拟合曲线
5、的数学模型 并不一定开始 就能选好 往往需要通过分析若干模型后 经过实际计算才能选到较好的模型 如 本例的指数模型就比双曲线模型好得多 例3 用最小二乘法解超定方程组 解欲求 x y 使得其尽可能使四个等式成 立 即使 达到最小 则 x y 应满足 即解得 所以用最小二乘法解得的超定线性方程组的 解为 第三章 补充 逼近问题的发展 对基于经验数据估计函数依赖关系的方法的 研究 从实例学习的研究 已经有很长的历 史了 这些研究是由两个伟大的数学家开始 的 他们是高斯 Gauss 1777 1855 和拉普 拉斯 Laplace 1749 1827 他们提出了从 天文学和物理学中的观测结果估计依赖
6、关系 的两种不同方法 逼近问题的发展 高斯提出了最小二乘法 而拉普拉斯提出了 最小模方法 从那时起就有了下面的问题 那种方法更好呢 在19世纪和20世纪初 人 们更趋向于最小二乘法 在1953年 L Le Cam定义了ML方法一致收 敛的一些充分条件后 人们发现 如果离散 数据点的噪声是服从高斯 正态 规律的 则最小二乘法给出最好的结果 若噪声是服 从拉普拉斯规律的 则最小模法给出最好的 结果 但遗憾的是 在实际中噪声的形式往往是未 知的 在上个世纪60年代 Tukey说明了在现 实情况中 噪声的形式与高斯或拉普拉斯规律 都相去甚远 回到起点 作业 习题 16 17 18 数据有删减 此课件下载可自行编辑修改 供参考 感谢您的支持 我们努力做得更好 30
