《数值分析论文--曲线拟合的最小二乘法》由会员分享，可在线阅读，更多相关《数值分析论文--曲线拟合的最小二乘法（17页珍藏版）》请在金锄头文库上搜索。
1、曲线拟合的最小二乘法姓名 ： 徐 志 超学号 ： 2 0 1 3 73 0 0 59专业 ： 材 料 工 程学院 ： 材 料 科 学 与 工 程 学 院 科目 ： 数 值 分 析曲线拟合的最小二乘法一、目的和意义 在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。这类问 题通常有两种情况：一种是两个观测量 x 与 y 之间的函数形式已知，但一些参数 未知，需要确定未知参数的最佳估计值；另一种是 x 与 y 之间的函数形式还不知 道，需要找出它们之间的经验公式。后一种情况常假设 x 与 y 之间的关系是一个 待定的多
2、项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况 的处理方法。在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度 较高的观测量看作没有误差，并把这个观测量选作 x，而把所有的误差只认为是 y 的误差。设 x 和 y 的函数关系由理论公式yf（x；c1，c2，cm）（0-0-1）给出，其中 c1，c2，cm 是 m 个要通过实验确定的参数。对于每组观测 数据（xi，yi）i1，2，N。都对应于 xy 平面上一个点。若不存在测量误 差，则这些数据点都准确落在理论曲线上。只要选取 m 组测量值代入式（0-0-1）， 便得到方程组yif（x；c1，c2，cm）（0-0-2
3、）式中 i1，2，m.求 m 个方程的联立解即得 m 个参数的数值。显然 Nm 的情况下，式（0-0-2）成为矛盾方程组，不能直接用解方程的方法求得 m 个参数值，只能用曲线拟合的方法来处理。设测量中不存在着系统误差， 或者说已经修正，则 y 的观测值 yi 围绕着期望值 摆 动，其分布为正态分布，则 yi 的概率密度为p y i1 exp,式中i 是分布的标准误差。为简便起见，下面用 C 代表（c1，c2，cm）。 考虑各次测量是相互独立的，故观测值（y1，y2，cN）的似然函数11 Nyf x; C LN .expNi2 i 1 .取似然函数 L 最大来估计参数 C，应使N 12i i 1
4、if xi ; Cmin （0-0-3）取最小值：对于 y 的分布不限于正态分布来说，式（0-0-3）称为最小二乘 法准则。若为正态分布的情况，则最大似然法与最小二乘法是一致的。因权重因子i1 / 2i ，故式（0-0-3）表明，用最小二乘法来估计参数，要求各测量值 yi的偏差的加权平方和为最小。 根据式（0-0-3）的要求，应有N1y i ck i 1if xi ; Cc c0k1,2,., m从而得到方程组N 12i i 1if xi ; Cf x; C C kc c0k1,2,., m （0-0-4）解方程组（0-0-4） ，即得 m 个参数的估计值 c 1 , c 2 ,., c m
5、，从而得到拟合的曲2iy if xi ; c1 , c2 ,., cm222i221 22i22x2m i nNm2yy线方程 fx; c 1 , c 2 ,., c m 。然而，对拟合的结果还应给予合理的评价。若 yi 服从正态分布，可引入拟 合的 x2 量，N 22i i 1if xi ; C （0-0-5）把参数估计 cc 1 , c 2 ,., c m代入上式并比较式（0-0-3） ，便得到最小的 x2 值2 minN1 2i i 1if xi ; c（0-0-6）可以证明， xmin 服从自由度 vN-m 的 x2 分布，由此可对拟合结果作 x2 检验。22 由 x2 分布得知， 随
6、机变量 xmin 的期望值为 N-m。 如果由式 （0-0-6） 计算出 xmin接 近 N-m （ 例 如2 minNm ）， 则 认 为 拟 合 结 果 是 可 接 受 的 ； 如 果2 ，则认为拟合结果与观测值有显著的矛盾。 在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1、x2, y 2. xm , ym)；将这些数据描绘在 x -y 直角坐标系中(如图 1), 若 发现这些点在一条直线附近，可以令这条直线方程如(式 1-1)。Y 计= a0 + a1 X (式 1-1)其中：a0、a1 是任意实数为建立这直线方程就要确定 a0 和 a1，应用
7、最小二乘法原理，将实测 值 Yi 与利用(式 1-1)计算值(Y 计=a0+a1X)的离差(Yi-Y 计)的平方和(Yi - Y 计)2最小为“优化判据”。令: = (Yi - Y 计)2 (式 1-2)把(式 1-1)代入(式 1-2)中得:xxx122 = (Yi - a0 - a1 Xi)2 (式 1-3)当(Yi-Y 计)平方最小时，可用函数 对 a0、a1 求偏导数，令这两个偏 导数等于零。(式 1-4)(式 1-5)亦即：m a0 + (Xi ) a1 = Yi (式 1-6)(Xi ) a0 + (Xi2 ) a1 = (Xi, Yi) (式 1-7)得到的两个关于 a0、 a1
8、 为未知数的两个方程组，解这两个方程组得出：a0 = (Yi) /m - a1(Xi) /m (式 1-8)a1 = Xi Yi - (Xi Yi)/m / Xi2 - (Xi)2 /m) (式 1-9)这时把 a0、a1 代入(式 1-1)中, 此时的(式 1-1)就是我们回归的元线性方程 即：数学模型。在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1, y 1、 x2, y2.xm,ym),为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标 准偏差“S ”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S ”越趋近于 0 越好。R = XiYi -
9、 m (Xi / m)(Yi / m)/ SQR Xi2 - m (Xi / m)2 Yi2 - m (Yi /m)2 (式 1-10)在(式 1-1)中，m 为样本容量，即实验次数；Xi、Yi 分别任意一组实验 X、 Y 的数值。微积分应用课题一 最小二乘法从前面的学习中, 我们知道最小二乘法可以用来处理一组数据, 可以从一iiii012组测定的数据中寻求变量之间的依赖关系, 这种函数关系称为经验公式. 本课题将介绍最小二乘法的精确定义及如何寻求 与 之间近似成线性关系时的经验公 式. 假定实验测得变量之间的 个数据 , , , , 则在 平面上, 可以得到 个点 , 这种图形称为“散点图”
10、, 从图中可以粗略看出这些点大致散落在某直线近旁, 我 们认为 与 之间近似为一线性函数, 下面介绍求解步骤.考虑函数 , 其中 和 是待定常数. 如果 在一直线上, 可以认为变量之间 的关系为 . 但一般说来, 这些点不可能在同一直线上. 记 , 它反映了用直线 来 描述 , 时, 计算值 与实际值 产生的偏差. 当然要求偏差越小越好, 但由于 可 正可负, 因此不能认为总偏差 时, 函数 就很好地反映了变量之间的关系, 因为 此时每个偏差的绝对值可能很大. 为了改进这一缺陷, 就考虑用 来代替 . 但是 由于绝对值不易作解析运算, 因此, 进一步用 来度量总偏差. 因偏差的平方和 最小可以
11、保证每个偏差都不会很大. 于是问题归结为确定 中的常数 和 , 使 为 最小. 用这种方法确定系数 , 的方法称为最小二乘法.在 科 学 实 验 的 统 计 方 法 研 究 中 ， 往 往 要 从 一 组 实 验 数 据x , yi0,1, 2, m 中，寻找自变量 x 与因变量 y 之间的函数关系 yF x 。由于观测数据往往不准确，因此不要求 yF x 经过所有点 x , y，而只要求在 给 定 点x 上 误 差 而 只 要 求 所 在 所 有 给 定 点 x 上 的 误 差F ( x )y iiiiii0,1, 2, m 按某种标准最小。若记,，就是要求向量的范数最小。如果用最大范数，计
12、算上困难较大，通常采用欧式范数作为 2误差度量的标准。 F x 的函数类型往往与实验的物理背景以及数据的实际分布 有关，它一般含有某些待定参数。如果 F x 是所有待定参数的线性函数，那么 相应的问题称为线性最小二乘问题，否则称为非线性最小二乘问题。最小二乘法Tmiiiiixiii还是实验数据参数估计的重要工具。这是因为这种方法比其他方法更容易理解，即使在其他方法失效的情况下，用最小二乘法还能提供解答，而且从统计学的观 点分析，用该方法求得各项估计具有最优统计特征，因此这一方法也是系统识别 的重要基础。线性最小二乘问题可以借助多元微分学知识通过求解法方程组得到 解答。用最小二乘法求拟合曲线时，
13、首先要确定 S x 的形式。这不单纯是数学问题，还与所研究问题的运动规律以及所得观测数据 x , y有关；通常要从问题的运动规律以及给定数据描图，确定 S x 的形式，并通过实际计算选出较好的结果。为了使问题的提法更有一般性，通常把最小二乘法中的都考虑为加权平2方和m22xS xfx 2 i0这里0 是a , b 上的加权函数， 它表示不同点x , f x处的数据比重不同。二、计算实例从随机的数据中找出其规律性，给出其近似表达式的问题，在生产实践和科学实验中大量存在，通常利用数据的最小二乘法求得拟合曲线。 在某冶炼过程中，根据统计数据的含碳量与时间关系，试求含碳量 y 与时间 t 的t (分）
14、0555101520253035404550y10404.021.274.642.162.863.443.874.154.374.514.582,i i, yt yi ii, y,a, y23titiia拟合曲线。1、掌握曲线拟合的最小二乘法；2、最小二乘法亦可用于解超定线代数方程组；3、探索拟合函数的选择与拟合精度间的关系本 题 要 求 我 们 用ta 1 ta t 2a t 3对 曲 线 进 行 拟 合 ， 这 里23m1 1,t ,t ,t , 故 1231 1 211ii 01 2 6 5 0 ,12211 135 4 4 5 0 0 ,i 01 1 422ii 02 4 9 8 3
15、7 5 0 ,13311 142 4 9 8 3 7 5 0 ,i 032231 151 1 9 3 3 6 2 5 0 0 ,i 01 1 5 8 5 9 3 2 1 8 7 5 0i 01 1 , yt y1 3 6 5 . 5 5 ,1 1 22ii5 4 3 5 0 . 7 5 ,i 0i 01 1 3 , yt y2 3 7 9 8 4 6 . 2 5i 0n 由于k , j 0j a jd j k0,1, n , 可以利用此式算出拟合曲线的 a ，即111213111 ,a, y 212223222313233333,ttt33t6i131 12ii 0yti579所 以 求 得2 . 6 6 1 0，a5 .2 9 1 0，a3 . 5 2 1 0，t2 . 6 6 1 0 5 t5 . 2 9 1 07 t 23 . 5 2 1 09 t 3 ，误差为iiii0,1,11max0.455 ，而均方误差为0.i下图可见实际测出值与拟合值的差别，下表可见拟合出的每一点的误差以及 均方误差。54 .
