《高等数值分析(曲线拟合)》由会员分享，可在线阅读，更多相关《高等数值分析(曲线拟合)（37页珍藏版）》请在金锄头文库上搜索。
1、高等数值分析曲线拟合XXX2012.11.27主要内容u拟合的基本概念和最小二乘原理u解线性超定方程组u最小二乘拟合问题的一般解法线性组合模型下最小二乘拟合的一般解法常用的线性组合模型的最小二乘解u广义最小二乘拟合问题 为了测定两个变量x和y之间的函数关系，可以通过实验得到一系列离散的数据点 ，然而这些数据点可能存在一定的观察误差。如何利用这些带误差的数据点得到变量之间的函数关系呢？拟合的基本概念和最小二乘原理x把数据点在坐标图上描出，得到散点图由于数据量大，高次插值会引起严重误差，分段插值则会使函数非常复杂，并且保留了原始数据的误差。利用线性函数拟合插值观察到 x 和y 之间大致呈线性关系我
2、们不要求逼近函数通过所有数据点，而是希望逼近函数的形式相对简单，并且与各数据点的偏差在某种标准下最小化，这就是拟合。插值与拟合这两类函数逼近方法的比较插插 值拟 合合适用条件给定一系列原始数据点原始数据一般比较精确数据量少给定一系列原始数据点原始数据一般带有一定的误差数据量较大逼近函数常常采用多项式作为插值函数当数据点较多时，采用单个高次多项式进行插值会引起龙格现象，产生震荡，因此需要采用分段、样条等插值方法，此时插值函数是一个分段函数。可以根据实践者的经验知识和实际应用需要，选择简单、合适的函数类型进行拟合。拟合函数可以是多项式、三角函数、指数函数等各种不同形式。特点插值函数 y=(x) 必
3、须通过所有插值点，即对任意 ，有 不要求拟合函数 y=p(x) 一定通过数据点，而要求 p(x)能反映数据点的变化趋势，即偏差 在某种度量标准(如最小二乘标准) 下最小图标评价拟合函数数y=p(x) 与原始数据之间的偏差情况（如下图）通常有以下几种方法：(1) 使拟合函数与各个原始数据的偏差的绝对值的最大值最小化，即最小化的值。其中为原始数据。这实际上对应于向量的-范数 (2) 使拟合函数与各个数据的偏差的绝对值之和最小化，即最小化的值。这实际上对应于向量r 的1-范数。 (3) 使拟合函数与各个数据的偏差的平方和最小化，即最小化的值。这实际上对应于向量r 的2-范数的平方。定义定义1 1 最
4、小二乘拟合问题最小二乘拟合问题给定数据点选择合适的函数类型，求该函数类型中的一个函数，使得p(x) 在各个数据点上的偏差 的平方和最小化，即 这个最小化问题即为最小二乘拟合问题最小二乘拟合问题，拟合函数 p(x) 称为上述实验数据的最小二乘解最小二乘解，求拟合函数 p(x) 的过程则称为曲线拟合的曲线拟合的最小二乘法最小二乘法。例1、已知气压存在随着海拔高度的上升而下降的关系，表1给出了在某地粗略测得的不同海拔高度时的气压值。利用这些数据，试寻找气压与海拔高度之间的所满足的大致关系。表1 气压与海拔高度关系表解解: (1)取海拔高度为自变量x，气压为因变量y，根据表1所给的40个数据点做出如图
5、1所示的散点图，观察x 与y 之间的分布规律。图1 气压与海拔高度散点图 设y=ax+b,把40个数据点代入，得到方程组 0a+b=1011.5 20a+b=1011 780a+b=949.9 根据最小二乘原理，把问题转换为最小化问题，使拟合函数与数据点的偏差的平方和最小化，即 (2) 从散点图可以看出y 与 x 大致成线性关系，不妨设拟合函数为 y=ax+b。转换2个未知数，40个方程，无解！这个问题就可解了！这类方程个数大于未知数个数的方程组称为超定方程超定方程组，一般来说是无解的。(3) 解函数的最小化问题。根据微积分中求极值的原理，对求最小值，相当于分别对a，b求偏导数，其值都为0，得
6、到以下方程组这个方程组称为上述拟合问题的正规方程组。解这个方程组得到a=-0.077 249 1, b=1010.87。因此，所求的拟合函数为 y=-0.077 249 1x+1010.87(4) 观察拟合函数对原始数据的拟合情况，决定拟合结果能否被接受。本例中的拟合函数如下图2所示。可以看到，该拟合函数能大致反映原始数据点的变化趋势。图2 拟合函数图示通过上述例子可以看到，给定一组带有误差的实验数据，采用最小二乘原理，对数据进行拟合的基本步骤包括：步骤： 作散点图，观察实验数据的一般趋势，选择合适的拟合函数类型。步骤： 观察拟合函数对数据的拟合效果，如果拟合效果不理想，则选择新的拟合函数类型
7、，按照上述过程重新拟合。步骤： 根据拟合函数的类型，选择合适的方法，求最小二乘解。步骤： 根据最小二乘拟合原理，把问题转换为使拟合函数与原始数据之间偏差的平方和最小的问题。解线性超定方程组 方程个数大于未知数个数的方程组称为超定方程组超定方程组。一般而言，超定方程组是无解的（这时也称为矛盾方程组），因此，需要用最小二乘原理来求出超定方程组的最小二乘解。不妨设线性超定方程组为其中有mn。记则超定方程组可以写成Ax=b 的矩阵形式。由于上述超定方程组Ax=b在一般情况下无解，因此需要寻找最小二乘解，也就是要找到一组使得最小化。用矩阵的形式来描述，就是要使即向量Ax-b 的2-范数的平方最小化。为了
8、得到线性超定方程组的最小二乘解，有如下定理：定理定理1：x* 是超定方程组Ax=b 的最小二乘解的充分必要条件是x* 是方程组的解。定理定理1： x* 是超定方程组Ax=b 的最小二乘解的充分必要条件是x* 是方程组的解。证明：先证明充分性。记 (x,y) 为向量x 和y 的内积。根据向量内积及2-范数的定义，可知设x* 是方程组的解，并设是任意一个n 维向量，则有又因为x* 是方程组 的解，所以 代入上式得也就是说，对任意n 维向量，都有，所以x* 是该超定方程组的最小二乘解。 证明：下面证明必要性。定理定理1： x* 是超定方程组Ax=b 的最小二乘解的充分必要条件是x* 是方程组的解。若
9、向量是超定方程组Ax=b 的最小二乘解，则有求求线性超定方程性超定方程组最小二乘解的基本方法：最小二乘解的基本方法：求超定方程组 Ax=b 的最小二乘解求方程组的解达到最小值。根据多元函数求极值的条件，对各个变量的偏导数值为0，即改写得根据线性代数中的矩阵相乘法则，上面的式子就对应于定理证毕！例2、已知超定方程组求出其最小二乘解。解：方程组的系数矩阵和右端项为解方程组得，即该超定方程组的最小二乘解是有定理1可知，求超定方程组的最小二乘解对应于解下面的方程组即最小二乘拟合问题的一般解法为了便于讨论，不妨假设离散最小二乘拟合问题的原始数据是， ，拟合函数类型为，对任意函数，有如下形式其中，x 是函
10、数的变量，是函数中的待定系数。所能表达的拟合函数类型是多种多样的，例如：(1)多项式函数：(2) 三角函数：(3) 对数函数：(4) 指数函数：(5) 双曲函数：最小二乘拟合问题的求解目标就是确定待定系数的值，得到拟合函数，简记为p(x)，使的值最小化。一、线性组合模型下最小二乘拟合的一般解法一、线性组合模型下最小二乘拟合的一般解法下面分别从“利用偏利用偏导数求多元函数极数求多元函数极值”以及“求求线性超定性超定方程方程组的最小二乘解的最小二乘解”这两种思路出发，探索线性组合模型下最小二乘拟合的一般解法。给定n+1 个关于 x 的线性无关的连续函数，拟合函数p(x) 是由的线性组合所构成，即这
11、类函数称为广义多项式，以这种类型的函数作为拟合函数的最小二乘拟合问题称为线性组合模型的最小二乘拟合，函数称为该线性组合模型的基函数。线性组合的函数类型在实践中很常见，多项式函数和对数函数等都属于这一类。1 1、基于偏导数求多元函数极值的方法、基于偏导数求多元函数极值的方法线性模型的最小二乘拟合问题可以转化为使函数最小化的问题。对于任意待定系数，上式都是一个关于的线性函数。因此，根据求多元函数极值的原理，可以对上式的各个待定系数分别求偏导数，使其值均为0，从而得到以为未知数的方程组化简并移项得记则任意两个向量和的内积就是向量与向量的内积是这个方程组Gt=h 称为相应拟合问题的正正规方程方程组。当
12、线性无关时，系数矩阵G 的行列式不为0，所以上述方程组有唯一解，即相应的线性拟合问题有唯一解。那么方程组可简记为Gt = h其中2 2、基于解线性超定方程组的方法、基于解线性超定方程组的方法把所有数据点代入拟合函数 ，以为未知数，可以得到一个含有m+1 个方程，n+1 个未知数的超定方程组把方程组的系数矩阵、未知向量和右端项记为根据定理1，上述超定方程组的最小二乘解对应于方程组的解。3 3、方法小结、方法小结步骤：计算系数矩阵步骤：计算列向量h步骤：解上述方程组比较上述两种思路得到的方程组Gt=h 和，根据矩阵乘法运算法则，容易得到，也就是说，无论采用偏导数求解多元函数极值问题的方法，还是采用
13、解线性超定方程组的方法，线性组合模型的最小二乘拟合问题最终都可以被转换为解正规方程组Gt=h 的问题。综上所述，解线性组合模型的最小二乘拟合问题的基本步骤可概括如下：给定拟合函数：数据点：二、常用线性组合模型的最小二乘解二、常用线性组合模型的最小二乘解根据上面介绍的方法，下面具体讨论两类常用的满足线性组合模型的最小二乘拟合问题。1 1、多项式模型、多项式模型令式中的基函数为 ，可以得到多项式函数以多项式函数作为拟合函数类型的拟合问题称为多项式拟合。根据上述讨论结果，把代入Gt=h ,可以得到方程组为了使方程组的关系更加清楚，记则上式所示的正规方程组可以简写为因此，求解多项式拟合问题只需要执行下
14、面两个步骤：计算以及的值，得到正规方程组；解正规方程组，求得的值。例3、给定如下一组实验数据：试求对上述数据作最小二乘拟合得到的二次多项式。序号序号012345678x1345678910y2781011111098解：设二次拟合多项式是则其相应的正规方程组是其中的值如下表3所示表3把这些值代入正规方程组，得解方程可得，即拟合多项式是图4 二次拟合函数的图示拟合函数如下图4所示，可见函数对数据的拟合情况比较理想。2 2、对数模型、对数模型令式中的基函数为 ，得到如下形式的对数函数根据 Gt=h ,可得正规方程组解此方程即可得到上述模型的最小二乘拟合解。序号序号01234x12345y0.050
15、.641.101.331.64例4、给定如下的一组实验数据：采用形如的拟合函数，求其最小二乘解。解：上述拟合问题的最小二乘解对应于方程组的解。把实验数据代入以上方程，得解方程组得，即拟合函数为：图5 对数拟合函数的图示图5给出了拟合函数的图示。广义最小二乘拟合问题定义定义2 2 连续性的最小二乘拟合问题连续性的最小二乘拟合问题给定在区间a,b 内定义的连续函数y=f(x) ，选择一种函数类型，对任意函数，有如下的形式其中 x 是函数变量，是函数中的系数，求函数简记为p(x)，使得该拟合函数满足的值最小化。即最小化函数p(x) 与原函数f (x) 在区间 a,b 内的误差的平方的积分，这就是连续
16、型的最小二乘拟合问题，也被称为函数的最佳平方逼近问题。离散型：离散型： 已知离散数据点对每个点都有一个正的权重值，表示该数据点的重要程度。确定参数，得到拟合函数p(x)，使得带权的最小二乘函数的值最小化，这个问题称为离散型的带权的最小二乘拟合问题。定义定义3 3 带权最小二乘拟合问题带权最小二乘拟合问题广义的最小二乘拟合问题就是上述各类最小拟合问题的集合。连续型：型： 已知在区间a,b 内定义的连续函数y=f(x)，并有在区间a,b 内定义的连续的权重函数(x) 。 (x) 非负可积，表示函数在区间a,b 内各个部分的重要程度。确定参数，得到拟合函数p(x)，使得带权的最小二乘函数的值最小化，这个问题称为连续型的带权最小二乘拟合问题。
