《课件i3_最小二乘法2010)》由会员分享，可在线阅读，更多相关《课件i3_最小二乘法2010)（41页珍藏版）》请在金锄头文库上搜索。
1、1 插值法小结插值法小结 Lagrange : 给出给出y0 yn，选基函数，选基函数 li(x)，其次数为 节点数 ，其次数为 节点数 1。 。 Newton Ln(x)，只是形式不同；节点等距或渐增节点 时方便处理。 ，只是形式不同；节点等距或渐增节点 时方便处理。 Spline：分段低次：分段低次, 自身光滑自身光滑, f 的导数只在边界给出。的导数只在边界给出。 2 在科学实验和生产实践中，经常要从一组实验数据 （xi,yi）(i=1,2,m)出发，寻求函数y = f (x)的一个近似表达 式y =p(x)（称为经验公式）。从几何上看，就是希望根据给 定的m个点（xi,yi） ，求曲线
2、y = f (x)的一条近似曲线y =p(x) 。 因此，这是一个曲线拟合的问题。 多项式插值虽然在一定程度上解决了由函数表求函数的 近似表达式问题，但用它来解决这里提出的问题，是有明显 缺陷的。 第3章曲线拟合的最小二乘法第3章曲线拟合的最小二乘法 3.1 引言 3 多项式插值的缺陷多项式插值的缺陷 由实验提供的数据通常带有测试误差。如果要求近似曲 线y=p(x)严格地通过所给的每个数据点（xi,yi），就会使曲线保 留着原有的测试误差。当个别数据的误差较大时，插值效果显 然是不理想的。 怎样从给定的一组实验数据出发，在某个函数类中 寻求一个“最好”的函数p(x)来拟合这组数据-拟合 随着拟
3、合效果“好”、“坏”标准的不同，解决此类问题的 方法也就不同。这里，将介绍一种最常用的曲线拟合方法， 即最小二乘法。 4 3.2 什么是最小二乘法3.2 什么是最小二乘法 在一般情况下，不能要求近似曲线y=p(x)严格地通过所 有数据点（xi,yi）,亦即不能要求拟合函数在xi处的残差（亦称 偏差） ), 2 , 1( )(miyxp iii ?= 都严格地等于零。但是，为了使近似曲线能尽量反映所给数 据点的变化趋势，要求都较小还是需要的。达到这一目 标的途径很多，常见的有： i 1）选取p(x),使残差绝对值之和最小，即 min)( 11 = = m i ii m i i yxp 5 （2）
4、选取p(x),使残差最大绝对值最小，即 min)(maxmax 1 1 = ii mi mi i yxp （3）选取p(x),使残差平方和s最小，即 min)( 2 11 2 = = ii m i m i i yxps 为了便于计算、分析与应用，较多地根据“使残差平方和 最小”的原则（称为最小二乘原则）来选取拟合曲线y=p（x）。 按最小二乘原则选择拟合曲线的方法，称为最小二乘法最小二乘法。 p(x)称为m个数据（xi,yi）(i=1,2,m)的最小二乘法拟合函数。最小二乘法拟合函数。 y p(x)近似反映了变量x和y之间的函数关系 y = f (x)，称为经验 公式 经验 公式或数学模型数学
5、模型。 f (x)称为被拟合函数被拟合函数。 6 多项式插值：必须通过所有的数据点。 最小二乘法：不需要通过所有的数据点，而是数据点误差 之和最小。 7 定义1 设x1, x2,xn为互不相同的点，01 ( ),( ),( )1 m xxxm+?是 个已知函数。如果存在不全为零的常数，使得 01 , m C CC? 0 01 1 ( )( )( ) 0 (1,2, ), jjm mj CxCxCxjn+=? 则称函数（关于节点x1, x2,xn）是线 性相关 线 性相关的，否则称为线性无关线性无关。 01 ( ),( ),( ) m xxx? 例如，在 +（，）中函数系 01 0 , cos,
6、 sin n nn j kk j xkxkx = = 以及 1 cos ,sin ,cos2 ,cos,sinxxxnxnx?， 都是线性无关的 8 定义2 给定数据(xj,yj)(j=1,2,n)。 yny2y1y=f (x) xnx2x1x ( )(0,) k x km=?其中 2 2 110 ()() (3.2.5) nnm jjkkjj jjk P xyaxy = = 0011 ( )( )( )( ) (3.2.4) mm P xaxaxax=+? 设拟合函数的形式为 为已知的线性无关函数，求系数 01 , m a aa?使得 最小，若 22 * 1010 0 ()min() (3.
7、2.6) k nmnm kkjjkkjj aR jkjk km axyaxy = = 9 * 0011 ( )( )( )( ) mm P xaxaxax=+? 则称相应的 为最小二乘拟合函数最小二乘拟合函数 特别地，若 *2* 012 ( ) m m P xaa xa xa x=+? 则称P(x)为m次最小二乘拟合多项式次最小二乘拟合多项式。 10 用最小二乘法解决实际问题包含两个基本环节： （1） 先根据所给数据点的变化趋势与问题实际背景确定 线性无关的函数，即确定P(x)所具有的形 式。 （2 ）然后按最小二乘原则(残差平方和S最小) 求取最小二乘解，即确定其系数。 *( ) P x *
8、( 0,1, ) k a km=? 2 2 11 ( )min nh jjj jj SP xy = = 则可以得到拟合曲线 ( )(0,) k x km=? * 0011 * 0 ( )( )( )( ) ( ) mm m kk k P xaxaxax ax = =+ = ? 11 3. 3 最小二乘解的求法最小二乘解的求法 最小二乘解应满足条件 得: 点是多元函数 的极小点。 由多元函数取极值的必要条件知， * 01 (,) m aaa? 满足方程组 01 (,) 0 (0,1,) m k S aaa km a = ? ? 用求多元函数极值的方法求最小点 * 01 (,) m aaa? 22
9、 * 1010 0 ()min() k nmnm kkjjkkjj aR jkjk km axyaxy = = * 01 (,) m aaa? 2 2 01 110 (,)()()(*) nnm mjjkkjj jjk S aaaP xyaxy = = ? * 01 (,) m aaa? 12 将式(*)两边对ak求偏导，并令 2 2 01 110 (,)()(*)( ) nnm mjjkkjj jjk S aaaP xyaxy = = ? 2 11 * 10 () () 2() =2()() =0 (0,1,.,) nn j jjjj jj kkk nm iijjkj ji P x S P
10、xyP xy aaa axyxkm = = = = 0 00 0 1 001 00 2()()0 0 02()()0 0 2()()0 nm iijjj ji nm iijjj ji nm iijjmj m ji S axyx a S axyx a S axyx a = = = = = = = = = ? ? 13 即 * 0011 1 ()()()()0 n kjjjmmjj j xaxaxaxy = += ? 亦即 * 0011 1111 ( ) ( )( ) ( )( )( )( ) nnnn kjjkjjmkjmjkjj jjjj axxaxxaxxx y = += ? 即 * 011
11、 ()()() (0,1, ) mnn ijkjijkj ijj xxayxkm = = ? 14 为了将上式表达得更简洁，引进内积记号，在线性代数中， Rn中两个向量的内积定义为 11 ( ,)(,) TT nn xxyy=xy?和 11 ( , ) nn x yx y=+x y? 将它加以推广有下面的定义。 00 000 11 000 000 ()()() ()()() ()()() mnn ijjijj ijj mnn ijjijj ijj mnn ijnjijnj ijj xxayx xxayx xxayx = = = = = = ? 15 定义定义3 设u(x)与v(x)是两个已知函
12、数，记 1212 ( (), (), () ,( (), (), () , TT nn u xu xu xv xv xv x=uv?令 1 ( , )() () (4.66) n jj j u x v x = =u v 称之为u和和v的内积的内积。 内积的性质： 12 1) ( , )0,( , )00; 2) ( , )( , ); 3) (,)( ,)( ,); ( (), (), () 4) (, )( , )( T n w xw xw x = = +=+ = = u uu uu u vu v uv wu wv w w u vu v ? 当且仅当 其中 为任意实数） 16 * 0011
13、(,)(,)(,)( ,) (0,1, ) kkmkmk aaay km += = ? ? 利用内积的定义，则式 * 0011 1111 ( ) ( )( ) ( )( )( )( ) nnnn kjjkjjmkjmjkjj jjjj axxaxxaxxx y = += ? 其中 01 02 0 01 0 () () () () n n x x x x = ? 11 12 1 11 1 () () () () n n x x x x = ? 11 22 11 () () , () () m m m mnn mnn xy xy y xy xy = ? 17 写成矩阵形式即 * 001000 0 * 011111 1 * 01 ( ,)( ,)(,)( ,) ( , )( , )(, )( , ) ( ,) ( ,)(,)( ,) m m mmmmm m ya ya ya = ? ? ? ? 法方程组法方程组或正规方程组,其中系数矩阵是对称的。正规方程组,其中系数矩阵是对称的。 * 0011 (,)(,)(,)( ,) (0,1, ) kkmkmk aaay km
