《第3章曲线拟合的最小二乘法讲义》由会员分享,可在线阅读,更多相关《第3章曲线拟合的最小二乘法讲义(23页珍藏版)》请在金锄头文库上搜索。
1、第3章 曲线拟合的最小二乘法,给出一组离散点,确定一个函数逼近原函数,插值是这样的一种手段。在实际中,数据不可避免的会有误差,插值函数会将这些误差也包括在内。,因此,我们需要一种新的逼近原函数的手段: 不要求过所有的点(可以消除误差影响); 尽可能表现数据的趋势,靠近这些点。,有时候,问题本身不要求构造的函数过所有的点。如:5个风景点,要修一条公路S使得S为直线,且到所有风景点的距离和最小。,先讲些预备知识,对如上2类问题,有一个共同的数学提法:找函数空间上的函数g,使得g到f的距离最小。,向量范数,映射:,满足:,非负性,齐次性,三角不等式,称该映射为向量的一种范数,预备知识,我们定义两点的
2、距离为:,定义,常见的范数有:,常用范数的等价关系:,定义:函数 f 的离散范数为,提示:该种内积,范数的定义与向量的 2 范数一致,我们还可以定义函数的离散范数为:,f(x)为定义在区间a,b上的函数, 为区间上n+1个互不相同的点, 为给定的某一函数类。求 上的函数 g(x) 满足 f(x) 和 g(x) 的距离最小,如果这种距离取为2范数的话,称为最小二乘问题,曲线拟合的最小二乘问题,定义,下面我们来看看最小二乘问题:,求 使得 最小,设,最小,则,即,关于系数,由于它关于系数,最小,因此有:,即,写成矩阵形式有:,法方程,第一步:函数空间的基,,然后列出法方程,第一步:函数空间的基,,
3、然后列出法方程,例:,第一步:函数空间的基,,然后列出法方程,由,,可以先做,求解一个矛盾方程组,计算的是在均方误差,极小意义下的解,也就是最小二乘问题。,我们有:,矛盾方程组恒有解,且,矛盾方程组的求解,定义:矩阵范数,矩阵范数,是由向量的范数定义的,矩阵范数和条件数,矩阵范数也是等价的,对应于3种常见的向量范数,有3种矩阵范数,列和的最大值,行和的最大值,是ATA的最大特征值,也称为谱半径,定理:,若,为,的特征值,则,证:,x为A的特征值,#证毕,定义:,谱半径,易知:,条件数和病态矩阵,注意到,因为:,条件数,很小,条件数表示了对误差的放大率,同样,类似有,注:一般判断矩阵是否病态,并不计算A1,而由经验得出。 行列式很大或很小(如某些行、列近似相关); 元素间相差大数量级,且无规则; 主元消去过程中出现小主元; 特征值相差大数量级。,精确解为,A1 =,解:考察 A 的特征根,39206 1, 测试病态程度:,此时精确解为,2.0102 200%,为对称矩阵,Homework,对数据点,估计如下两组基函数的法方程的条件数,