《56第五章 最小二乘解》由会员分享，可在线阅读，更多相关《56第五章 最小二乘解（64页珍藏版）》请在金锄头文库上搜索。
1、CH5 曲线拟合和函数逼近,1 最小二乘原理和多项式拟合 2 一般最小二乘拟合 3 正交多项式曲线拟合 4 最佳平方逼近,给出一组离散点，确定一个函数逼近原函数，插值是的一种手段。但在实际问题中，数据不可避免的会有误差，插值函数会将这些误差也包括在内。因此，我们需要一种新的逼近原函数的手段： 不要求过所有的点（可以减小误差影响）； 尽可能表现数据的趋势，靠近这些点。 如：5个风景点，要修一条公路主干道S使得S为直线，且到所有风景点的距离和最小，而不要求公路通过所有的风景点。,实例：考察某种纤维的强度与其拉伸倍数的关系,下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的记录:,1 最小二乘法
2、,纤维强度随拉伸倍数增加而增加，并且24个点大致分布在一条直线附近，因此可以认为强度y与拉伸倍数x的主要关系应是线性关系。,-(1),找一种度量标准来衡量什么曲线最接近所有数据点,一、最小二乘法原理,一般使用,在回归分析中称为残差,称为平方误差,从而确定(1)中的待定系数，求解y(x)。,仍然定义平方误差,二、线性最小二乘拟合, 基本思想,给定 ，设x,y的关系为,-(2),称满足条件(2)的求函数 的方法为线性最小二乘拟合。,称为最小二乘解的最小偏差。, 法方程组,由,可知,因此可假设,因此求最小二乘解转化为,二次函数,的最小值点 的问题,由多元函数取极值的必要条件,得,即,-(4),即,引
3、入记号,则由内积的概念可知,-(5),-(6),显然内积满足交换律,方程组(4)便可化为,-(7),将其表示成矩阵形式,-(8),记,则(8)可表示为,利用线性代数知识易证关于矩阵的秩成立：,又由关于秩的不等式得：,从而,几点备注：,证明：即证, 最小二乘多项式拟合,基函数之间的内积为,用多项式 作为 的拟合函数，它的基函数为,则最小二乘多项式拟合的法方程组为,- (9),最小二乘拟合多项式的存在唯一性,定理1 设点 互异，则法方程组(9)的解存 在且唯一。,定理2 设 是法方程组(9)的，则,是最小二乘拟合多项式，即,例1. 回到本节开始的实例，从散点图可以看出,纤维强度和拉伸倍数之间近似与
4、线性关系,故可选取线性函数,为拟合函数，其基函数为,建立法方程组,根据内积公式，可得,法方程组为,解得,最小偏差为,拟合曲线与散点的关系如下图:,例2. 求拟合下列数据的最小二乘解,x=.24 .65 .95 1.24 1.73 2.01 2.23 2.52 2.77 2.99y=.23 -.26 -1.10 -.45 .27 .10 -.29 .24.56 1,解:,从数据的散点图可以看出,6.7941 -5.3475 63.2589-5.3475 5.1084 -49.008663.2589 -49.0086 1002.5,1.6163-2.382726.7728,通过计算,得法方程组的系
5、数矩阵及常数项矩阵为,用Gauss列主元消去法,得,-1.0410 -1.2613 0.030735,拟合的最小偏差为,例3. 求拟合下列数据的最小二乘解(用二次多项式),x= -2 -1 0 1 2y= 0 -2 -1 1 2,练习,解得最小二乘拟合为：,三、非线性最小二乘拟合,思想：非线性线性化,例如,对拟合函数,两边取对数,例4.,在某化学反应里,测得生成物浓度y%与时间t的数据如下，试建立y关于t的经验公式,t=1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,y=4.00, 6.40, 8.00, 8.80, 9.22, 9.50, 9.70, 9.86,
6、 10.00, 10.20,10.32,10.42,10.50,10.55,10.58,10.60,解:,具有图示的图形的曲线很多，本题特提供两种形式,两边取对数,得,得,即为拟合函数,基函数为,解法方程组得,平方误差为,用最小二乘法得,即,无论从图形还是从平方误差考虑，在本例中指数函数拟合比双曲线拟合要好。,平方误差为,四、利用最小二乘原理求解矛盾方程组(不相容),例如,求不相容方程组,3 正交多项式曲线拟合,一、函数的最佳逼近,给定 线性无关,对 在中找 使得,称 为 在a, b上的最佳逼近函数。,例如,4 最佳平方逼近,预备知识：连续函数空间C a,b,1) 定义1 设在区间a,b上的非
7、负函数(x)满足：, 存在,则称(x)为a,b上的权函数(权)。,函数的内积,定义2 设 是a,b上的权函数，则积分 称为函数 f (x),g(x)在a,b,上以(x)为权函数的内积。定义了内积运算的连续函数空间称为内积空间。,定义3 如果f(x), g(x)C a, b，且满足：,则称f(x)与g(x)在a, b上关于权(x)正交；,则称 是a, b上带权(x)的正交函数族；,若a, b上的连续函数系 满足,2. 正交函数族,则称 是a, b上带权(x)的正交函数族；,若a, b上的连续函数系 满足,是首项次数不为零的k次多项式时，,时， 为标准正交函数族；,为a, b上带权(x)的正交多项
8、式系。,如：1，cosx，sinx，cos2x，sin2x，connx，sinnx， 是- , 的正交函数族！,正交多项式的性质,区间a,b上关于权(x)的n次正交多项式与任意 次数小于n的多项式在a,b上带权(x) 正交；,(2) 区间a,b上的n次正交多项式有n个互异的实零 点，且全在a,b内。,3. 函数的范数,正交化得到的多项式称为Legendre多项式,当区间为1,1，权函数(x) 1时，由,(1785年引进的)，1814年Rodrigul给出勒简单表达式。,4. 勒让德(Legendre)多项式,其首项系数,性质1 (正交性),其首项系数,性质2 (奇偶性),性质3 (三项递推关系
9、),则可得,性质4 对任意首项系数为1的n次多项式 f (x)，Legendre 多项式满足：,性质5 在-1,1上有n 个不同的实零点。,即与零的平方误差最小,例1 求 在-1,1上二次最佳平方逼近多项式。,由性质4 ，应有,5. 切比雪夫(Chebyshev)多项式,正交化后的多项式称为Chebyshev,当区间为1,1，权函数为 时,由,多项式。它可以表示为,若令 ，则,性质1 (正交性),在-1,1上带权 正交，且,若令 ，则 于是,性质2 (三项递推关系),由三角恒等式,令 ，即可得,性质3 Tn (x)对零的偏差最小,在区间-1,1上所有首项系数为1的n次多项式中，,与零的偏差最小，且偏差为,性质4 Tn (x)在区间-1,1上有n个零点,例2 求 在-1,1上的最佳一致逼近多项式。,二、函数的最佳平方逼近,1. 最佳平方逼近函数的求法,问题：求 ，满足,称 是 f (x)的最佳平方逼近。,-法方程组!,定理,下面证明,平方误差,2. 最佳多项式平方逼近,(1),(2) 当,例3 求 在-1,1上的一次最佳平方逼近多项式。,例4 求 在0,1上的一次最佳平方逼近多项式。,3. 用正交多项式作最佳平方逼近,课后作业: 1、复习思考题: 1、2、3 2、习题五(128页) 1、2(1)、3、10,
