《数值分析数据拟合和最小二乘法》由会员分享，可在线阅读，更多相关《数值分析数据拟合和最小二乘法（40页珍藏版）》请在金锄头文库上搜索。
1、第六章第六章 曲线拟合和最小二乘法曲线拟合和最小二乘法 6.1 曲线拟合 背景：大量数据背景：大量数据, , 1 1）利用）利用简单函数简单函数，尽可能表现，尽可能表现数据的趋势数据的趋势 2 2）减小误差影响减小误差影响, ,不要求过所有的点不要求过所有的点 例例 某种合成纤维的强度与其拉伸倍数有直某种合成纤维的强度与其拉伸倍数有直 接关系，下表是实际测定的接关系，下表是实际测定的24个纤维样个纤维样 品的强度与相应拉伸倍数的记录。品的强度与相应拉伸倍数的记录。 编号编号拉伸倍数拉伸倍数强度强度 kg/mm2kg/mm2 编号编号拉伸倍数拉伸倍数强度强度 kg/mm2kg/mm2 1 11.
2、91.91.41.413135.05.05.55.5 2 22.02.01.31.314145.25.25.05.0 3 32.12.11.81.815156.06.05.55.5 4 42.52.52.52.516166.36.36.46.4 5 52.72.72.82.817176.56.56.06.0 6 62.72.73.53.518187.17.15.35.3 7 73.53.53.03.019198.08.06.56.5 8 83.53.52.72.720208.08.07.07.0 9 94.04.04.04.021218.98.98.58.5 10104.04.03.53.52
3、2229.09.08.08.0 11114.54.54.24.223239.59.58.18.1 12124.64.63.53.5242410.010.08.18.1 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 024681012024681012 将拉伸倍数作为将拉伸倍数作为x，强度作为，强度作为y，在座标纸上，在座标纸上 标出各点。标出各点。 达到达到最小值的最小值的a和和b. 2424 22 11 ( , )() iii ii a byabx = = 24127.5113.1 127.5829.61731.60 ab ab += += ,yabx=+解
4、：设解：设 , iiiii yyyabx=令令 使误差的平方和达到最小，即求使使误差的平方和达到最小，即求使 从上图中可以看出强度与拉伸倍数大致成线性关从上图中可以看出强度与拉伸倍数大致成线性关 系，可用一条直线近似表示两者之间的关系。系，可用一条直线近似表示两者之间的关系。 利用求多元函数极小值的方法，整理得利用求多元函数极小值的方法，整理得 0.150.859 .yx=+ 即即 0.15,0.859,ab= 6.1.16.1.1（线性线性）曲线拟合问题的一般提法）曲线拟合问题的一般提法 函数空间函数空间给定数据给定数据 其中其中线性无关。线性无关。 ( )( ), (0,1,), iiii
5、 xxxyim=在处的残差 ( ),x 选取选取使总体残差在某种度量准则下最小使总体残差在某种度量准则下最小. . 最小二乘最小二乘 2）残差绝对值之和）残差绝对值之和达到达到最小最小 0 m i i = 0 max i i m 1）残差最大绝对值）残差最大绝对值达到达到最小最小 2 0 m i i = 3）残差平方和）残差平方和达到达到最小最小 更一般地，带权的平方和 2 0 () m ii i x = 最小. 由多元函数极值的性质，极小值点必满足由多元函数极值的性质，极小值点必满足 2 00 () mn ijji ij yax = = 00 2()()0 mn jjiiki ij axyx
6、 = = ， 0 (,)( ), m kiki i fyx = = 则则 令令 0 (,)( )( ), m jkjiki i xx = = 法方程法方程 * 0011 ( )( )( )( ), nn xaxaxax=+ 22 * 22 0 (, ), n kk k ff = = 最小二乘解为：最小二乘解为： 相应的平方误差为：相应的平方误差为： 由由, 10n 的线性无关性，的线性无关性， * 01 ,. n a aa该方程组存在唯一解该方程组存在唯一解 01 (,.,) . T m fyyy=其中其中 6.1.26.1.2多项式多项式拟合拟合 ( ),(0,1,., ) j j xxjn
7、=， 相应法方程为：相应法方程为： 2 1 . ii iiii mxya xxx yb + = 特别地，特别地，n=1时，就是用途最广的线性拟合。时，就是用途最广的线性拟合。 ,yabx=+ 拟合函数拟合函数 法方程：法方程： 6.1.3 模型线性化 有一些数据点的曲线拟合问题不是直接的线 性拟合，我们需要对模型进行一定的线性 化来进行线性拟合。 例例 下表统计了近下表统计了近100年内地球大气气温上升的数年内地球大气气温上升的数 据。试根据表中数据建立一数学模型（即拟和据。试根据表中数据建立一数学模型（即拟和 曲线），并根据这一模型预报地球气温何年会曲线），并根据这一模型预报地球气温何年会
8、比比1870年的平均温度高年的平均温度高 0 7.C 年份年份N N18701870年后地球年后地球 气温增加值气温增加值 年份年份N N 18701870年后地球年后地球 气温增加值气温增加值 188018800.010.01194019400.100.10 189018900.020.02195019500.130.13 190019000.030.03196019600.180.18 191019100.040.04197019700.240.24 192019200.060.06198019800.320.32 193019300.080.08 0 t C 0 t C 解：为简化数据，
9、从解：为简化数据，从1870年起年份记年起年份记N，变换，变换w为为 n=(N-1870)/10。将地球气温增加值改记为。将地球气温增加值改记为 t=1,2,3,4,6,8,10,13,18,24,32，即将原气温增加值扩，即将原气温增加值扩 大大100倍。根据新数据绘图。倍。根据新数据绘图。 n te = 可以看出，气温可以看出，气温t与变换与变换n大致服从指数函数增长大致服从指数函数增长 过程，因此，可以假设过程，因此，可以假设t与与n满足指数函数关系满足指数函数关系 为决定参数为决定参数，将上式改写成将上式改写成 lnlntn=+ 已知数据相应地变为如下表所示已知数据相应地变为如下表所示
10、 n1234567891011 ln1ln2ln3ln4ln6ln8ln10ln13ln19ln24ln32 tyln= ln ,ln ,yt xn ab= 令令 .yabx=+ 则则 取取n=1，m=10，利用上表数据得法方程组，利用上表数据得法方程组 116621.45095078 66506164.2174248 ab ab += += 1.013169482 0.322833819 a e b = = 0.013083518,0.322833819,ab=解得解得 0.322833819 n 1.013169482.te = 相应的相应的 t 与与 n 的指数型拟合曲线关系为的指数型拟
11、合曲线关系为 ln( /1.013169482)/0.322833819 187010 . nt Nn = =+ 地球气温比地球气温比1870年上升年上升，即，即以以t =700代入上式代入上式 0 7 C 以此进行预报，即已知以此进行预报，即已知 t 值求值求 这就是所求地球温室效应的指数函数的数学模型。这就是所求地球温室效应的指数函数的数学模型。 N(7) = 2073(年年). 例 根据美国国家疾病控制中心2002年的数据显 示，美国2-11岁的儿童身高和体重的平均值如 下表 年龄年龄身高身高体重体重 20.912013.7 30.986015.9 41.060018.5 51.1300
12、21.3 61.190023.5 71.260027.2 81.320032.7 91.380036.0 101.410038.6 111.490043.7 根据数据图形我们可以大致看到体重W和身 高H大致关系是 我们现在将这个模型线性化，两边同时取 log，得到 将作为线性模型的参数，并数据点 带入解得 2 1 c HcW = HccWlogloglog 21 += 42 . 2 3 . 16HW = 21 logcc 和 例 药物进入血液后浓度衰减满足以下关系 其中t表示吃药后的时间。药物的半衰期指 药物浓度从峰值到峰值一半的时间。 对这个模型两边同时取log，得到 将作为线性模型的参数，
13、并数据点 带入进行求解。 tc tecy 2 1 = tctcy 21 logloglog+= 21 logcc 和 例 某种药物在体内浓度和时间关系如下表 利用线性拟合求解药物浓度模型中的系数。 时间（小时）时间（小时）浓度（毫克浓度（毫克/升）升） 18.0 212.3 315.5 416.8 517.1 615.8 715.2 814.0 令药物浓度和时间的关系满足 两边同时取log，得到 利用线性拟合模型解得 tc tecy 2 1 = tytcclogloglog 21 =+ t tey 215. 0 77 . 9 = ( ,), (1,2,. ) ii x yim=事实上，实验数据
14、 的曲线拟合最小二乘问题等价于超定方程 组 的最小二乘解问题。下面我们介绍如何 解超定方程 6.26.2超超定方程组的最小二乘解定方程组的最小二乘解 22 22 .Min rMin Axb= 法方程法方程 , m nnm Axb =考虑超定方程组考虑超定方程组其中其中mn. 记记 r=Ax-b，则最小二乘解为：，则最小二乘解为： * . TT A AXA b= Axb=定理定理：向量：向量为为的的最小二乘解最小二乘解 * X （若（若A各列向量线性无关，解存在唯一）各列向量线性无关，解存在唯一） 证明：我们以n=2为例，部分证明以上定理。 n=2时，Ax-b实际上是A的两个列向量 以为系数的线
15、性组合得到的向量与b向 量之间的差。根据欧氏空间的基本性质， 要使这个差最小，则Ax*-b应当与A的两个 列向量的任意线性组合垂直，即 由x的任意性，我们得到 21,x x 0)*()*(=bAxAxAxbAx TT bAAxAbAxA TTT =*0)*( 例例 设函数设函数y=f(x)的离散数据如下表所示的离散数据如下表所示 012345 00.20.40.60.81 1.0001.2211.4921.8222.2262.718 i i x i y 试用二次多项式拟和上述数据，并求平方误差。试用二次多项式拟和上述数据，并求平方误差。 0 1 2 632.210.479 32.21.86.433, 2.21.81.56645.08612 a a a = 解：设拟合函数为解：设拟合函数为则则法方程组为法方程组为 2 012 ,yaa xa x=+ 5 2 24 2 0 ()3.07893 10 . ii i yy x = = 012 1.006321428,0.862589295,0.842410704,aaa= 2 1.0063214280.8625892950.842410704.yxx=+ 解得解得 平方误差和为平方误差和为 2 0.1755.= 2 2 2 2 2 2 *0*0
