非线性最小二乘法

《非线性最小二乘法》由会员分享，可在线阅读，更多相关《非线性最小二乘法（3页珍藏版）》请在金锄头文库上搜索。

1、非线性最小二乘法非线性最小二乘法最小二乘法的一般涵义最小二乘法的一般涵义在科学实验的统计方法研究中，往往会遇到下列类型的问题：在科学实验的统计方法研究中，往往会遇到下列类型的问题：设设x，y都是被观测的量，且都是被观测的量，且y是是x的函数：的函数：y=f(x; ,) （2.1）假设这个函数关系已经由实际问题从理论上具体确定，因而（假设这个函数关系已经由实际问题从理论上具体确定，因而（2.1）可称为）可称为理论函数或理论曲线公式，但其中含有理论函数或理论曲线公式，但其中含有 n个个未知参数未知参数 ,。为了进一步确定。为了进一步确定这这 n 个参数，我们可以通过实验或观测来得到个参数，我们可以

2、通过实验或观测来得到 m 组数据：组数据：（,（, ， ， （, （2.2）根据（根据（2.2）来寻找参数的最佳估计值）来寻找参数的最佳估计值,，即寻求最佳的理论曲线，即寻求最佳的理论曲线 y= f(x;,)，这就是一般的曲线拟合问题，也可称为观测数据的平滑问题。，这就是一般的曲线拟合问题，也可称为观测数据的平滑问题。在实际问题中我们经常遇到的一种曲线拟合问题是需要从观测数据（在实际问题中我们经常遇到的一种曲线拟合问题是需要从观测数据（2.2）求出）求出y和和x的一个经验公式，而在曲线拟合时首先碰到的问题就是函数关系（的一个经验公式，而在曲线拟合时首先碰到的问题就是函数关系（2.1）的具体确定

3、，然后才能进行参数估计。对于某些变量的具体确定，然后才能进行参数估计。对于某些变量 x，y 之间已经有比较明确之间已经有比较明确物理关系或关系简单的问题给出函数的具体表达式并不是太困难，但往往实际物理关系或关系简单的问题给出函数的具体表达式并不是太困难，但往往实际问题中所遇到的却是极为复杂的问题，要建立有效的表达式就有些困难了。我问题中所遇到的却是极为复杂的问题，要建立有效的表达式就有些困难了。我们所讨论的最小二乘问题都是建立在函数关系已知的基础上。们所讨论的最小二乘问题都是建立在函数关系已知的基础上。我们用残差作为拟合标准，此时我们用残差作为拟合标准，此时=-f(;,) (i=1,2,m)简

4、单记作简单记作r=y-f(x;b)这里，这里，r=b=f(x,b)=残差向量残差向量 r 的三种范数记作的三种范数记作=残差可以表示拟合的误差，误差越小则拟合的效果越好。虽然取前两种范数残差可以表示拟合的误差，误差越小则拟合的效果越好。虽然取前两种范数最小，比较理想和直观，但是它们不便于计算，因此在实际应用中是最小，比较理想和直观，但是它们不便于计算，因此在实际应用中是取欧式范数取欧式范数最小，即求出参数最小，即求出参数 b，使得，使得=min这就是通常所谓的最小二乘法，几何语言也成为最小二乘拟合。这就是通常所谓的最小二乘法，几何语言也成为最小二乘拟合。解非线性方程组的解非线性方程组的 New

5、ton 法法（1）12( ,.,)0 1,2,.,jnfx xx jm 设其解为设其解为，在其附近一点，在其附近一点把把展成展成 Taylor 展式：展式：* 12(,.,)nxxx000 12(,.,)nxxxjf0000000 121212 1( ,.,)(,.,)()(,.,)njnjnkkjnj kkfx xxfxxxxxfxxxRx2 00 12 ,11()()( ,.)1,2,.,2njllkkjn l klkRxxxxfjnx x 忽略余项忽略余项得到：得到：jR0000000 1212 1(,.,)()(,.,)01,2,.,njnkkjn kkfxxxxxfxxxjmx这是一

6、组线性方程，它的解这是一组线性方程，它的解作为解，系数矩阵式作为解，系数矩阵式 Jacobi 阵阵11 1,.,nxx1111222212112( ,.,)nnnmmmnfff xxxfff xxxJJ xxfff xxx LLMMOML写成向量形式：写成向量形式：，则上述线性方程组化为：，则上述线性方程组化为：12(,.,)jjjj nxxxx000()()()0f xJ xxx当当时，上述方程为超定的，求其最小二乘解时，上述方程为超定的，求其最小二乘解mn1x10100() ()xxJxf x 其中其中理解为广义逆，再迭代得：理解为广义逆，再迭代得：1J11() ()kkkkxxJxf x