《非线性最小二乘》由会员分享，可在线阅读，更多相关《非线性最小二乘（19页珍藏版）》请在金锄头文库上搜索。
1、非线性最小二乘估计,变量之间的关系更多地表现为非线性特征。线性模型作为基础模型是非线性的近似，即任何非线性模型都可以通过线性模型来近似表达。,比如，模型通过泰勒级数展开表述为,模型 的线性近似表达式为,但线性模型对非线性模型的近似程度取决于高阶部分是否充分小。即使在样本内线性模型能够较好地拟合数据，也不能准确地体现变量的结构关系。非线性模型中，x对y 的边际影响（或弹性）是变化的；而线性模型中，x对y 的边际影响（或弹性）是常数。很多情况下，线性模型与非线性模型对边际影响或弹性的估计存在非常大的差异。另外，利用线性模型拟合非线性数据存在潜在的危险，即区间外预测会存在越来越大的误差。因此，正确设
2、定模型的形式是进行准确推断和预测的重要环节。,对于一般的回归模型，如以下形式的模型， (1)OLS一般不能得到其解析解。比如，运用OLS方法估计模型（1），令S(B)表示残差平方和，即 (2),最小化S(B)，即根据一阶条件可以得到以模型 为例，其一阶条件为,上述方程组没有解析解，需要一般的最优化方法。很多数值最优化算法都可以完成这一类任务，这些方法的总体思路是一样的。即，从初始值出发，按照一定的方向搜寻更好的估计量，并反复迭代直至收敛。各种不同的最优化算法的差异主要体现在三个方面：搜寻的方向、估计量变化的幅度和迭代停止法则。,非线性最小二乘法的思路是，通过泰勒级数将均值函数展开为线性模型。即
3、，只包括一阶展开式，高阶展开式都归入误差项。然后再进行OLS回归，将得到的估计量作为新的展开点，再对线性部分进行估计。如此往复，直至收敛。, 普通最小二乘原理,残差平方和,取极小值的一阶条件,如何求解非线性方程？, 高斯牛顿(Gauss-Newton)迭代法,高斯牛顿迭代法的原理 对原始模型展开泰勒级数，取一阶近似值,构造并估计线性伪模型,构造线性模型,估计得到参数的第1次迭代值,迭代,高斯牛顿迭代法的步骤, 牛顿拉夫森(Newton-Raphson)迭代法,自学，掌握以下2个要点牛顿拉夫森迭代法的原理 对残差平方和展开台劳级数，取二阶近似值； 对残差平方和的近似值求极值； 迭代。与高斯牛顿迭
4、代法的区别直接对残差平方和展开台劳级数，而不是对其中的原模型展开； 取二阶近似值，而不是取一阶近似值。,应用中的一个困难,如何保证迭代所逼近的是总体极小值（即最小值）而不是局部极小值？一般方法是模拟试验：随机产生初始值估计改变初始值再估计反复试验，设定收敛标准（例如100次连续估计结果相同）直到收敛。,非线性普通最小二乘法在软件中的实现,给定初值写出模型估计模型改变初值反复估计,例题,例 建立中国城镇居民食品消费需求函数模型。,线性估计,线性估计,讨论,一般情况下，线性化估计和非线性估计结果差异不大。如果差异较大，在确认非线性估计结果为总体最小时，应该怀疑和检验线性模型。非线性估计确实存在局部极小问题。根据参数的经济意义和数值范围选取迭代初值。NLS估计的异方差和序列相关问题。NLS不能直接处理。应用最大似然估计。,
