《非线性最小二乘》由会员分享,可在线阅读,更多相关《非线性最小二乘(19页珍藏版)》请在金锄头文库上搜索。
1、非线性最小二乘估计,变量之间的关系更多地表现为非线性特征。线性模型作为基础模型是非线性的近似,即任何非线性模型都可以通过线性模型来近似表达。,比如,模型通过泰勒级数展开表述为,模型 的线性近似表达式为,但线性模型对非线性模型的近似程度取决于高阶部分是否充分小。即使在样本内线性模型能够较好地拟合数据,也不能准确地体现变量的结构关系。非线性模型中,x对y 的边际影响(或弹性)是变化的;而线性模型中,x对y 的边际影响(或弹性)是常数。很多情况下,线性模型与非线性模型对边际影响或弹性的估计存在非常大的差异。另外,利用线性模型拟合非线性数据存在潜在的危险,即区间外预测会存在越来越大的误差。因此,正确设
2、定模型的形式是进行准确推断和预测的重要环节。,对于一般的回归模型,如以下形式的模型, (1)OLS一般不能得到其解析解。比如,运用OLS方法估计模型(1),令S(B)表示残差平方和,即 (2),最小化S(B),即根据一阶条件可以得到以模型 为例,其一阶条件为,上述方程组没有解析解,需要一般的最优化方法。很多数值最优化算法都可以完成这一类任务,这些方法的总体思路是一样的。即,从初始值出发,按照一定的方向搜寻更好的估计量,并反复迭代直至收敛。各种不同的最优化算法的差异主要体现在三个方面:搜寻的方向、估计量变化的幅度和迭代停止法则。,非线性最小二乘法的思路是,通过泰勒级数将均值函数展开为线性模型。即
3、,只包括一阶展开式,高阶展开式都归入误差项。然后再进行OLS回归,将得到的估计量作为新的展开点,再对线性部分进行估计。如此往复,直至收敛。, 普通最小二乘原理,残差平方和,取极小值的一阶条件,如何求解非线性方程?, 高斯牛顿(Gauss-Newton)迭代法,高斯牛顿迭代法的原理 对原始模型展开泰勒级数,取一阶近似值,构造并估计线性伪模型,构造线性模型,估计得到参数的第1次迭代值,迭代,高斯牛顿迭代法的步骤, 牛顿拉夫森(Newton-Raphson)迭代法,自学,掌握以下2个要点牛顿拉夫森迭代法的原理 对残差平方和展开台劳级数,取二阶近似值; 对残差平方和的近似值求极值; 迭代。与高斯牛顿迭
4、代法的区别直接对残差平方和展开台劳级数,而不是对其中的原模型展开; 取二阶近似值,而不是取一阶近似值。,应用中的一个困难,如何保证迭代所逼近的是总体极小值(即最小值)而不是局部极小值?一般方法是模拟试验:随机产生初始值估计改变初始值再估计反复试验,设定收敛标准(例如100次连续估计结果相同)直到收敛。,非线性普通最小二乘法在软件中的实现,给定初值写出模型估计模型改变初值反复估计,例题,例 建立中国城镇居民食品消费需求函数模型。,线性估计,线性估计,讨论,一般情况下,线性化估计和非线性估计结果差异不大。如果差异较大,在确认非线性估计结果为总体最小时,应该怀疑和检验线性模型。非线性估计确实存在局部极小问题。根据参数的经济意义和数值范围选取迭代初值。NLS估计的异方差和序列相关问题。NLS不能直接处理。应用最大似然估计。,