《非线性回归分析(江南大学张荷观)》由会员分享，可在线阅读，更多相关《非线性回归分析(江南大学张荷观)（48页珍藏版）》请在金锄头文库上搜索。
1、第三章 非线性回归分析讨论直接对非线性回归模型的回归分析方法, 即非线性回归模型的参数估计、假设检验和预测方法。第一节 非线性回归模型一、简非线性模型简介非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通过直接代换或间接代换转化为线性回归模型, 但也有一些非线性回归模型却无法通过代换转化为线性回归模型。消费函数模型其中 x 是居民收入, y 是居民消费。(3-1)式为一元非线性回归模型(当已知 时成为一元线性回归模型), 并且无法通过代换转化为线性回归模型。(3-1)设消费函数模型生产函数模型柯布道格拉斯生产函数模型其中 L 和 K 分别是劳力投入和资金投入, y 是产出。
2、由于误差项是可加的, 从而也不能通过代换转化为线性回归模型。对于联立方程模型, 只要其中有一个方程是不能通过代换转化为线性, 那么这个联立方程模型就是非线性的。(3- 2)二、非线性模型的建立和假设单方程非线性回归模型的一般形式为其中 是模型的 k 个解释变量, 是模型的 p 个未知参数, f 是一个非线性函数, 是模型的误差项。关于误差项的假设, 也是满足独立、等方差、不相关和零均值, 也可以进一步假设误差项服从正态分布。(3-3)第二节 非线性回归模型的参数估计一、非线性计量经济分析的基本思路建立非线性计量经济模型的基本思路与建立线性计量经济模型是相似的, 也是根据经济理论或实际数据建立初
3、步模型, 然后估计模型中的未知参数,通过对模型的检验, 最后确定模型。非线性计量经济分析仍以回归分析为核心, 也称为非线性回归分析。最小二乘估计非线性回归分析的参数估计有两种基本方法: 最大似然估计和最小二乘估计, 这里介绍最小二乘估计。若把最小二乘估计记为 , 那么 应使残差平方和达到最小, 即(3- 4) 由于回归函数 f 是 的非线性函数, 一般无法对正规方程组通过解析的方法求解, 而必须用某种搜索法或迭代算法获得参数的最小二乘估计。二、搜索法 1.直接搜索法直接搜索法是把参数的所有可能取值都代入 S , 使 S 达到最小的取值即为参数的估计值。直接搜索法原理简单, 但只适用参数个数少,
4、 且参数的可能取值也少(或对参数估计的精度要求不高)的情况。2.格点搜索法格点搜索法的效率高于直接搜索法。格点搜索法不是是把参数的所有可能取值都代入 S , 而是按一定规律把部分取值代入 S 。例1 设只有一个参数 , 的可能取值为区间 。先把区间10等分, 然后分别把代入 S , 设 使 S 最小, 再把新区间 10等分, 重复上述方法, 使参数的可能取值范围不断减小, 直到满足精度要求或收敛标准, 即得参数的最小二乘估计。上述算法表明,当S 存在唯一最小值时, 格点搜索法才是有效的。例2设有二个参数 , 的可能取值为图 31 的矩形。先把矩形等分为10 行10 列, 然后分别把所有的可能取
5、值代入 S , 设 使 S 最小。再以 相邻的4个小矩形作为参数新的可能取值范围, 重上述方法, 使参数的可能取值范围不断减小, 直到满足要求, 即得参数的最小二乘估计。直接搜索法和格点搜索法都是低效的, 在实际工作中很少采用。三、高斯牛顿(Gauss - Newton)法高斯牛顿法是一种常用的迭代法。非线性回归模型不能通过变换转化为线性回归模型, 但可以利用泰勒展开式转化为线性回归模型。设非线性回归模型记 , 高斯牛顿法的具体方法如下。(1)先取参数的一组初值 , 根据泰勒级数并只取线性项, 得其中 为 和泰勒展开式的高阶项之和。整理得(3- 6)最小二乘估计令对给定的初始值 , 和 都是确
6、定的。则得线性回归模型(3- 7)从而,由上式可求得 的最小二乘估计 。(2 )把 作为新的初始值, 再次利用泰勒展开式 , 可得到一组新的估计 。重复上述方法, 直到参数估计值收敛或满足要求的精度, 最后所得的估计 就是参数的估计值。高斯牛顿法的另一种思路根据最小二乘估计的定义, 最小二乘估计 应使残差平方和达到最小。求解正规方程组的困难在于 f 不是 的线性函数, 从而可对 f 采用一阶泰勒展开式近似。这与直接对 f 采用一阶泰勒展开式近似是相同的。四、牛顿拉夫森(Newton Raphson)法牛顿拉夫森法可以看作是高斯牛顿法的改进。牛顿拉夫森法不是作非线性函数 f 的线性近似, 而是直
7、接对残差平方和 S 取最小的一阶条件作一阶泰勒展开式近似。一个参数时的牛顿 拉夫森法设只有一个参数的非线性回归模型, 是 的估计值。残差平方和 取最小的一阶条件取初始值 , 对 采用一阶泰勒展开近似(3- 9)由于 , 从而整理得(3-11)则上式作为 的近似估计值, 并可作为新的初始值。重复上述上述方法, 直到参数估计值收敛或满足要求的精度。(3-10)多元非线性回归模型的牛顿 拉夫森法取初始值 , 对 采用一阶泰勒展开近似得其中 是 在 处的二阶导数矩阵。由于 , 于是即(3-12)设参数向量 , 估计量向量 , 残差平方和 取最小的一阶条件(3-13) 则上式作为 的近似估计值, 并可作
8、为新的初始值。重复上述上述方法, 直到参数估计值收敛或满足要求的精度。五、迭代算法的初始值和收敛性高斯牛顿法和牛顿拉夫森法都是迭代算法, 从而都有初始值的选择和迭代收敛性问题。(一)初始值问题(1) 对给定的非线性回归模型, 初始值越接近真值, 迭代速度则越快。(2) 当残差平方和不满足整体唯一最优解的条件时, 不同的初始值可能会有不同的结果(不同的局部最优解)。通常, 初始值应尽量接近真值。但初始值的选择并没有一般的法则, 而只有一些经验方法。(1) 利用参数的经济意义一般的经济计量模型的参数都有明确的经济意义, 这些参数的通常取值范围可以作为选择初始值的参考。例如, 柯布道格拉斯生产函数模
9、型根据 和 与 的经济意义, 可由实际数据选择初始值。(2) 模型函数及其导函数在特定点的性状根据解释变量的某些特定值, 也可为选择初始值提供帮助。例如函数( )由于时时 根据这些特定值, 也有助于选择初始值。(3) 变换模型及其分析对于回归模型由于(3- 15)(3- 16) 即根据一元线性回归, 求出 和 的估计, 从而得 和 的估计, 并可把它们作为初始值。(4) 降维法对于回归模型令 , 则(3-17)成为一元线性回归模型(3- 17)(3- 18)并在 的条件下求得 的估计 。则可取 作为初始值。避免失误的方法由于初始值的选择并没有一般的法则, 通常可用几组不同的初始值分别进行迭代计
10、算, 这是避免失误的一种重要方法。当从不同的初始值得到不同的估计值时, 可能是采用的算法有问题, 也可能是回归模型的问题。(二) 收敛性和收敛标准理论上, 参数估计值 b 应使 , 即满足残差平方和最小的一阶条件。但由于计算中的误差和实际的运算次数, 收敛不是以 为标准。对给定的 , 判断收敛和停止迭代的常用标准有以下3种。(1)若残差平方和趋于稳定,即 时可停止迭代。(2)若参数估计值趋于稳定, 即 时可停止迭代。(3)若近似满足残差平方和最小的一阶条件, 即 时可停止迭代。在实际工作中这几个标准可替换, 但无明显优劣, 一般可同时使用。第三节 非线性回归评价和假设捡验与线性回归分析一样,非
11、线性回归分析在建立回归方程后进行评价和捡验。主要有回归方程拟合度的评价,以及回归方程和回归系数的显著性捡验等。非线性回归的最小二乘估计不是BLUE, 但一般条件下是一致估计。一、决定系数决定系数和调整决定系数为(3- 19)(3- 20)可作为样本数据与回归模型的拟合优度, 即所选非线性回归模型的合理程度。二、 t 捡验和 F 捡验采用高斯牛顿法进行参数估计时, 根据泰勒级数把非线性回归模型线性化。从而,对于非线性回归模型的回归系数和回归方程显著性捡验也可转为对线性回归模型的捡验,即对最后一次线性近似作捡验。但是,这时的统计量只是近似地服从相应的分布。三、参数显著性的F 捡验对于非线性回归模型
12、, 也可以直接作显著性捡验。对回归系数的一般捡验, 也可转为对线性回归模型的捡验(3- 21) 近似服从 , 是全模型(未受约束的回归模型)的残差平方和, 而 是约简型(满足约束的回归模型)的残差平方和, g 是约束条件的个数。当 时在 水平上拒绝原假设。四、似然比捡验(likelihood ratio test)统计量设误差项服从均值为0的正态分布, 则对数似然函数为(3- 23)(3- 24)其中 e 是残差向量。从而似然比统计量对于大样本, 近似服从 。从而当 时在 水平上拒绝原假设。非线性回归检验的方法还有沃尔德捡验和拉格朗日乘数捡验等, 这些方法本质上都相似。(3- 25)第四节 非
13、线性回归分析的预测非线性回归分析与线性回归分析一样, 可利用回归方程作预测。若解释变量取值为 , 则 y 的预测为但非线性回归不能给出一般的区间预测公式, 通常只能采用各种近似方法, 从而在实际工作中很少使用区间预测。第五节 非线性回归参数估计示例设消费函数模型 (3-28)其中C 是消费, y 是总收入, 是三个参数。当 时上式成为线性回归模型, 而只有当 时才是非线性回归模型。所以, 该模型是否为线性可归结为检验 是否成立。样本数据列于表3-1。表3-1消费函数的相关数据高斯 牛顿法估计参数采用高斯牛顿法估计未和参数。记参数的初始值为 ,由于根据一阶泰勒级数展开式(3- 29)整理得(3-
14、 30)高斯 牛顿法记则(3-30)为这是二元线性回归模型。首先由一元线性回归模型求得于是取由二元线性回归模型(3-30)迭代求解, 迭代5次的结果如下。(3- 30)一元线性回归分析表5次迭代的结果计算表二元线性回归分析表t 捡验根据二元线性回归分析表, 可作如下近似的 t 捡验由于 , 从而可认为应采用非线性回归模型。SPSS非线性回归分析的主要步骤对非线性回归模型，SPSS 可以直接通过迭代完成分析。(1)输入数据(2) 依次单击 Analyze Regression Nonlinear(3) 非线性回归分析的主对话框 把被解释变量移到“Dependent”栏内, 在“Model Expression ”栏内输入回归方程的具体表达式。(4) 设置参数初始值 单击“Parameter”，设置参数初始值。 (5) 单击 “ OK ” ，开始进行统计分析(6) 非线性回归基本信息迭代过程共进行38步，在残差平方和的变化小于0.00000001时停止迭代。基本信息(7) 非线性回归分析表
