第六章非线性回归模型

《第六章非线性回归模型》由会员分享，可在线阅读，更多相关《第六章非线性回归模型（59页珍藏版）》请在金锄头文库上搜索。

1、1第六章第六章 非线性回归模型非线性回归模型经济模型本来就存在许多非线性形式，我们在引言与第一章就曾经处理过“可以线性化 的非线性模型” ，即经过简单函数变换后可以化为一元或多元线性回归模型的非线性回归模型。 但是在一般情况下，非线性模型难以精确地线性化，这就需要予以特别的考虑。 一般的非线性回归模型可以表示为（6.0.1）,XfY这里 X 是可观察的独立随机变量，是待估的参数向量，Y 是独立观察变量，它的均值 依赖于 X 与，是随机误差。函数形式 f（ ）是已知的。 Cobb-Douglas 生产函数是非线性回归模型的典型例子：（6.0.2）21KaLQ这里 Q 是经济部门的产出，L 是劳动

2、力投入，K 是资本投入，待估参数是，1与2。定义 Y=Q，X=(L,K)，=(，1,2)，以及，则 Cobb-Douglas 生产21 11,KaLXf函数就可以写为(6.0.1)的形式。 另一个例子是消费函数（6.0.3）3 21YC这里 Y 是居民收入，C 是居民消费。其中参数3的估计问题就很有必要。如果贸然假定3=1，那就是线性函数了，可是实际资料也许会否定3=1。 有些经济模型到底能不能线性化，取决于误差项的假定。例如 Cobb-Douglas 生产函数， 如果将误差假定为与函数部分相乘，即（6.0.4）eKaLQ21则取对数后可以线性化：（6.0.5）KLQlnlnlnln21另一方

3、面，有些线性回归模型也可以视为非线性问题，例如广义最小二乘问题（6.0.6） 2, 0 ,VarEXY的极大似然估计就可以被看作非线性问题。 本章就讨论这些非线性回归模型的性质与计算问题，涉及到一些大样本理论，介绍了非 线性强度度量的几何意义。作为特别的非线性回归模型，重点是介绍了增长曲线模型与失效 率模型。2第一节第一节 非线性回归模型最小二乘估计的计算非线性回归模型最小二乘估计的计算为了引进非线性回归的最小二乘方法(Gauss-Newton 算法)，我们先考虑一个简单的 单参数模型：, （6.1.1）iiiiiiXXXfY22 1, 2, 0iiVarE定义残差平方和 niniiiiXfY

4、S1212,（6.1.2） niiiiXXY1222 1回归的原则还是要使残差平方和最小，于是对 S ()求导得： nii iidXdfXfYddS1,2（6.1.3）02 212122 1 niiiiiiXXXXY整理得：（6.1.4） nininiiininiiiiiiiYXYXXXXX1111 1122 12122 230232这是关于的三次方程，就有 3 个可能的解，将这三个解分别代入 S（） ，取 S（） 最小的那个解为回归模型的最终解。 这一节就专门介绍非线性回归模型参数最小二乘估计的计算方法，一个是 Gauss-Newton 算法，一个是 Newton-Raphson 算法。为了

5、清楚易懂，我们都是先介绍单参数的，再介绍多参 数的。一、非线性模型一、非线性模型 LSE 的的 Gauss-Newton 算法算法先考虑单参数的非线性回归模型（f（ ）已知）：（6.1.5）iiiXfY,其残差平方和函数为（6.1.6） 21, niiiXfYS要使 S()取极小值，其一阶条件为0,21 dXdfXfYddSiniii（6.1.7）3现在的问题是要求出上述方程的解，并且判断出整体最小值解。 一个近似办法是用 f (Xi,)的一阶 Taylor 近似展开去代替 f (Xi,)。设的初值为1， 则在1点附近函数 f (Xi,)有近似 Taylor 展式（6.1.8）11 111,d

6、XdfXfXfi于是求得导数值为（6.1.9）111,1 XfXf dXdf简记（6.1.10） 1,1 1dXdfZi则 niiiiZXfYS12 111,（6.1.11） niiiZY1211这里（6.1.12） 111,iiiiiZXfYY对于给定的初值1，以及 Zi(1)都是确定的，可计算的。于是(6.1.11)所表达的残差)( 1iY平方和正是线性回归（6.1.13） iiiZY11的残差平方和。Malinvaud(1980)将上式称作拟线性模型，其最小二乘估计是（6.1.14） 111112111 112 YZZZZZYniiinii 这里（6.1.15） 11111111, nn

7、YYYZZZ于是我们看到，如果我们有待估参数的一个初值1，就可以得到的一个新值2。重复使用这个方法，又有一个拟线性模型 22ZY（6.1.16）4其解为（6.1.17） 221223YZZZ继续下去，我们会得到一个序列1，2，n。我们可以写出一般迭代表达式 nnnnnYZZZ11 nnnnnnZZfYZZZ ,1（6.1.18） nnnnnXfYZZZ,1 这里 f (X,)=f (X1,), f (X2,), f (Xn,) 。 由于 S()取极小值的一阶条件(6.1.7)可被写作（6.1.19） 0,XfYZ故若在迭代过程中有n+1=n，则由(6.3.18)知必有(6.3.19)成立，即，

8、此时 S ()取0ddS得一个极值。 下面要考虑的问题是，这样的迭代解是使 S()取极小值还是极大值?如果是极小值，它 是不是整体最小值?我们可以用不同的迭代初值去计算，如果不同的迭代初值导致不同的极小 值 S，则其中最小的那个 S 是整体最小值。至于为什么这些迭代过程只会导致极小而不是极大，可以分析的表达式ddS（6.1.20） ,2XfYZddS于是迭代公式(6.3.18)可被写作（6.1.21） nddSZZnnnn1121由于 ZZ 是一些平方和，它总是正的，(ZZ)-1也是正的。当为正时，于nddSn1是函数值 S 将走向极小；当为负时，于是函数值还是走向极小。nddSn1为了避免迭

9、代时间过长或迭代来回反复，可以引进步长控制函数 tn， nddSZZtnnnnn11 nnnnnnXfYZZZt,21 （6.1.22）5tn由计算程序根据误差自动调整。上述算法一般称为 Gauss-Newton 算法。图 6.1.1.1由于非线性模型函数形式复杂，一般难以建立有限样本的统计性质。然而我们可以考虑它的渐近性质。一般来说，是一致估计，的极限分布为正态分布，均值为 0，n方差为，其中。于是在作假设检验时，可以用渐近正态分布1*2/nZZ ZZlim* 去作近似：（6.1.23） 1 2,ZZN（6.1.24） 12nS具体检验过程与线性回归的假设检验是一样的，不过以 Z ()Z()

10、代替 XX。 再考虑多参数非线性回归模型(f ()已知)：（6.1.25） 2, 0 ,iiiiiVarEXfY其中是 m1 未知参数。采用矩阵记法，模型是（6.1.26）,XfY nIVarE2, 0残差平方和为（6.1.27） ,XfYXfYS它取极小值的一阶条件为（6.1.28）0,2 XfYXfSSnn0 nddS 0 nddS6这里是一个(mn)的矩阵。记(nm)矩阵 f（6.1.29）则残差平方和取极小值的一阶条件为（6.1.30） 0,XfYZ为了使用 Gauss-Newton 算法，需要对多元函数 f (X,)在初值1附近作多元 Taylor 展 开：（6.1.31）111,

11、i iiXfXfXf将这些展式合并在一起有（6.1.32） 111,ZXfXf这样非线性回归模型(6.1.26)就成为（6.1.33） 111,ZXfY如果记（6.1.34） 1111,ZXfYY则非线性模型就线性化了（6.1.35） 11111 nkknnZY我们可以写出这个线性回归模型的最小二乘解，也就是原非线性回归模型的第一次迭代解 111212YZZZ （6.1.36） 111211,XfYZZZ 继续这个过程，我们得到一般迭代形式 nnnnnXfYZZZ,111 （6.1.37） 如果出现了n+1=n，则意味着 mnnmXfXfXfXfXfZ ,11117（6.1.38） 0, nn

12、XfYZ此即意味着。同样可以分析出，极值必定是极小值。虽然我们不能保证整体最小值0 S已经被发现，但总是可以通过改变迭代初值而获得不同的极小值并加以比较。这样整体最小 值被遗漏的机会就大大减少了，计算程序对多元情形也有迭代步长的设置选择。在合适条件下，的最小二乘估计的渐近分布是正态分布，均值为，方差阵为（6.1.39） 12 ZZ这里（6.1.40） mnS 2这样我们可以作出假设检验。关于的渐近分布为正态的合适条件，可以从三个方面考虑。首先是残差假定。我们已经假定i是 i.i.d.样本，均值为 0，方差为2，这对于保证的渐近分布为正态已经够了。其次是函数 f (Xi,)的假定。从分析过程可以看到，我们需要假定 f (Xi,)关于 Xi是连续 的，关于有二阶连续导数。 最后，由于我们使用了 Z()Z()及其逆，因此需要假定（6.1.41） ZZnn1lim存在且其极限非奇异。 以渐近分布为假设检