《第8章 非线性回归讲义》由会员分享，可在线阅读，更多相关《第8章 非线性回归讲义（91页珍藏版）》请在金锄头文库上搜索。
1、第八章 非线性回归,8.1 可化为线性回归的曲线回归 8.2 多项式回归 8.3 非线性模型 8.4 本章小结与评注,8.1 可化为线性回归的曲线回归,y=0+1ex + （8.1）,可线性化的曲线回归模型, 也称为本质线性回归模型,只须令x=ex即可化为y对x是线性的形式 y=0+1x+ 需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。,8.1 可化为线性回归的曲线回归,y=0+1x+2x2+pxp + （8.2）,令x1=x,x2=x2,，xp=xp， 于是得到y关于x1,x2,，xp的线性表达式 y=0+1x1+2x2+pxp+ (8.2)式本来只有一个自变量x，是
2、一元p次多项式回归，在线性化后，变为p元线性回归。,8.1 可化为线性回归的曲线回归,y=aeb xe （8.3）,可线性化的曲线回归模型, 也称为本质线性回归模型,对等式两边同时取自然对数，得： lny=lna+bx+ 令y=lny, 0=lna,1=b, 于是得到y关于x的一元线性回归模型 y=0+1x+,8.1 可化为线性回归的曲线回归,不可以线性化的曲线回归模型, 也称为本质非线性回归模型,y= aeb x + （8.4）,当b未知时，不能通过对等式两边同时取自然对数的方法将回归模型线性化，只能用非线性最小二乘方法求解。,(8.3)式的误差项称为乘性误差项 (8.4)式的误差项称为加性
3、误差项。 一个非线性回归模型是否可以线性化，不仅与回归函数的形式有关，而且与误差项的形式有关。,8.1 可化为线性回归的曲线回归,在对非线性回归模型线性化时，总是假定误差项的形式就是能够使回归模型线性化的形式，为了方便，常常省去误差项，仅写出回归函数的形式。 例如把回归模型（8.3）式 y=aeb xe 简写为 y=aeb x,8.1 可化为线性回归的曲线回归,SPSS软件给出的10种常见的可线性化的曲线回归方程,8.1 可化为线性回归的曲线回归,除了以上SPSS软件中收入的几种曲线回归外，另外几种其他常用的曲线回归,例如,1. 双曲函数,或等价地表示为,8.1 可化为线性回归的曲线回归,(a
4、0, b0),8.1 可化为线性回归的曲线回归,2. S型曲线,此S型曲线当a0，b0时，是x的增函数。 当x+时，y1/a ; x-时，y0。 y=0与y=1/a是这条曲线的两条渐进线。 S型曲线有多种，其共同特点是曲线首先是缓慢增长，在达到某点后迅速增长，在超过某点后又变为缓慢增长，并且趋于一个稳定值。 S型曲线在社会经济等很多领域都有应用，例如某种产品的销售量与时间的关系，树木、农作物的生长与时间的关系等。,8.1 可化为线性回归的曲线回归,8.1 可化为线性回归的曲线回归,SPSS软件中的S型曲线y=exp(b0+b1/t): 当b10时，曲线在t的正实轴上是t的减函数，不是通常意义下
5、的S型曲线。 SPSS软件中的逻辑函数在0b11时也是S型曲线。,8.1 可化为线性回归的曲线回归,例8.1对GDP(国内生产总值)的拟合。我们选取GDP指标为因变量，单位为万亿元，拟合GDP关于时间t的趋势曲线。以1981年为基准年，取值为t=1，1998 年t=18，1981年至1998年的数据如表8.1。,8.1 可化为线性回归的曲线回归,8.1 可化为线性回归的曲线回归,1. 直接用SPSS软件的Curve Estimation命令计算。首先画出GDP对时间的散点图，见图8.2。,8.1 可化为线性回归的曲线回归,8.1 可化为线性回归的曲线回归,8.1 可化为线性回归的曲线回归,8.
6、1 可化为线性回归的曲线回归,为了与线性回归的拟合效果直接相比，可以先储存复合函数回归的残差序列，然后计算出 复合函数回归的 SSE =262467769=2.625108， R2=1-262467769/11043353279=0.97623， 拟合效果明显优于线性回归，当然应该采用复合函数回归。,8.1 可化为线性回归的曲线回归,复合函数回归b0=3603.06,等比系数b1=1.192417，回归方程为,其中b1=1.192417=119.2417%表示GDP的平均发展速度，平均增长速度为19.2417% 。 这里GDP是用的当年现价，在实际工作中可以用不变价格代替现价；对误差项的自相关
7、做相应的处理；考虑到GDP的年增长速度会有减缓趋势，可以对回归函数增加适当的阻尼因子等改进方法。,8.1 可化为线性回归的曲线回归,2.线性化求解法。 对复合函数y=b0两端取自然对数，得 lny=lnb0+ln(b1) t 令y=lny, 0=lnb0,1=ln(b1), 于是得到y关于t的线性回归方程 y=0+1t 计算出y=lny的值列在表8.4中，用y对t做一元线性回归，输出结果为：,8.1 可化为线性回归的曲线回归,8.1 可化为线性回归的曲线回归,8.2 多项式回归,一、几种常见的多项式回归模型,一元二次多项式模型yi=0+1xi+11+i 的回归函数yi=0+1xi+11是一条抛
8、物线方程，通常称为二项式回归函数。 回归系数1为线性效应系数，11为二次效应系数。 相应地，回归模型 yi=0+1xi+11+111+i 称为一元三次多项式模型。,8.2 多项式回归,8.2 多项式回归,二、一个应用例子,例8.2 表8.5列出的数据是关于18个35岁44岁经理的: 前两年平均年收入 x1（千美元） 风险反感度 x2 人寿保险额 y（千美元） 风险反感度是根据发给每个经理的标准调查表估算得到的；它的数值越大，风险反感就越厉害。,8.2 多项式回归,研究人员想研究给定年龄组内的经理年平均收入，风险反感度和人寿保险的关系。研究者预计，在经理的收入和人寿保险额之间成立着二次关系，并有
9、把握认为风险反感度对人寿保险额只有线性效应，而没有二次效应。但是，研究者对两个自变量是否对人寿保险额有交互效应，心中没底。因此，研究者拟合了一个二阶多项式回归模型,并打算先检验是否有交互效应，然后检验风险反感的 二次效应。,8.2 多项式回归,8.2 多项式回归,8.2 多项式回归,8.2 多项式回归,8.2 多项式回归,表8.6,8.2 多项式回归,得最终的回归方程为：,括号中的数值是标准化回归系数。 这样，研究者就可用这个回归方程来进一步研究经理的年平均收入和风险反感对人寿保险额的效应。从标准化回归系数看到，年平均收入的二次效应对人寿保险额的影响程度最大。,8.2 多项式回归,【例8.3】
10、 维生素C注射液因长期放置会渐变成微黄色，中国药典规定可以用焦亚硫酸钠等作为抗氧剂。本实验考虑3个因素，分别是 EDTA（X1） 无水碳酸钠（X2） 焦亚硫酸钠（X3） 每个因素各取7个水平，选用U7（74）均匀设计表，取其中的第1、2、3列，实验安排与结果见表6.9。,8.2 多项式回归,表6.9 实验设计与结果,8.2 多项式回归,首先做线性回归，回归的计算程序参照例6.1，得回归方程 y = 2.63 + 0.77 X1 - 0.0524 X2 - 0.087 X3 回归模型的P值=0.1040； 决定系数（R-square）= 83.9% ； 调整的决定系数（AdjR-sq）= 67.
11、8%。 可见线性回归的效果不够好，以下使用二次多项式回归。,8.2 多项式回归,使用逐步回归，回归方程的具体形式是：,做变量替换转化为9个自变量的线性回归。,8.2 多项式回归,表6.10 回归变量表,8.2 多项式回归,这个线性回归只有7组观测数据却有10个未知参数，需要使用逐步回归逐个引入变量。 在SPSS软件逐步回归模块默认的进入变量P值=0.05，剔除变量P值=0.10的条件下，逐步回归只进行了一步就结束了，只选入了自变量x2。为了更全面地了解回归的效果，可以把进入变量的条件放宽一些。 用Option选项把进入变量P值改为0.30，剔除变量P值改为0.50，重新做逐步回归。,8.2 多
12、项式回归,表6.12 逐步回归的输出结果（2）,8.2 多项式回归,此时的逐步回归共进行了5步，依次选入了X2， X22= ，X3，X23=X2 X3，X13= X1 X3共5个变量，共计算出5个回归模型: 第一个回归模型最先选入的是X2，说明无水碳酸钠的含量是最重要的影响因素； 第二个回归模型再选入的是X22= ，进一步说明无水碳酸钠的含量是最重要的影响因素，并且说明y与X2的关系是非线性的,容易求出此方程在X2=48.548时达极小值y=0.197，比第6号实验值y=0.147略高。,8.2 多项式回归,再看第三个回归方程：,为使y值最小，X3应该最大，取X3=1.4，X2的取值与X3无关
13、，容易求出此方程在X2=45.145，X3=1.4时达极小值y=0.074，低于第6号实验值y=0.147。,8.2 多项式回归,第四个回归方程是：,在回归方程含有X3的两项1.115 X3+0.0206 X2X3中，当X254时是X3的减函数，根据对第二和第三两个回归方程的分析，两个方程中X2的最优解分别是48和45，所以有理由认为X254，y是X3的减函数，X3越大y越小，因此取X3=1.4。,把X3=1.4代入以上方程中，解得X2的极小值是X2=43.944，所以第四个回归方程的最优组合是X2=44，X3=1.4，此时最优预测值y=0.080，与第三个回归方程的最优解基本相同。,8.2
14、多项式回归,第五个方程是：,其中包含了变量X1，并且是作为与X3的交互作用形式出现，说明EDTA对实验指标本身没有影响，只是通过焦亚硫酸钠对实验产生弱的影响。仿照对第四个回归方程求最优解的方法，首先确定X1和X3是y的减函数，分别取最大值X1=0.12和X3=1.4，然后再解得X2=41.241。最优预测值 y= 0.1280 ，可以视为接近0。,8.2 多项式回归,比较第三、四、五这3个回归模型，回归方程的决定系数分别是： 97.11、98.73、99.99%， 从回归的效果看第五个回归的效果最好，但是有6个估计参数，而y的数据只有7个，所以估计的误差会较大。 第三、四两个回归模型的实验条件
15、基本相同，预测值也很接近，约为0.080，明显小于第6号实验的吸收度y=0.147，是一组稳定的好条件，见表6.13。,8.2 多项式回归,表6.13 吸收度的最优实验条件,8.2 多项式回归,本例的文献17对吸收度y值先取了倒数作为实验指标，其数值越大越好，然后建立回归方程。这样做的一个好处是避免了本例回归模型五预测值为负值的情况，但是回归方程的效果不好。文献中得到的最优条件是X1=0.12、X2=38、X3=1.4，和本例第五个模型相差不大。,8.3 非线性模型,一、非线性最小二乘,非线性回归模型一般可记为： yi = f (xi,)+i , i=1,2,n （8.9） 其中，yi是因变量， 非随机向量xi=(xi1,xi2,，xik) 是自变量， =(0,1,，p )是未知参数向量， i是随机误差项并且满足独立同分布假定，即,8.3 非线性模型,对非线性回归模型 我们仍使用最小二乘法估计参数， 即求使得,8.3 非线性模型,称为非线性最小二乘估计的正规方程组,8.3 非线性模型,在非线性回归中，平方和分解式SST=SSR+SSE 不再成立。类似于线性回归中的复判定系数， 定义非线性回归的相关比为：,相关比也称为相关指数。,8.3 非线性模
