《含定性变量的回归模型-实用回归分析》由会员分享，可在线阅读，更多相关《含定性变量的回归模型-实用回归分析（76页珍藏版）》请在金锄头文库上搜索。
1、第9章 含定性变量的回归模型,9.1 自变量中含有定性变量的回归模型 9.2 自变量定性变量回归模型的应用 9.3 因变量是定性变量的回归模型 9.4 Logistic(逻辑斯蒂)回归 9.5 多类别Logistic回归 9.6 因变量是顺序变量的回归 9.7 本章小结与评注,9.1 自变量中含有定性变量的回归模型,一、简单情况,首先讨论定性变量只取两类可能值的情况，例如研究粮食产量问题，y为粮食产量，x为施肥量，另外再考虑气候问题，分为正常年份和干旱年份两种情况，对这个问题的数量化方法是引入一个0-1型变量D，令： Di=1 表示正常年份 Di=0 表示干旱年份,9.1 自变量中含有定性变量
2、的回归模型,粮食产量的回归模型为： yi=0+1xi+2Di+i 其中干旱年份的粮食平均产量为： E(yi|Di=0)=0+1xi 正常年份的粮食平均产量为： E(yi|Di=1)=(0+2)+1xi,9.1 自变量中含有定性变量的回归模型,例9.1 某经济学家想调查文化程度对家庭储蓄的影响，在一个中等收入的样本框中，随机调查了13户高学历家庭与14户中低学历的家庭， 因变量y为上一年家庭储蓄增加额， 自变量x1为上一年家庭总收入， 自变量x2表示家庭学历， 高学历家庭x2=1,低学历家庭x2=0， 调查数据见表9.1：,9.1 自变量中含有定性变量的回归模型,表9.1,9.1 自变量中含有定
3、性变量的回归模型,建立y对x1、x2的线性回归,9.1 自变量中含有定性变量的回归模型,两个自变量x1与x2的系数都是显著的，判定系数R2=0.879，回归方程为： =-7976+3826x1-3700x2,9.1 自变量中含有定性变量的回归模型,这个结果表明，中等收入的家庭每增加1万元收入，平均拿出3826元作为储蓄。高学历家庭每年的平均储蓄额少于低学历的家庭，平均少3700元。 如果不引入家庭学历定性变量x2，仅用y对家庭年收入x1做一元线性回归，得判定系数R2=0.618，拟合效果不好。,9.1 自变量中含有定性变量的回归模型,家庭年收入x1是连续型变量，它对回归的贡献也是不可缺少的。如
4、果不考虑家庭年收入这个自变量，13户高学历家庭的平均年储蓄增加额为3009.31元，14户低学历家庭的平均年储蓄增加额为5059.36元，这样会认为高学历家庭每年的储蓄额比低学历的家庭平均少5059.36-3009.31=2050.05元，而用回归法算出的数值是3824元，两者并不相等。,9.1 自变量中含有定性变量的回归模型,用回归法算出的高学历家庭每年的平均储蓄额比低学历的家庭平均少3824元，这是在假设两者的家庭年收入相等的基础上的储蓄差值，或者说是消除了家庭年收入的影响后的差值，因而反映了两者储蓄额的真实差异。而直接由样本计算的差值2050.05元是包含有家庭年收入影响在内的差值，是虚
5、假的差值。所调查的13户高学历家庭的平均年收入额为3.8385万元，14户低学历家庭的平均年收入额为3.4071万元，两者并不相等。,9.1 自变量中含有定性变量的回归模型,二、复杂情况,某些场合定性自变量可能取多类值，例如某商厦策划营销方案，需要考虑销售额的季节性影响，季节因素分为春、夏、秋、冬4种情况。为了用定性自变量反应春、夏、秋、冬四季，我们初步设想引入如下4个0-1自变量：,9.1 自变量中含有定性变量的回归模型,可是这样做却产生了一个新的问题，即x1+x2+x3+x4=1，构成完全多重共线性。 解决这个问题的方法很简单，我们只需去掉一个0-1型变量，只保留3个0-1型自变量即可。例
6、如去掉x4，只保留x1、x2、x3。 对一般情况，一个定性变量有k类可能的取值时，需要引入k-1个0-1型自变量。当k=2时，只需要引入一个0-1型自变量即可。,9.1 自变量中含有定性变量的回归模型,三、单因素方差分析,设yij是正态总体N(j，2)，的样本 j=1,c,i=1,2,nj 原假设为：H0: 1=2=c 记ij= yij-j,则有ijN(0，2)，进而有 yij=j+ij ，i=1,2,nj，j=1,c， （9.39） 记，aj=j-，则（9.39）式改写为： yij=+ai+ij ，i=1,2,ni，j=1,c， （9.39）,9.1 自变量中含有定性变量的回归模型,引入0-
7、1型自变量xij,将（9.40）式表示为 yij=+a1xi1+a2xi2+acxic +ij,其中,9.1 自变量中含有定性变量的回归模型,其中还存在一个问题，就是c个自变量x1,x2, ，xc之和恒等于1，存在完全的复共线性。为此，剔除xc，建立回归模型 yij=+a1xi1+a2xi2+ac-1xic-1 +ij i=1,2,nj，j=1,c， 回归方程显著性检验的原假设为： H0: a1=a2=ac-1=0,9.1 自变量中含有定性变量的回归模型,由aj=j-=j- 可知,H0: a1=a2=ac-1=0 与,H0: 1=2=c是等价的,线性回归的F检验与单因素方差分析的F检验是等价的
8、。,9.2 自变量定性变量回归模型的应用,一、分段回归,例9.2 表9.3给出某工厂生产批量xi与单位成本yi(美元)的数据。试用分段回归建立回归模型。,9.2 自变量定性变量回归模型的应用,图9.1 单位成本对批量散点图,9.2 自变量定性变量回归模型的应用,由图9.1可看出数据在生产批量xp=500时发生较大变化，即批量大于500时成本明显下降。我们考虑由两段构成的分段线性回归,这可以通过引入一个0-1型虚拟自变量实现。假定回归直线的斜率在xp=500处改变，建立回归模型 yi=0+1xi+2(xi-5)Di+i,来拟合，其中,9.2 自变量定性变量回归模型的应用,引入两个新的自变量,xi
9、1=xi xi2=(xi-5)Di,这样回归模型转化为标准形式的二元线性回归模型： yi=0+1xi1+2xi2+i (9.3) （9.3）式可以分解为两个线性回归方程： 当x1500时，E(y)=0+1x1 当x1500时，E(y)=(0-5002)+(1+2)x1,9.2 自变量定性变量回归模型的应用,9.2 自变量定性变量回归模型的应用,用普通最小二乘法拟合模型(9.3)式得回归方程为： =5.895-0.00395x1-0.00389x2 利用此模型可说明生产批量小于500时，每增加1个单位批量，单位成本降低0.00395美元；当生产批量大于500时，每增加1个单位批量，估计单位成本降
10、低0.00395+0.00389=0.00784(美元)。,9.2 自变量定性变量回归模型的应用,以上只是根据散点图从直观上判断本例数据应该用折线回归拟合，这一点还需要做统计的显著性检验，这只需对（9.2）式的回归系数2做显著性检验。,9.2 自变量定性变量回归模型的应用,对2的显著性检验的显著性概率Sig=0.153，2没有通过显著性检验，不能认为2非零。用y对x做一元线性回归，计算结果为：,9.2 自变量定性变量回归模型的应用,二、回归系数相等的检验,例9.3 回到例9.1的问题，例9.1引入0-1型自变量的方法是假定储蓄增加额y对家庭收入的回归斜率1与家庭年收入无关，家庭年收入只影响回归
11、常数项0，这个假设是否合理，还需要做统计检验。检验方法是引入如下含有交互效应的回归模型： yi=0+1xi1+2xi2+3xi1xi2+i(9.8) 其中y为上一年家庭储蓄增加额， x1为上一年家庭总收入， x2表示家庭学历， 高学历家庭x2=1,低学历家庭x2=0。,9.2 自变量定性变量回归模型的应用,回归模型（9.8）式可以分解为对高学历和对低学历家庭的两个线性回归模型，分别为：,高学历家庭x2=1, yi=0+1xi1+2+3xi1+i =（0+2）+（1+3）xi1+i 低学历家庭x2=0， yi=0+1xi1+i,9.2 自变量定性变量回归模型的应用,要检验两个回归方程的回归系数(
12、斜率)相等，等价于检验 H0：3=0，,当拒绝H0时，认为30，这时高学历与低学历家庭的储蓄回归模型实际上被拆分为两个不同的回归模型。 当接受H0时，认为3=0，这时高学历与低学历家庭的储蓄回归模型是如下形式的联合回归模型： yi=0+1xi1+2xi2+i,9.2 自变量定性变量回归模型的应用,9.3 因变量是定性变量的回归模型,在许多社会经济问题中，所研究的因变量往往只有两个可能结果，这样的因变量也可用虚拟变量来表示，虚拟变量的取值可取0或1。,一、定性因变量的回归方程的意义,设因变量y是只取0，1两个值的定性变量，考虑简单线性回归模型 yi=0+1xi+i (9.12) 在这种y只取0，
13、1两个值的情况下，因变量均值E(yi)=0+1xi有着特殊的意义。,9.3 因变量是定性变量的回归模型,由于yi是0-1型贝努利随机变量，则得如下概率分布： P(yi=1)=i P(yi=0)=1-i 根据离散型随机变量期望值的定义，可得 E(yi)=1(i)+0(1-i)=i （9.13） 得到 E(yi)=i=0+1xi,9.3 因变量是定性变量的回归模型,二、定性因变量回归的特殊问题,1. 离散非正态误差项。,对一个取值为0和1的因变量， 误差项i=yi-(0+1xi)只能取两个值： 当yi=1时， i=1-0-1xi=i 当yi=0时， i=-0-1xi=1-i 显然，误差项i是两点型
14、离散分布，当然正态误差回归模型的假定就不适用了。,9.3 因变量是定性变量的回归模型,2. 零均值异方差性。,当因变量是定性变量时，误差项i仍然保持零均值，这时出现的另一个问题是误差项i的方差不相等。0-1型随机变量i的方差为 D(i)=D(yi) =i(1-i) =(0+1xi)(1-0-1xi) （9.14） i的方差依赖于xi，是异方差，不满足线性回归方程的基本假定。,9.3 因变量是定性变量的回归模型,3.回归方程的限制,当因变量为0、1虚拟变量时，回归方程代表概率分布，所以因变量均值受到如下限制： E(yi)=i1 对一般的回归方程本身并不具有这种限制，线性回归方程yi=0+1xi将
15、会超出这个限制范围。,9.4Logistic回归模型,一、分组数据的Logistic回归模型,针对0-1型因变量产生的问题，我们对回归模型应该做两个方面的改进。,第一，回归函数应该改用限制在0，1区间内的连续曲线，而不能再沿用直线回归方程。,9.4Logistic回归模型,限制在0，1区间内的连续曲线有很多，例如所有连续型随机变量的分布函数都符合要求，我们常用的是Logistic函数与正态分布函数。Logistic函数的形式为,Logistic函数的中文名称是逻辑斯谛函数，或简称逻辑函数。,9.4Logistic回归模型,第二，因变量yi本身只取0、1两个离散值，不适于直接作为回归模型中的因变量。 由于回归函数E(yi)=i=0+1xi表示在自变量为xi的条件下yi的平均值，而yi是0-1型随机变量，因而E(yi)=i就是在自变量为xi的条件下yi等于1的比例。这提示我们可以用yi等于1的比例代替yi本身作为因变量。 下面通过一个例子来说明Logistic回归模型的应用。,9.4Logistic回归模型,例9.4 在一次住房展销会上，与房地产商签定初步
