《研《回归分析》》由会员分享，可在线阅读，更多相关《研《回归分析》（84页珍藏版）》请在金锄头文库上搜索。
1、回归分析,追求,回归分析,一元回归 多元回归 全部强行进入回归,逐步回归,回归：揭示出不确定数量关系的内在数量变化规律，并通过一定的表达式描述数量之间的这种内在关系的方法。,不确定性的函数关系,回归的涵义,数据之间的关系 函数,确定性的函数关系,回归方程,回归分析的任务,（1）通过分析大量的样本数据，确定变量之间的统计关系，并以数学表达式形式给出； （2）对确定的数学关系式的可信度进行统计检验，找出对某一特定变量影响较为显著的变量和不显著的变量； （3）利用确定的数学关系式，根据自变量预测或控制因变量的取值，并找出这种预测或控制的精确度。,回归分析时变量的设定,回归分析的被解释变量必须是刻度级
2、的，如果是顺序级的，要用Numeric型的来表示。如果被解释变量是名义级的，将用Logistic回归等方法处理。 解释变量可以是刻度级、顺序级、名义级的变量，不论是什么级别的数据，都必须用Numeric型的来表示。,一元线性回归分析,高斯假设,一元线性回归模型的求解,一元线性回归模型的SPSS实现,一元线性回归模型的设定,SPSS的实现：Analyze菜单Regression项中选择Linear命令。,Enter：强行进入法，即所选自变量全部进入模型。 Remove：强制剔除法，即建立回归方程时，根据设定的条件从回归方程中剔除部分自变量。 Backward：向后剔除法，根据Option对话框中
3、设定的判据，先建立全模型，然后根据设置的判据，每次剔除一个使方差分析中的F值最小的自变量，直到回归方程中不再含有不符合判据的自变量为止。 Forward：向前选择法。 Stepwise：逐步进入法，根据Option对话框中设定的判据及方差分析结果，选择符合判据的自变量与因变量相关程度最高的进入回归方程。依据Forward选入自变量，依据Backward将模型中F值最小且符合剔除判据的变量剔除，重复。,Method处下拉菜单，共有5个选项：,WLS选项是存在异方差时，利用加权最小二乘法替代普通最小二乘法估计回归模型参数。通过WLS可以选定一个变量作为加权变量。在实际问题中，如果无法自行确定权重变
4、量，可以用SPSS的权重估计来实现。,Descriptives：输出自变量和因变量的均值、标准差相关系数矩阵及单侧检验概率。,Estimates：输出与回归系数相关统计量。有：回归系数、回归系数的标准误差、标准回归系数、T统计量和相应的相伴概率、各自变量的容忍度。,Confidence intervals：输出每一个非标准化回归系数95%的可信区间。,Covariance matix：输出方程中各自变量间的相关系数矩阵及各变量的协方差矩阵。,Model fit：输出判定系数、调整的判定系数、回归方程的标准误差，F检验的ANOVA方差分析表。,R squared change：当回归方程中引入或
5、剔除一个自变量后，判定系数、F值产生的变化。,Casewise diagnostics：输出标准化残差绝对值3的样本数据点的相关信息，包括：标准化残差、观测值预测值、最小(最大)预测值、残差、最小(最大)残差以及它们的均值和标准差。Outliers outside standard devistion：设置奇异值的判据，默认3倍的标准差。All case：输出所有样本数据有关残差值。,Part and partial correlation：输出方程中各自变量与因变量之间的简单相关系数、偏相关系数与部分相关系数。,Collinearity diagnostics：多重共线性分析，输出各自变量的
6、容限度、方差膨胀因子、最小容忍度、特征值、条件指标及方差比例等。,Durbin-Watson：输出Durbin-watson检验值。,Plots对话框用来检验残差序列的正态性、随机性和是否存在异方差现象。,Produce all partial plots：输出每一个自变量残差相对于因变量残差的散布图。,* ZPRED选项：标准化预测值。,* ZRESID选项：标准化残差。,* DRESID选项：剔除残差。,* ADJPRED选项：修正后预测值。,* SRESID选项：t分析残差。,* SDRESID选项：t分析剔除残差。,Mahalanobis：保存Mahalanobis距离,Cooks：保
7、存Cook距离,Leverage values：保存中心点杠杆值,Individual：保存一个观测量上限与下限的预测区间。,Studentized：标准化残差,Deleted：剔除残差,Studentized deleted：标准化剔除残差,DfBeta(s)：因排除一个特定的观察值所引起的回归系数的变化。若该值2，则被排除的观测值有可能是影响点。,DfFit：因排除一个特定的观测值所引起的观测值的变化。,Use probalitlity of F：以回归系数显著性检验中各自变量的F统计量的相伴概率作为自变量是否引入模型或者从模型中剔除的标准。实际应用中，应使Entry值小于Remove值，
8、否则，自变量一进入方程就会被立即剔除。,Use F value：以回归系数显著性检验中的各自变量的F统计量作为自变量进入模型或者从模型中剔除的标准。,Include constant in equationF：表示回归方程中将包含常数项。,练习，某企业产品广告费和销售收入资料如下，判断广告费和销售收入之间关系密切程度如何？,3 10 28 40 66 117 140 404,序号,广告费(万元),销售收入(百万元),1 2 3 4 5 6 7,3 5 7 8 11 13 14 61,1 2 4 5 6 9 10 37,9 25 49 64 121 169 196 633,1 4 16 25 3
9、6 81 100 263,合计,多元线性回归分析,一个被解释变量(因变量)，,的线性模型，,多个解释变量(自变量),多元回归的高斯假设,多元回归方程为,回归方程的显著性检验,多元线性回归的检验与估计,二、多元线性回归,三、回归系数的显著性检验,四、回归分析的置信区间,五、标准回归系数,回归效果的检验,回归系数,总体均值,方程的检验,多元线性回归的三大基本问题,多重共线性,序列相关问题,异方差问题,多元线性回归的SPSS实现,多元回归的SPSS处理,逐步回归,第一种方法,第二种方法,第三种方法,逐步回归的SPSS处理,逐步回归,从数学上看，如果变量xj可以表达为另外一些变量xt、xs 等的线性组
10、合，则,而,会出现计算溢出问题。,称变量xj、 xt、xs具有多重共线性。多重共线性在经济管理问题上的表现是：多个变量有共同的变化趋势。多重共线性的后果,或者说,xj与其它自变量xt、xs 等的复相关系数接近1，,多重共线性是指各个解释变量之间存在线性相关关系的现象。多重共线性常常会回归系数方差增大，从而使 t 检验难以通过。,，,会导致,趋向于1,给出虚假的回归效果好的结论,统计量将普遍变小,(3),(1)计算,将溢出,，,因为,时,，,。,(2),的方差将变得很大,，,因为,，,是矩阵,的对角线元素,。,，,导致错误地删除变量,式中,，,。,(4),，,。,因为,的溢出,，,的溢出,，,所
11、以会导,致,(5),仍无偏。,如果输出的F统计值很大，R趋于1，同时许多t 统计值小(显著性概率大于 ），估计系数的标准差大 ，则表明存在多重共线性问题。,判断是否存在多重共线性的方法,(1)容忍度,对应于解释变量xj的容忍度定义为,Tolj=1-R2,R2是解释变量xj与方程中其他所有解释变量之间的复相关系数平方，可以衡量xj与其他解释变量的线性相关程度。,多共线性问题的处理,逐步删除不重要的（t 相对小的）解释变量，可直接用逐步回归法完成。,此外，也可以采用如下方法：,(1)用变量的比例代替原来的变量：,(2)方差膨胀因子,方差膨胀因子定义为容忍度的倒数，即,VIFj=1/1-R2,一般认
12、为，方差膨胀因子大于10时，就认为存在多重共线性。,例如，,在,中,，,可用如下变量替代,，,共线性问题,解决多重,。,取对数后得到如下回归方程：,就可以消除多重共线性问题。,(2)改变模型结构。,例如,，,用,代替,等。,很容易出现多重共线性问题。,(3)恰当处理滞后变量。,回归方程,，,由于滞后变量,的同趋势性,，,解决的办,法是,，,于是,同时有,于是,，,前式,后式,，,有,这就消除了解释变量之间的多重共线性问题。,(4)增大样本容量。,令,用SPSS处理多重共线性,是指随着解释变量的变化，被解释变量的方差存在明显的变化趋势(不具有常数方差的特征)这也是经济与管理领域中经常出现的问题之
13、一。,高斯假设的第(3)条是：,异方差问题,对多元线性回归模型而言,，,一是不存在序列相关，即,二是具有同方差性(齐次方差性)。,按照高斯条件，被解释的随机性，实际上是由随机干扰项的随机性所决定的。因此被解释变量的异方差性，实际上也是由随机干扰项的异方差性决定的，即方差与下标i有关。若,则,这等价于：,回归参数的估计值仍无偏，但是不再有最小方差所以不再有效，由于不满足关于高斯-马尔柯夫定理的条件，所以其结论也不成立。,异方差问题出现时的后果,异方差问题是否存在的判断,(1)用散点图判断,与Xij的Spearman相关系数的绝对值大，意味着存在非齐次方差。,(2)求,与Xij的Spearman等
14、级相关系数,异方差问题的处理,(1)试算异方差的形式,选出回归效果最好的形式，由,和,计算出,得到,(3)WLS处理异方差,若找到回归形式,则用,去除原模型,，,得,记，,，,可以证明：,，,具有同方差性,。,实际是计算中权重。,广义最小二乘法的估计公式,(2)用广义最小二乘法，求原方程的系数。,异方差问题的SPSS处理,检验异方差是否存在,以1/收入为权重，作如下回归：,用加权最小二乘法估计回归方程的系数,直接回归 （1）定义变量“储蓄/收入”和“1/收入” （2）进入一元线性回归过程 用加权最小二乘法估计回归系数,检验异方差是否得到改善,产生新的未标准化残差； 重新计算未标准化残差绝对值与
15、收入倒数的等级相关系数，判别异方差性是否已经得到矫正。 得出回归方程。,用加权最小二乘法估计回归系数,方法一,此方法不能输出残差图，需要另外计算等级相关系数，检查异方差是否已经消除。,用加权最小二乘法估计回归系数,方法二,此方法也不能输出残差图，需要另外计算等级相关系数，检查异方差是否已消除。 这里的最佳权重变量是：,自相关问题，是指随着不同期的样本值(不同编号的样本值)之间存在相关关系，这也是经济与管理领域中经常出现的问题之一。它违反了高斯-马尔柯夫定理的条件，从而使最小二乘法估计值不再具有最优的性质。,所谓序列相关问题就是指：,(4)灾害的影响是多年的,也会出现序列相关。,(1)固定资产变
16、量本来就前后期相关。,(2)漏掉的变量被包含在随机干扰项中了。,(3)系统观察误差，会引起序列相关问题。,经济管理问题中产生序列相关的主要原因,置信区间太大,3.序列相关问题的影响,(1)OLS估计值不具最小方差性。,(2)统计量的值不准确。,(3)随机干扰项的估计值,有偏。,(4)用这样的模型预测不准，,失去意义,(,),。,4.一阶序列相关的检验,所谓一阶序列相关，,是指前后相邻两期样本之间的,序列相关问题。,其检验的工具是DW统计量。,DW统计量的定义如下：,，,其中，,由于,，,所以,。,与,所以,DW=2，,当,时，,DW=0，,完全正自相关。,由于,只能接近1,，,只能接近完全正自相关,。,可用下图表示：,当,时，,与,完全没有自相关,。,当,时，,DW=4，,完全负相关。,由于,只能接近-1,，,所以,与,只能接近完全负自相关。,具体的判别准则，,图 DW统计量的值的分布区域与判别,图中，,DW3=4-DW2，DW4=4-DW1。,当,时，,存在正一阶序列相关。,
