《统计学10线性回归分析培训资料》由会员分享，可在线阅读，更多相关《统计学10线性回归分析培训资料（36页珍藏版）》请在金锄头文库上搜索。
1、,第十章 线性回归分析,变量之间的关系有两种： 确定型的函数关系 不确定型的函数关系,这里主要研究不确定型的函数关系，如收入与受教育程度之间的关系，等等问题。 但它们之间存在明显的相互关系（称为相关关系），又是不确定的。 回归分析是研究随机变量之间相关关系的统计方法。其研究一个被解释变量（因变量）与一个或多个解释变量（自变量）之间的统计关系。,例：人均收入 X 与人均食品消费支出 Y 的散点图的关系如图。,1.一元线性回归是研究一个自变量与一个因变量的统计关系。,一. 一元线性回归,人均收入X,人均食品支出 Y,例：地区的多孩率与人均国民收入的散点图如下：,人均收入X,多孩率 Y,这两个变量之
2、间的不确定关系，大致可以用下式表示：,设 Z =Ln X ，可将上式线性关系为：,线性回归的任务：就是用恰当的方法，估计出参数 1， 2 ，并且使估计出来的参数具有良好的统计特征，所以，回归问题从某种视角看，视同参数估计问题。,如果把X，Y的样本观测值代到线性回归方程中，就得到,i =1,2, ,n, n为样本容量.,从重复抽样的角度看， Xi，Yi也可以视为随机变量。,2. 高斯基本假设,对于线性回归模型,i =1,2, ,n, n为样本容量.,高斯基本假设如下: ui 为随机变量 ( 本假设成立, 因为我们研究就是不确定关系). E(ui) =0, 随机干扰项的期望值等于零(本假设成立,
3、如果其均值不是零, 可以把它并入到 1 中). Var(ui) =2u , 随机干扰项的方差等于常数(本假设有可能不成立, 以后讨论不成立时如何处理). E(uiuj)=0 (ij) 随机干扰项协方差等于零(本假设,有可能不成立, 以后讨论不成立时如何处理). (5) ui 服从 N(0, 2u )分布; (6) E(Xiuj)=0, 对Xi 的性质有两种解释: a. Xi 视为随机变量, 但与uj无关, 所以(6)成立. b. Xi 视为确定型变量, 所以(6)也成立.,3. 普通最小二乘法 (OLS),设线性回归模型,其中,为1， 2 的估计值, 则 Y 的计算值, 可以,用下式表达:,所
4、要求出待估参数 , 要使 Y 与其计算值之间的“误差平方和”最小. 即： 使得,最小. 为此, 分别求Q 对 的偏导, 并令其为零:,由上两式, 就可求出待估参数 的值.,4. 所求参数的计算公式,的另一个表达式为:,例:：在上述家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。,参数估计的计算表,因此，由该样本估计的回归方程为：,5. 几何解释,残差向量 e =Y = (Y-Y) - (-Y) = y- 向量 y, , e 三者之间关系如图所示,普通最小二乘法要使残差平方和 e2i 最小, 也就是要使 e 的长度尽可能小, 等价于在几何上 e x . 或
5、者说, 的长度应当是 y 在 x 上的投影长度.,二. 多元线性回归,本节要研究一个被解释变量 (因变量) , 多个解释变量(自变量)的线性模型, 即,1. 基本假设,u 为随机变量向量 ； E(u) =0； cov(u) =E(u uT) = 2u In (包含了两个其本假设：一是不存在序列相关，即 ij 时, cov(ui, uj)=E(uiuj)=0;二是具有同方差性(齐次方差性), 即Var(ui) =2u ).,(4) u N(0, 2u In ) (5) E(XTu) =0 , 或者, X 为确定矩阵,(6) 秩 ( X ) = k, ( kn),2. 普通最小二乘法估计式,在模型
6、中, 代入样本观测值之后, 可得,用矩阵方式表达为 Y = X + u,其中, Y =(Y1, Y2, , Yn)T u = (u1, u2, , un)T = ( 1, 2, , k)T,若估计出, 则有,所以,于是有,两边左乘XT, 得,由几何解释XT e , 故有XTe = 0, 所以可以求出:,这就是普通最小二乘法估计系数公式.,3. 估计系数 的性质,高斯- 马尔柯夫定理: 在模型的基本假设下, 所估计的参数值 是最优的.,即, 满足最小方差性, 线性的、无偏的, 且有,4. 的方差及分布,表示矩阵 的对角线元素, 简记 cjj .,（注： 为向量）,所以,可以证明：,（1） （2）
7、,5. 干扰项方差的无偏估计,得到回归系数后, 就可以得到 Y 的计算值如下:,从而有残差值ei,向量e 由 ei 组成 ,称为残差平方和,记为Q.,且,为 的无偏估计量。,R2 称为判定系数, 它反映了回归效果的好坏. 其定义可以从线性回归的几何解释中引出.,多元回归的几何解释的图形与一元回归的几何解释图形完全相同, 只是横坐标 x 不再表示一个变量, 而是表示 k-1 个变量.,6. 判定系数R2,判定系数R2的定义为:,e,y,x,式中, , 其经济解释为,已解释变差占总变差的百分比.,判定系数R2的另一种表达:,7. 回归效果的F检验,检验回归效果的F统计量的定义式为:,服从F(k-1
8、, n-k)分布.,F越大越好. 当计算出的统计值 f f(k-1, n-k), 就表示回归,效果是好的, 在 水平下, 已解释方差(Y的变化中已经解释的部分)明显大于未解释方差(Y的变化中尚未解释的部分).,8. F与 R2的关系,F 统计量与R2的统计量的关系, 可以从下式的推演中看到:,推演中用到勾股定理： 。,一个二元线性回归的例子,【例】一家百货公司在10个地区设有经销分公司。公司认为商品销售额与该地区的人口数和年人均收入有关，并希望建立它们之间的数量关系式，以预测销售额。有关数据如下表。试确定销售额对人口数和年人均收入的线性回归方程，并分析回归方程的拟合程度，对线性关系和回归系数进
9、行显著性检验(=0.05)。,一个二元线性回归的例子(Excel 输出的结果),一个二元线性回归的例子(计算机输出结果解释),销售额与人口数和年人均收入的二元回归方程为,多重判定系数R2= 0.9373；调整后的R2= 0.9194 回归方程的显著性检验 F = 52.3498 FF0.05(2,7)=4.74，回归方程显著 回归系数的显著性检验 t= 9.3548t=0.3646，； t2 = 4.7962 t=2.3646；两个回归系数均显著,一个含有四个变量的回归,9. 校正的判定系数（Adjusted R2）,统计量R2中不含有自由度。所谓校正的判定系数，就是指“考虑了自由度的判定系数
10、R2adj”。其定义如下：,这样，R2adj剔除了自由度的影响。,10. 回归系数的 T 检验,假设Ho: j=0; 备择假设H1: j 0 (即 Ho 不成立).,用统计量:,服从t (n-k), 可以完成上述假设检验.,当 时, H1成立, 即 j 显著异于0.,( n 5 时, 若取 =0.05, 则当t 2 时, 有H1 成立, 即j显著异于0 ) 针对回归系数的 t 统计量的显著性检验, 决定了相应的变量能否作为解释变量进入回归方程.,注意:,11. 回归系数的置信区间,得到区间 为 水平上的置信区间.,例: =0.05, 则,给定一置信水平 , 用统计量,即,12. 偏相关系数的另
11、一种几何解释,定义: 偏相关系数是在其他变量不变的情况下, 任意两个变量之间的相关系数.,例如: 已知,偏相关系数,表示排除X3, , Xk影响,后的Y和X2之间的相关关系, 其计算过程如下:,(1) 求中心化数据y 对中心化数据x3, , xk的OLS估计值:,要求出上式结果, 需经两个步骤:,a. 用中心化数据 y 对中心化数据x3, , xk 回归, 求出回归系数,b. 依托已经求出的回归系数 和由样本得到的中心化数据, 计算 .,(2) 令 (从 yi 中剔除 x3, , xk 的影响) .,(3) 求 x2 对x3, , xk的最小二乘估计值:,要求出上式结果, 同样需经两个步骤:
12、先用x2 对x3, , xk,回归, 求出回归系数 , 然后求出 .,（4）令 (从 中剔除 x3, , xk 的影响).,(5) 求得偏相关系数如下:,偏相关系数的几何解释: 在下图中, 偏相关系数是图中 角的余弦:,偏相关系数的几何解释,注意: 图中, , 已知从图中左边的虚线, 平移到右边的虚线.,13. 复相关系数的另一种几何解释 复相关系数 R 是图中y与其投影向量的夹角 的余弦.或者说, 判定系数是该余弦的平方.,x2,复相关系数的另一种几何解释,14. 标准回归系数,在上述回归方程中, 自变量的单位对回归系数的数量级有很大影响, 例如: 元、百元、千元、万元等。为了从回归系数的大小中， 简单比较相应的自变量对因变量的作用大小， 就应当剔除自变量单位的影响。一般的处理方法是把所有的变量“标准化”。 所谓标准化就是指对变量Y, X2, ,Xk进行如下处理:,式中,于是, 原始方程:,就转化为标准方程:,注: 在SPSS中, 所谓标准回归系数, 就是指这一方程的回归系数.,
