相关与回归分析 教学课件

《相关与回归分析 教学课件》由会员分享，可在线阅读，更多相关《相关与回归分析 教学课件（72页珍藏版）》请在金锄头文库上搜索。

1、统计学天津财经大学统计系第十一章 相关与回归分析 n第一节 相关与回归分析的基本概念 n第二节 简单线性相关与回归分析 n第三节 多元线性相关与回归分析 第一节 相关与回归分析的基本概念n一、函数关系与相关关系n二、相关关系的种类n三、相关分析与回归分析n四、相关图一、函数关系与相关关系n当一个或几个变量取一定的值时，另一个变量有确 定值与之相对应，我们称这种关系为确定性的函数 关系。例如，商品的销售收入与该商品的销售量 以及该商品价格之间的关系。n当一个或几个相互联系的变量取一定数值时，与之 相对应的另一变量的值虽然不确定，但它仍按某种 规律在一定的范围内变化。 变量间的这种相互关 系，称为

2、具有不确定性的相关关系。例如，劳动生 产率与工资水平的关系。n变量之间的函数关系和相关关系，在一定条件下 是可以互相转化的。n本来具有函数关系的变量，当存在观测误差 时，其函数关系往往以相关的形式表现出来 。n而具有相关关系的变量之间的联系，如果我 们对它们有了深刻的规律性认识，并且能够 把影响因变量变动的因素全部纳入方程，这 时的相关关系也可能转化为函数关系。n相关关系也具有某种变动规律性，所以，相关关系 经常可以用一定的函数形式去近似地描述。客观现 象的函数关系可以用数学分析的方法去研究，而研 究客观现象的相关关系必须借助于统计学中的相关 与回归分析方法。二、相关关系的种类 n按相关的程度

3、可分为完全相关、不完全相关和不相 关。n当一种现象的数量变化完全由另一个现象的数量 变化所确定时，称这两种现象间的关系为完全相 关。在这种场合，相关关系便成为函数关系。因 此也可以说函数关系是相关关系的一个特例。n当两个现象彼此互不影响，其数量变化各自独立 时，称为不相关现象。n两个现象之间的关系介于完全相关和不相关之间 ，称为不完全相关，一般的相关现象都是指这种 不完全相关。n按相关的方向可分为正相关和负相关。n当一个现象的数量增加（或减少），另一个 现象的数量也随之增加（或减少）时，称为 正相关。例如，消费水平随收入的增加而提 高。n当一个现象的数量增加（或减少），而另一 个现象的数量向相

4、反方向变动时，称为负相 关。例如商品流转的规模愈大，流通费用水 平则愈低。n按相关的形式可分为线性相关和非线性相关。n按所研究的变量多少可分为单相关、复相关和偏相 关。n两个变量之间的相关，称为单相关。n当所研究的是一个变量对两个或两个以上其他变 量的相关关系时，称为复相关。n在某一现象与多种现象相关的场合，假定其他变 量不变，专门考察其中两个变量的相关关系称为 偏相关。例如，在假定人们的收入水平不变的条 件下，某种商品的需求与其价格水平的关系就是 一种偏相关。三、相关分析与回归分析 n相关分析是用一个指标来表明现象间相互依存关系 的密切程度。n回归分析是根据相关关系的具体形态，选择一个合 适

5、的数学模型，来近似地表达变量间的平均变化关 系。n相关分析和回归分析有着密切的联系，它们不仅具 有共同的研究对象，而且在具体应用时，常常必须 互相补充。相关分析与回归分析的区别n 相关分析研究变量之间相关的方向和相关的程 度。回归分析则是研究变量之间相互关系的具体形 式，确定一个相关的数学表达式，根据这个数学方 程式可以从已知量来推测未知量，从而为估算和预 测提供一个重要的方法。n 相关分析不能指出变量间相互关系的具体形式 ，也无法从一个变量的变化来推测另一个变量的变 化情况。其所涉及的变量可以都是随机变量。而回 归分析则必须事先研究确定具有相关关系的变量中 哪个为自变量，哪个为因变量。一般地

6、说，回归分 析中因变量是随机的，而把自变量作为研究时给定 的非随机变量。【例11-1】教堂数与监狱服刑人数同步增长n美国印第安纳州的地区教会想要筹款兴建新教堂， 提出教堂能洁净人们的心灵，减少犯罪，降低监狱 服刑人数的口号。为了增进民众参与的热诚和信心 ，教会的神父收集了近年的教堂数与在监狱服 刑的人数进行统计分析。结果却令教会大吃一惊。 最近年教堂数与监狱服刑人数呈显著的正相关 。那么是否可以由此得出，教堂建得越多，就可能 带来更多的犯罪呢？经过统计学家和教会神父深入 讨论，并进一步收集近年的当地人口变动资料 和犯罪率等资料作进一步分析，发现监狱服刑人数 的增加和教堂数的增加都与人口的增加有

7、关。教堂 数的增加并非监狱服刑人数增加的原因。至此，教 会人士总算松了一口气。四、相关图 n相关图又称散点图。 它是以直角坐标系的 横轴代表变量X，纵轴 代表变量Y,将两个变 量间相对应的变量值 用坐标点的形式描绘 出来，用来反映两变 量之间相关关系的图 形。 第二节 简单线性相关与回归分析 n一、相关系数及其检验n二、标准的一元线性回归模型n三、一元线性回归模型的估计n四、一元线性回归模型的检验n五、一元线性回归模型预测一、相关系数及其检验（一）相关系数的定义 n总体相关系数的定义式是 总体相关系数是反映两变量之间线性相关程度的一 种特征值，表现为一个常数。 n样本相关系数的定义公式是 上式

8、中， 和 分别是和的样本平均数。 样本相关系数是根据样本观测值计算的，抽取的样 本不同，其具体的数值也会有所差异。样本相关系 数是总体相关系数的一致估计量。 （二）相关系数的特点nr的取值介于-1与1之间。n当r=0时，与的样本观测值之间没有线性关系 。n在大多数情况下，00时，与 为正相关，当rk。我们称这条 假定为标准假定6。二、多元线性回归模型的估计 （一）回归系数的估计 n多元线性回归模型中回归系数的估计同样采用最小二乘法 。设n根据微积分中求极小值的原理，可知残差平方和存在极 小值，欲使达到最小，对 的偏导数必须等 于零。将对 求偏导数，并令其等于零，加以 整理后可得到以下个方程式：

9、n以上元一次方程组称为正规方程组或标准方程组，通过 求解这一方程组便可以得到 。 n求解多元回归方程，用矩阵形式来表达较为简便 n则总体回归函数(11.50)式可以写为： Y XBUn样本回归函数(7.51)式可以写为：n标准方程组可以写为：n式中X表示X的转置矩阵。(XX)是一个的对称矩阵， 根据标准假定6，(k-1)个自变量之间不存在高度的线性相关 ，因此其逆矩阵存在。在上式两边同时左乘(XX)-1，可以得 到：n上式是回归系数最小二乘估计的一般形式。（二）总体方差的估计n多元线性回归模型中的2也是利用残差平方和除以其自由度 来估计的。即有：n上式中，n是样本观测值的个数；k是方程中回归系

10、数的个 数；数学上可以证明，S2是2的无偏估计。S2的正平方根S 又叫做回归估计的标准误差。 S越小表明样本回归方程的代 表性越强。n在编制计算机程序时，残差平方和一般不是按照其定义式 计算，而是利用以下公式计算：n上式是残差平方和的矩阵形式。式中Y是因变量样本观测值 向量；X是自变量样本观测值矩阵； 是回归系数估计值 向量的转置向量。 （三）最小二乘估计量的性质在标准的多元线性回归模型中，高斯.马尔可夫定 理同样成立。 三、多元线性回归模型的检验和预测 （一）拟合程度的评价n利用R2来评价多元线性回归方程的拟合程度，必须注意以 下问题。n由决定系数的定义可知， R2的大小取决于残差平方和 在

11、总离差平方和 中所占的比重。在样本容量一定 的条件下，总离差平方和与自变量的个数无关，而残差平 方和则会随着模型中自变量个数的增加不断减少，至少不 会增加。因此， R2是自变量个数的非递减函数。在多元线 性回归模型中，各回归模型所含的变量的数目未必相同， 以R2的大小作为衡量拟合优劣的尺度是不合适的。 n在多元回归分析中，人们更常用的评价指标是所谓的修正 自由度的决定系数。 该指标的定义如下：n式中，n是样本容量；k是模型中回归系数的个数。（ n - ）和（ n - k ）实际上分别是总离差平方和与残差平方和的 自由度。修正自由度的决定系数具有以下特点：n1. 。因为k1，所以根据 和R2各自

12、 的定义式可以得出这一结论。对于给定的R2值和 n值， k值越大 越小。在进行回归分析时，一 般总是希望以尽可能少的自变量去达到尽可能高 的拟合程度。 作为综合评价这两方面情况的 一项指标显然比R2更为合适。n2. 小于1，但未必都大于0。在拟合极差的场 合，有可能取负值。 n【例7-10】假设有7年的年度统计资料，现利用其 对同一因变量拟合了两个样本回归方程。方程一中 ：k=6， R2=0.82；方程二中：k=2， R2 =0.80。试 对这两个回归方程的拟合程度做出评价。n解：如果仅从R2考察，似乎方程一的拟合程度更佳 。但是，由于两个方程选用的自变量个数不同，这 一结论是不正确的。将上列

13、数据代入修正自由度的 决定系数 公式，可得：n方程一的 =1-(7-1)/(7-6)(1-0.82)=-0.08n方程二的 =1-(7-1)/(7-2)(1-0.80)=0.76n由此可见，方程二的实际拟合程度远远优于方程一 。（二）显著性检验n1回归系数的显著性检验n多元回归中进行这一检验的目的主要是为了检验与 各回归系数对应的自变量对因变量的影响是否显著 ，以便对自变量的取舍做出正确的判断。一般来说 ，当发现某个自变量的影响不显著时，应将其从模 型中删除。这样才能够做到以尽可能少的自变量去 达到尽可能高的拟合优度。n多元模型中回归系数的检验同样采用检验和P检 验，其原理和基本步骤与一元回归

14、模型基本相同， 这里不再赘述。下面仅给出回归系数显著性检验 统计量的一般计算公式。 j=1,2,kn式中， 是回归系数的估计值， 是的标准差的 估计值，其按下式计算：n式中， 是(XX)-1的第j个对角线元素，S2是随机 误差项方差的估计值。上式的 t 统计量背后的原假 设是0：j=0，因此 t 的绝对值越大表明j为0的可 能性越小，即表明相应的自变量对因变量的影响是 显著的。n2回归方程的显著性检验 必须在方差分析的基础上利用检验进行。其具 体的方法步骤可归纳如下：n（1）假设总体回归方程不显著，即有H0：23k0n（2）进行方差分析，列出回归方差分析表（见 下表）回归模型方差分析表n表中，

15、 回归平方和的取值受个回归系数估计值的影响， 同时又要服从 的约束条件，因此其自由度是k-1。 残差平方和取决于n个因变量的观测值，同时又要服从k个 正规方程式的约束，因此其自由度是n-k。 回归平方和与残 差平方和各除以自身的自由度得到的是样本方差。（3）根据方差分析的结果求统计量，即数学上可以证明，在随机误差项服从正态分布同时 原假设成立的条件下，服从于自由度为(k-1)和(n -k)的分布。 （4）根据自由度和给定的显著性水平，查F分布表 中的理论临界值F。当F F时，拒绝原假设，即 认为总体回归函数中各自变量与因变量的线性回归 关系显著。当F F时，接受原假设，即认为总体 回归函数中，自变量与因变量的线性关系不显著， 因而所建立的回归模型没有意义。 （三）多元线性回归预测n在通过各种检验的基础上，多元线性回归模型可以 用于预测。多元线性回归预测与一元线性回归预测 的原理是一致的，其基本公式如下：n式中，Xjf(j=2,3,k)是给定的Xj在预测期的具体 数值； 是已估计出的样本回归系数； 是Xj给定时的预测值。n该方程的矩阵形式为：式中：n多元线性回归预测标准误差的计算公式如下：式中，S是回归方程估计的标准误差。n多元