一元线性回归分析课件

《一元线性回归分析课件》由会员分享，可在线阅读，更多相关《一元线性回归分析课件（77页珍藏版）》请在金锄头文库上搜索。

1、白鸿钧制作,第二章,计量经济学,回归分析是大量地运用于揭示经济现象之间相互影响关系的一种统计分析技术，是计量经济学的重要组成部分。 通过本章学习，要求学生在明确本章的有关概念基础上，充分理解一元线性回归分析的经典假定理论，重点掌握最基本的一元线性回归模型的参数估计及其相关的检验和预测的方法。,本章的目的与要求,本章内容,第一节 经济变量间的一些基本关系,第二节 一元线性回归模型的参数估计,第三节 一元线性回归模型的检验,一、现象间的关系（函数关系、相关关系）,二、线性相关系数,三、相关与回归分析的关系,一、一元线性回归模型的基本假定,二、一元线性回归模型的参数估计,一、对估计值的理论意义检验,

2、二、拟合优度检验,三、线性相关检验,四、总体与样本回归函数,四、总体回归系数的估计与检验,五、一元线性回归模型的预测,1.点估计,2.总体回归系数的置信区间（区间估计）,3.总体回归系数的假设检验,1.回归分析结果的报告,2.回归预测,3.影响预测区间大小的因素,1.非线性回归模型的两种基本类型,2.几种常见的非线性回归模型,六、回归模型的其他函数形式,学习重点,学习难点,一、回归分析的基本概念 二、一元线性回归分析的经典假定 三、一元线性回归模型的估计与检验 四、一元线性回归模型的预测,一、回归分析经典假定的理解 二、变差分解的理论与应用 三、一元线性回归模型的检验与参数的检验,第一节 经济

3、变量间的一些基本关系,1.函数关系： 一个变量的数值变动，是由另一个或几个变量的数值按一定规律唯一确定，这种关系就是函数关系。,一、现象间的相互关系,2.相关关系： 现象与现象之间确实存在的,但它们的数值对应并不确定的相互依存关系。,相关关系是相关分析与回归分析的研究对象 函数关系数学表达式是回归分析的分析工具,二、相关分析与回归分析,（一）概念：,1.相关分析：,2.回归分析：,相关与回归是研究现象间相互关系的两种基本方法。,分析现象间相互依存关系密切程度的方法属相关分析方法。,根据现象间关系的具体形式，选择一个合适的数学模型，用于近似地表达变量间的平均变化关系的方法属回归分析方法。,（二）

4、联系与区别,区别：,联系：,1.具有共同的研究对象；,2.在具体应用时，两者相互补充；,3.一般都先相关分析，再进行回归分析；（因为只有当变量间具有较密切关系时，回归才有意义）,1.研究的目的不一样；,3.相关分析两变量都是随机的，而回归分析自变量是给定的，因变量才是随机的；,2.研究的方法不一样； （相关分析不要求确定自变量和因变量，结果只有一个相关系数；回归则必须事先确定因果变量,结果可能有多个回归方程）,三、线性相关系数,（一）概念：在线性相关条件下，说明两个变量（ X 与 Y ）之间关系密切程度的统计分析指标。,（二）计算公式：,总体相关系数：,样本相关系数：,（相关分析中通常计算的都

5、是样本的相关系数）,总体与样本的相关系数分别用 “”和“ r ”表示。,其中：,（称为两变量的协方差）,（为自变量的方差）,（为因变量的方差）,（积差法）,（例72.2）,其公式如下：,由于“积差法” 公式的计算受到相关两变量平均数 与 的限制，计算起来颇为麻烦，所以，在实际计算时，可以采用“简捷法”。,（这是众多相关系数公式中最好用的一个）,此外还有：,（这些相关系数公式的证明学生自己给出）,（三）相关系数由来：,相关系数是由回归变差与总变差的比求得,即：,（四）相关系数取值范围：,-1 r +1 （狭义相关情况）,相关程度：,0.8 | r | 1 高度相关,0.5 | r | 0.8 显

6、著相关,0.3 | r | 0.5 低度相关,0 | r | 0.3 微弱相关,（视为不相关）,（五）相关系数的计算举例：,（六）相关系数的性质：,1.r 的取值介于 -1与 +1之间，是可正可负的数。,2.当r 0时，两变量为正相关；当r 0时，两变量为负相关。,3.当 r = 1，表明两变量完全正相关；当 r = -1时，则两变量为完全负相关。,4.如果 X与Y在统计上相互独立，即两变量不存在线性关系，则相关系数为零。但若r = 0，并不一定说明两变量之间一定独立。这是因为相关系数 r 只适用于变量之间的线性关系，而变量之间可能存在非线性关系。,5.相关系数 r 具有对称性，即 X与 Y之

7、间的相关系数和 Y 与 X 之间的相关系数相同。,四、一元线性回归模型：,（一）关于总体的模型：,Yi = 0 +1 Xi + ui,式中：Y 是因变量（或称被解释变量）,1.总体回归模型：,是根据总体的全部资料建立的回归模型，又称理论模型。其模型形式为,X是自变量（或称解释变量）,0 （截距项）与1 （斜率项）称为回归系数,ui 为随机误差项，也叫随机扰动项。,2.总体回归线：,E（Yi）= 0 +1 Xi,显然: ui = Yi - E（Yi）,这是一条理论直线，就是假定两变量间存在完全相关关系时，所呈现出来的理论直线。 如果 E（ui）= 0 ，总体回归模型就是一条直线 E（Yi）=0

8、+1Xi,（二）关于样本的模型：,1.样本回归模型：,2.样本回归线：,式中：yi与 xi分别为因变量与自变量的样本观测值；,显然：,根据样本资料建立的回归模型。其模型形式为：,与 分别是0与1的估计量；,ei 为随机误差项，也叫随机扰动项。,通过上述讨论，有以下四个关系式：,（1）真实关系式（总体回归模型）,（2）真实回归直线（总体回归线）,（3）样本关系式 （样本回归模型）,Yi = 0 +1Xi + ui,E（Yi ）= 0 +1Xi,yi = + xi + ei,（4）样本估计直线 （样本回归线）,一、一元线性回归模型的基本假定：,假定1.随机误差ui的均值为零，即,假定2.所有随机误

9、差ui都有相同的方差，即随机误差ui的方差为常数,E（ui）= 0,Var( ui ) = Eui E( ui )2 = E(ui 2) = 2,假定3.任意两个随机误差ui和uj（ij）互不相关，其协方差为零，即,Cov ( ui，uj ) = Eui - E( ui) uJ E( uj ) =E(ui uj ) = 0,第二节 一元线性回归分析,（一）关于随机误差项ui的假定,假定4.解释变量Xi是给定的确定变量，与随机误差ui 线性无关。,假定5.随机误差ui服从正态分布，即服从均值为0、方差为2的正态分布,Cov ( ui ，xi ) = 0,ui N（0,2）,以上这些基本假定，是德

10、国数学家高斯（C.F.Gauss）最早提出来的，也称高斯假定或标准假定。满足上述基本假定的一元线性回归模型，称为标准的一元线性回归模型或经典线性回归模型（记为CLRM）。,假定1.解释变量x是非随机的，所以无观测误差，与随机误差项无关；,假定2.被解释变量y（对应于每一固定的x）是随机的，所以可能包含观测误差,假定3.当随机扰动项满足高斯假定时，被解释变量满足：,（1）E( Yi) = E (01X i ),（二）对解释变量x和被解释变量y的假定,（2）Var( Yi) = EYi-E (Yi)2 =E(ui)2=2,（3）Cov( Yi ,Yj) = EYi-E (Yi) Yj-E (Yj)

11、 =E(ui,uj) =0,（4） Yi N (01X i ,2),二、一元线性回归模型的估计：,（一）参数的估计普通最小二乘法（OLS法）,利用样本数据拟合一元线性回归直线,并使得 最小。,1. 与 的求解公式（标准方程组）：,（按此公式求得的直线能满足最小平方的要求）,与 的直接求解公式：,也可按下式计算：,请注意回归系数 与相关系数 r 很相似,（即： ）,2.利用普通最小二乘法求得的回归直线，有如下特点：,（4）残差 ei 与解释变量 xi 不相关。,（1）样本回归直线必然通过点（ ， ）；,（2） 的均值与 yi 的均值相等，所以 =,（3）残差 ei 的均值为零，即 ；,（5）残差

12、 ei 与被解释变量 yi 不相关。,3.回归系数 与相关系数 r 的关系：,根据：,（1）用 r 表示,（2）用 表示 r,无偏性,即,E( ) =0,也就是说，利用普通最小二乘法估计的 与 是一个无偏估计量。,线性特性,即,vi yi,wi yi,也就是说，估计 与 是样本观测值yi的线性组合。,（3）普通最小二乘估计量 与 的性质:,一致性,P | 0 | = 1,P | 1 | = 1,也就是说，随着样本容量 n 的逐步扩大，估计量 与 逐渐地向总体真值0与1靠近.所以 是0的一致估计量， 是1的一致估计量。,有效性（即方差最小）,即估计量 与 有最小方差， 分别为：,Var ( )

13、和 Var ( ),或,可见，参数 与 服从正态分布如下：,以上两方差中的u2 为总体随机扰动项的方差，是参数，其无偏估计量应是：,（二）极大似然法（ML法）,所谓极大似然法，顾名思义，就是要在估计未知参数时使得观测到的 Y 的概率尽可能的大。为此，了解Y 的概率密度函数就成为重要的条件。,由于 与 是随机误差ui的线性组合（这是因为，Yi是ui的线性函数，而 与 是Yi的线性函数），而ui 服从正态分布， 与 也服从正态分布。,另外，Yi也是ui的线性函数，所以Yi也服从正态分布。即,Yi N,Yi N,如果将Y1， Y2 ， Yn 的联合概率密度函数写为: f（Y1， Y2 ， Yn）,L

14、Ff（Y1） f（Y2 ） f（Yn）,由于诸Y的独立性，此联合概率密度函数可写为n个单丁密度函数之积（似然函数用LF表示）：,其中：,f（Yi）,得：,LFf（Y1） f（Y2 ） f（Yn）,求解 与 使得联合概率密度的函数值最大，即Yi的概率最大。为此，可对上述似然函数求微分：,两边求对数：,ln（LF）,对上式的 、 与2求偏导数得：,令这些方程为0（最优化的一阶条件），并记ML估计量为 与 得：,整理得出前两方程的简化式：（与OLS法同）,利用直观判断的方法，检验模型是否符合经济理论、经济规律和经济事实。比如，检验的符号和的取值大小。,一、对估计值的直观判断（即所谓的经济意义检验）,

15、利用一个样本的n对观测值数据（xi，yi）,就可以通过最小二乘法求解出回归系数 与 ,从而给出样本回归方程 = + xi 。然而，这回归方程是否有意义呢？是否符合经济意义和统计意义呢？所以，要对方程进行检验。,第三节 一元线性回归模型的检验,二、拟合优度的检验,所谓拟合优度，是指样本观测值聚集在样本回归线周围的紧密程度。判断回归模型拟合程度的优劣，最常用的指标是判定系数也叫可决系数，用 r 2表示。,1.判定系数 r 2的理论公式：,目的：为了了解 x 对 y 的解释程度。x 对 y的解释程度越强，残差ei的绝对值越小。,r 2 = =,判定系数 r 2的计算公式：,r 2,2.判定系数 r 2的两个重要性质：,（1）r 2是一个非负的量；,（2）r 2的取值范围介于01之间，越接近1，拟合程度越好；越接近0，拟合程度越差。,r 2 =,反之：,（根据前一页公式的证明，拟合系数 r 2与回归系数 有如下关系）,3.判定系数 r 2与回归系数 的关系,三、相关系数 r 的检验：,（由于不同的样本有不同的相关系数，被抽中的样本的相关系数是否能代表总体的实际情况，这就要求对相关系数进行检验。）,检