《第09章线性回归计算谷风教育》由会员分享，可在线阅读，更多相关《第09章线性回归计算谷风教育（56页珍藏版）》请在金锄头文库上搜索。
1、第九章第九章 一元线性回归一元线性回归回归分析适合研究哪类问题回归分析适合研究哪类问题? ?回归方程的显著性检验适合什么情况回归方程的显著性检验适合什么情况? ?回归系数的显著性检验适合什么情况回归系数的显著性检验适合什么情况? ? 1参考资料#第九章一元线性回归第九章一元线性回归9.1 9.1 回归分析的基本概念回归分析的基本概念9.1.1 因因变量量(Y)与自与自变量量(X)之之间的关系的关系根据因变量与自变量之间的关系不同，可以分为两种类型：根据因变量与自变量之间的关系不同，可以分为两种类型：函数关系函数关系 统计关系统计关系 2参考资料#第九章一元线性回归第九章一元线性回归9.1.1
2、9.1.1 因变量因变量(Y)(Y)与自变量与自变量(X)(X)之间的关系之间的关系1.1.函数关系函数关系 即对两个变量即对两个变量X X，Y Y来说，当来说，当X X值值确定后，确定后，Y Y值按照一定的规律唯一确定，值按照一定的规律唯一确定，即形成一种精确的关系。即形成一种精确的关系。 例如例如: :微积分学中所研究的一般变量之间的微积分学中所研究的一般变量之间的函数关系就属于此种类型。函数关系就属于此种类型。 3参考资料#第九章一元线性回归第九章一元线性回归9.1.1 9.1.1 因变量因变量(Y)(Y)与自变量与自变量(X)(X)之间的关系之间的关系2.2.统计关系统计关系 即当即当
3、X X值确定后，值确定后，Y Y值不是唯一确定的，值不是唯一确定的，但大量统计资料表明，这些变量之间还但大量统计资料表明，这些变量之间还是存在着某种客观的联系。是存在着某种客观的联系。 例如：图例如：图9.19.1在直角坐标平面上，标出了在直角坐标平面上，标出了1010个观测点的坐标位置，他们表示以家庭为单个观测点的坐标位置，他们表示以家庭为单位，某种商品年需求量与该商品价格之间位，某种商品年需求量与该商品价格之间的的1010对调查数据。对调查数据。 4参考资料#第九章一元线性回归第九章一元线性回归9.1.2 9.1.2 回归分析回归分析图图9-19-15参考资料#第九章一元线性回归第九章一元
4、线性回归9.1.2 9.1.2 回归分析回归分析回归分析回归分析(Regression Analysis) (Regression Analysis) 就是应用统计方法，对大量的观测数据进行整就是应用统计方法，对大量的观测数据进行整理、分析和研究，从而得出反映事物内部规律理、分析和研究，从而得出反映事物内部规律性的一些结论性的一些结论( (数学模型数学模型) )。 6参考资料#第九章一元线性回归第九章一元线性回归9.2 9.2 一元线性回归模型一元线性回归模型9.2.1 统计关系的特征关系的特征统计关系统计关系特征特征 观测点散布在统计关系直线的周围，此观测点散布在统计关系直线的周围，此种情况
5、说明种情况说明Y Y的变化除了受自变量的变化除了受自变量X X影响以外，还受其他因素的影响。影响以外，还受其他因素的影响。因此试图建立这样一个回归模型，通过对此模型因此试图建立这样一个回归模型，通过对此模型所作的一些假设，可以体现出上述统计关系所刻划的特征。所作的一些假设，可以体现出上述统计关系所刻划的特征。因变量因变量Y Y随自变量随自变量X X有规律的变化，而统有规律的变化，而统计关系直线描述了这一变化的趋势。计关系直线描述了这一变化的趋势。7参考资料#第九章一元线性回归第九章一元线性回归9.2.2 9.2.2 一元线性回归模型假设一元线性回归模型假设u根据根据统计关系特征，可以关系特征，
6、可以进行下述假行下述假设：假设假设(2)(2)这些这些Y Y的概率分布的均值，有规律的随的概率分布的均值，有规律的随X X变化而变化变化而变化(1)(1)对于自变量的每一水平对于自变量的每一水平X X，存在着，存在着Y Y的一个概率分布；的一个概率分布；8参考资料#第九章一元线性回归第九章一元线性回归9.2.3 9.2.3 一元线性回归模型一元线性回归模型Y Y与与X X具有统计具有统计关系而且是线性关系而且是线性 建立建立回归模型回归模型Y Yi i=0 0+1 1X Xi i+i i (i=1,2, (i=1,2,n),n) 其中其中，(X (X i,i,Y Yi i) )表示表示(X,Y
7、)(X,Y)的第的第i i个观测值，个观测值，0 0 , , 1 1为参数，为参数，0 0+1 1X Xi i为反映统计关系直线的分量，为反映统计关系直线的分量， i i为反映在统计关系直线周围散布的随机分量为反映在统计关系直线周围散布的随机分量 i iN (0,N (0,2 2) )。9参考资料#第九章一元线性回归第九章一元线性回归9.2.3 9.2.3 一元线性回归模型一元线性回归模型u对于任意于任意Xi值有：有： Y Yi i服从正态分布服从正态分布E(YE(Yi i)=)=0 0+ +1 1X Xi i； 各各Y Yi i间相互独立间相互独立 Y Yi iN(N(0 0+1 1X Xi
8、 i,2 2) ) 。10参考资料#第九章一元线性回归第九章一元线性回归9.2.3 9.2.3 一元线性回归模型一元线性回归模型图图9-29-211参考资料#第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程最小二乘法最小二乘法 Y Y与与X X之间之间为线性关系为线性关系 选出一条最能反选出一条最能反映映Y Y与与X X之间关系之间关系规律的直线规律的直线 12参考资料#第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程Y Yi i= =0 0+ +1 1X Xi i+ +i i 0 0和和1 1均未知均未知
9、 根据样本数据根据样本数据对对0 0和和1 1进行估计进行估计 0 0和和1 1的估计的估计值为值为b b0 0和和b b1 1 建立一元线性回归方程建立一元线性回归方程 13参考资料#第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程一般而言，所求的一般而言，所求的b b0 0和和b b1 1应能使每个样本观测点应能使每个样本观测点(X(X i i,Y,Y i i) )与回归直线之间的偏差尽可能小，即使观察值与拟与回归直线之间的偏差尽可能小，即使观察值与拟合值的误差平方和合值的误差平方和Q Q达到最小。达到最小。 图9-4 9-4 回回归方程原理方程
10、原理图14参考资料#第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程令令 Q Q达到最小值达到最小值b b0 0和和b b1 1称为最小二乘估计量称为最小二乘估计量 微积分中极值微积分中极值的必要条件的必要条件 令偏导数为令偏导数为0 0解方程解方程15参考资料#第九章一元线性回归第九章一元线性回归9.2.4 9.2.4 一元线性回归方程一元线性回归方程(9-5)(9-5)(9-(9-6)6)16参考资料#第九章一元线性回归第九章一元线性回归9.2.5 9.2.5 最小二乘估计量最小二乘估计量b b0 0,b,b1 1的特性的特性b b0 0,b,b
11、1 1的特性的特性线性性线性性无偏性无偏性17参考资料#第九章一元线性回归第九章一元线性回归9.2.5 9.2.5 最小二乘估计量最小二乘估计量b b0 0,b,b1 1的特性的特性(1) (1) 线性特性线性特性 由（由（9-59-5）得）得令令则则 表明表明b b1 1是是Y Yi i的线性组合的线性组合 18参考资料#第九章一元线性回归第九章一元线性回归9.2.5 9.2.5 最小二乘估计量最小二乘估计量b b0 0,b,b1 1的特性的特性同理，可得同理，可得 b b0 0是是Y Yi i线线性组合性组合19参考资料#第九章一元线性回归第九章一元线性回归9.2.5 9.2.5 最小二乘
12、估计量最小二乘估计量b b0 0,b,b1 1的特性的特性(2) (2) 无偏性无偏性可以证明可以证明b b0 0和和b b1 1分别是分别是0 0和和1 1的无偏估计的无偏估计（过程比较繁琐，参照第五章内容（过程比较繁琐，参照第五章内容有兴趣大家自己证明。）有兴趣大家自己证明。） 20参考资料#第九章一元线性回归第九章一元线性回归9.3 9.3 总平方和分解总平方和分解9.3.1 9.3.1 总平方和分解总平方和分解21参考资料#第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解图9-5 9-5 总平平方和分解方和分解图 22参考资料#第九章一元线性回归第九
13、章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解总离差平方和总离差平方和 它表示没有它表示没有X X的影响，的影响，单纯考察数据中单纯考察数据中Y Y的变动情况。的变动情况。23参考资料#第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解回归平方和回归平方和表示各表示各 的变动程度，该变动是由于回归直线的变动程度，该变动是由于回归直线中各中各X Xi i 的变动所引起的，并且通过的变动所引起的，并且通过X X对对Y Y的线性影响表现出来。的线性影响表现出来。 24参考资料#第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总
14、平方和分解误差平方和误差平方和表示各表示各Y Yi i围绕所拟合的回归直线的变动程度围绕所拟合的回归直线的变动程度 SSTOSSTO= =SSRSSR+ +SSESSE25参考资料#第九章一元线性回归第九章一元线性回归9.3.1 9.3.1 总平方和分解总平方和分解SSE=SSTO-SSRSSE=SSTO-SSR26参考资料#第九章一元线性回归第九章一元线性回归9.3.2 9.3.2 自由度的分解自由度的分解SSTOSSTO自由度自由度 T T为为n-1 n-1 SSESSE0 0和和1 1用了用了两个正规方程两个正规方程 自由度自由度 E E为为n-2 n-2 SSRSSR自由度自由度 R
15、R为为1 1 27参考资料#第九章一元线性回归第九章一元线性回归9.3.2 9.3.2 自由度的分解自由度的分解自由度的分解可以表示为自由度的分解可以表示为n-1=1+n-1=1+（n-2n-2）T T= =R R+ +E E28参考资料#第九章一元线性回归第九章一元线性回归9.3.3 9.3.3 回归均方与误差均方回归均方与误差均方 (9-10) (9-10) (9-11)(9-11)回归均方回归均方误差均方误差均方29参考资料#第九章一元线性回归第九章一元线性回归9.4 9.4 样本确定系数与样本相关系数样本确定系数与样本相关系数9.4.1 9.4.1 样本确定系数样本确定系数(9-12)
16、 (9-12) 注注:Y:Y的总变差中能被的总变差中能被X X解释的那部分所占的比率解释的那部分所占的比率30参考资料#第九章一元线性回归第九章一元线性回归9.4.1 9.4.1 样本确定系数样本确定系数r r2 2的取值范围的取值范围样本的全部观察值都落在样本的全部观察值都落在所拟和的回归直线上所拟和的回归直线上 SSE=0SSE=0， r r2 2=1 =1 当当X X与与Y Y无关，无关，Y Y的变差完的变差完全由于随机因素引起，全由于随机因素引起，此时，此时，SSR=0SSR=0 r r2 2=0 =0 31参考资料#第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关
17、系数样本相关系数样本相关系数样本相关系数注注:r:r与与b b1 1的分母均为正，分子相同的分母均为正，分子相同, ,故故r r与与b b1 1有相同的符号。有相同的符号。 32参考资料#第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数不同不同r值所表示的相关程度所表示的相关程度相关相关程度程度完全线完全线性相关性相关高度相关高度相关显著相关显著相关低度相关低度相关微相关微相关无线性无线性关系关系r r110.80.81 10.50.50.80.80.30.30.50.5000.30.30 033参考资料#第九章一元线性回归第九章一元线性回归9.4.2 9.
18、4.2 样本相关系数样本相关系数r r的取值情况的取值情况 情况一情况一图图9-69-634参考资料#第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数情况二情况二图图9-79-735参考资料#第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数情况三情况三图图9-89-836参考资料#第九章一元线性回归第九章一元线性回归9.4.2 9.4.2 样本相关系数样本相关系数情况四情况四图图9-99-937参考资料#第九章一元线性回归第九章一元线性回归9.5 9.5 一元线性回归显著性检验一元线性回归显著性检验在回归函数在回归函数E(
19、Y)=E(Y)=0 0+1 1X X中，如果中，如果1 1=0=0，则对于，则对于X X的一切水的一切水平平E(Y)=E(Y)=0 0，说明，说明Y Y的变化与的变化与X X的变化无关，因而，我们不能的变化无关，因而，我们不能通过通过X X去预测去预测Y Y。所以，对模型。所以，对模型Y Yi i=0 0+1 1X Xi i+i i检验检验1 1=0=0是否成立，等价于检验是否成立，等价于检验Y Y与与X X之间是否存在线性关系。之间是否存在线性关系。 38参考资料#第九章一元线性回归第九章一元线性回归9.5.1 b9.5.1 b1 1的抽样分布的抽样分布为了检验为了检验1 1=0=0是否成立
20、，需要构造一是否成立，需要构造一个合适的统计量，因此，首先讨论个合适的统计量，因此，首先讨论b b1 1的抽样分布。的抽样分布。39参考资料#第九章一元线性回归第九章一元线性回归9.5.1 b9.5.1 b1 1的抽样分布的抽样分布b b1 1是观测值是观测值Y Yi i的线的线性组合性组合 Y Yi i服从正态分布且服从正态分布且相互独立相互独立 b b1 1也服从正态分布也服从正态分布 40参考资料#第九章一元线性回归第九章一元线性回归9.5.1 b9.5.1 b1 1的抽样分布的抽样分布以下可以证明以下可以证明b b1 1的方差的方差41参考资料#第九章一元线性回归第九章一元线性回归9.
21、5.1 b9.5.1 b1 1的抽样分布的抽样分布证明：证明：因为因为 且且Y Yi i相互独立，其中相互独立，其中 所以，所以，b b1 1服从服从 42参考资料#第九章一元线性回归第九章一元线性回归9.5.2 F 9.5.2 F 检验检验在一元线性回归中，为了检验在一元线性回归中，为了检验Y Y对于对于X X线性线性关系的统计显著性，对关系的统计显著性，对1 1进行进行F F检验检验1 1）提出假设：）提出假设：H H0 0：1 1=0=0，H H1 1：1 100。 2 2） 构造并计算统计量构造并计算统计量：3 3）查）查F F分布临界值表，得临界值分布临界值表，得临界值4 4）比较：
22、）比较： 接受接受H H0 0，认为，认为Y Y与与X X不存在一元线性关系。不存在一元线性关系。43参考资料#第九章一元线性回归第九章一元线性回归9.5.2 F 9.5.2 F 检验检验若若F F 拒绝拒绝H H0 0，认为，认为Y Y与与X X存在一元线性关系。存在一元线性关系。 表表9-1 9-1 方差分析表方差分析表44参考资料#第九章一元线性回归第九章一元线性回归9.5.39.5.3 t t 检验检验 1 1）提出假设）提出假设 H H0 0: : H H1 1: : 2 2）构造并计算统计量）构造并计算统计量 步步 骤：骤：3 3）查）查t t分布临界值表分布临界值表 得临界值得临
23、界值 45参考资料#第九章一元线性回归第九章一元线性回归9.5.39.5.3 t t 检验检验4 4）比较）比较若若 ，接受，接受H H0 0 若若 ，拒绝，拒绝H H0 0 46参考资料#第九章一元线性回归第九章一元线性回归9.5.4 9.5.4 利用样本相关系数进行统计检验利用样本相关系数进行统计检验 步步 骤：骤：1 1）提出假设）提出假设 H H0 0: : =0 =0H H1 1: : 2 2）计算简单相关系数）计算简单相关系数r r 3 3）查）查相关系数相关系数临界值表临界值表 得临界值得临界值 是总体是总体Y Y与与X X的线性的线性相关系数相关系数47参考资料#第九章一元线性
24、回归第九章一元线性回归9.5.4 9.5.4 利用样本相关系数进行统计检验利用样本相关系数进行统计检验4 4）比较）比较若若 ，接受，接受H H0 0 若若 ，拒绝，拒绝H H0 0 48参考资料#第九章一元线性回归第九章一元线性回归例题例题某市欲某市欲对货运运总量与工量与工业总产值的数量关系的数量关系进行研究，行研究，以便通以便通过工工业总产值预测货运运总量。量。现将将2001-2010年的数据，列入下表：年的数据，列入下表：画出相画出相应的的统计图，根据，根据这些数据建立相些数据建立相应回回归方程。方程。计算算说明工明工业总产值与与货运运总量之量之间是否是否线性相关及相性相关及相关程度。关
25、程度。对所求得的回所求得的回归方程方程进行行线性性显著性著性检验。=0.05对计算得出的回算得出的回归系数系数进行行检验。当工当工业总产值为500亿元，置信度元，置信度为1-=0.95时，预测货运运总量量Y0的双的双侧置信区置信区间。货运总量（亿吨）货运总量（亿吨）2.82.8 2.92.9 3.23.2 3.23.2 3.43.4 3.23.2 3.33.3 3.73.7 3.93.9 4.24.2工业总产值（工业总产值（1010亿元）亿元）252527272929323234343636353539394242454549参考资料#第九章一元线性回归第九章一元线性回归课堂练习课堂练习某厂要
26、建立某厂要建立产量与量与单位成本数量关系模型，位成本数量关系模型，现收集了收集了2000-2011年年产量与量与单位成本的位成本的资料，如下表：料，如下表：根据根据这些些资料料说明明产量与量与单位成本的数量关系。位成本的数量关系。对所求得的回所求得的回归方程方程进行行线性性显著性著性检验。=0.05对计算得出的回算得出的回归系数系数进行行检验。假假设2012年的年的计划划产量量为2800件，件，预测单位成本的位成本的95%的置信区的置信区间。年年 份份200020002001200120022002200320032004200420052005200620062007200720082008
27、200920092010201020112011产量产量（百件）（百件）2.62.65.65.68 816.616.613.313.316.316.319.319.32222262626.526.529.829.827.127.1单位成本单位成本( (元元/ /件件) )15.815.816.616.613.913.914.114.18 8131312.512.512.512.55 511.811.811.511.5121210.510.5101050参考资料#第九章一元线性回归第九章一元线性回归9.6 9.6 模型适合性分析模型适合性分析 在对一元线性回归模型的适合性进行分析时在对一元线性回
28、归模型的适合性进行分析时, ,由于误差项是不可观测或测量的由于误差项是不可观测或测量的, , 需借助残差需借助残差的图像的图像, ,来考察模型是否存在以下情况：异方来考察模型是否存在以下情况：异方差性和自相关性。差性和自相关性。51参考资料#第九章一元线性回归第九章一元线性回归9.6.1 9.6.1 误差项的异方差性检验误差项的异方差性检验若若 不具有常数方差不具有常数方差, ,称模型存在异方差性。此时称模型存在异方差性。此时, ,残差残差如下图所示，数据点呈现发散或收敛趋势。如下图所示，数据点呈现发散或收敛趋势。 在此种情况在此种情况下下, ,最小二乘法失效最小二乘法失效, ,因此需按照一定
29、方法对数据进行变因此需按照一定方法对数据进行变换换, ,在计量经济学课程中在计量经济学课程中, ,对此有详细讲述。对此有详细讲述。 52参考资料#第九章一元线性回归第九章一元线性回归9.6.1 9.6.1 误差项的异方差性检验误差项的异方差性检验误差项具有异方差性的残差图误差项具有异方差性的残差图 图图9-109-1053参考资料#第九章一元线性回归第九章一元线性回归9.6.29.6.2误差项的自相性关检验误差项的自相性关检验 如果观测值是来自一个时间序列的样本如果观测值是来自一个时间序列的样本, ,则很可能则很可能出现误差项出现误差项 是不独立的是不独立的, ,将残差将残差 e et t与时
30、间与时间t t 作残作残 差图差图, ,将呈现出有规则的变化趋势。称模型存在自将呈现出有规则的变化趋势。称模型存在自相关相关(Autocorrelation)(Autocorrelation)现象，也需按一定方法对现象，也需按一定方法对数据进行修正，在计量经济学课程中也有详细论数据进行修正，在计量经济学课程中也有详细论述。述。54参考资料#第九章一元线性回归第九章一元线性回归9.6.29.6.2误差项的自相性关检验误差项的自相性关检验误差项具有负自相关性的残差图误差项具有负自相关性的残差图图图9-119-1155参考资料#第九章一元线性回归第九章一元线性回归9.6.29.6.2误差项的自相性关检验误差项的自相性关检验误差项具有正自相关性的残差图误差项具有正自相关性的残差图 图图9-129-1256参考资料#
