《第七章回归分析》由会员分享，可在线阅读，更多相关《第七章回归分析（4页珍藏版）》请在金锄头文库上搜索。
1、1 “回归回归”来源来源 统计史上归功于英国生物学家统计史上归功于英国生物学家 F.Galton(18221911) 如人的身高具有一定的遗传性如人的身高具有一定的遗传性,当父代指标当父代指标(X)增 加 增 加(减少减少)时时,子代指标子代指标(Y)的平均值会增加的平均值会增加(减少减少),但 未看到指标两极分化 但 未看到指标两极分化 存在一种力量把指标值存在一种力量把指标值“拉向中心拉向中心”,子代指标有子代指标有 “向中心回归向中心回归”的现象的现象 Galton引进引进“回归回归”这个名词来描述这个名词来描述X与与Y的关系的关系. 统计中也沿用回归来描述变量之间的关系统计中也沿用回归
2、来描述变量之间的关系 2 第七章第七章 回回归分析归分析 (analysis of regression) 7.1 一元线性回归7.1 一元线性回归 有一类变量间有关系有一类变量间有关系,但不能用函数形式来表示。 例如人的体重 但不能用函数形式来表示。 例如人的体重 y 与身高与身高 x 有关，又如居民的储 蓄存款额 有关，又如居民的储 蓄存款额 y 与的收入与的收入 x 有关，但同样的收入的 人储蓄存款额也不会相同。这样的变量间的关系 有关，但同样的收入的 人储蓄存款额也不会相同。这样的变量间的关系 在统计上称为相关关系。在统计上称为相关关系。 X自变量（一般变量，非随机变量）自变量（一般变
3、量，非随机变量） Y随机变量随机变量 一、模型一、模型 收集数据收集数据niyx ii , 2 , 1),(? 3 例例71 我们知道营业税收总额与社会零售总额有关。 为了能从社会商品零售总额去预测税收总额，需要了 解两者的关系，现收集了如下几组数据（表 我们知道营业税收总额与社会零售总额有关。 为了能从社会商品零售总额去预测税收总额，需要了 解两者的关系，现收集了如下几组数据（表7.1.1） 表表7.1.1社会商品零售总额与税收总额社会商品零售总额与税收总额 单位：亿元单位：亿元 序号序号 社会商品零售总额社会商品零售总额 x营业税税收总额营业税税收总额 y 1 14208 393 2 17
4、730 596 3 20468 785 4 24288 982 5 31624 1250 6 34199 1555 7 33269 1579 8 38929 1639 9 45340 1845 4 画画散点图散点图 5 观测散点图观测散点图 如果如果n 个点在某直线附近波动个点在某直线附近波动,但不完全在一直线 上 但不完全在一直线 上,认为认为 y由两部分构成由两部分构成, ? ? ? .).(, , 10 vrxy xxy ? ? 变动的其它部分随随机因素及 变动的趋势随 ),( ii yx ? ? ? ), 0( . , 2 , 1, 2 10 ? ? Ndi i nixy i iii
5、? 各各 之间独立，可得一元线性回归的数学模型：之间独立，可得一元线性回归的数学模型： 6 回归函数： 反映 y 与 x 的相关关系回归函数： 反映 y 与 x 的相关关系 xyE 10 )(? 的估计为 ，回归方程为的估计为 ，回归方程为 10,? ? 10 , ? xy 10 ? 考虑如何根据考虑如何根据 去估计去估计 ； 对回归方程的可信度作检验； 回归方程的作用：预测，控制。 对回归方程的可信度作检验； 回归方程的作用：预测，控制。 niyx ii , 2 , 1),(? 10,? ? 7 二、参数的最小二乘法估计二、参数的最小二乘法估计 (least square estimate)
6、（LSE） （一）（一） LSE的求法的求法 1.准则：1.准则： 其中，其中， 2 0101 1 (,)() n ii i Qyx? ? ? ? ),() , ( 10 ),( 10min 10 ? ? QQ? 22 01 11 ()() nn iiii ii yyyx? ? ? ? 8 2.求法：2.求法： ，又又 是是 的可微函数，有极值的可微函数，有极值0),( 10 ?Q Q 10,? ? 正规方程组：正规方程组： ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 0 0 11 00 1 0 ? ? ? ? Q Q ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
7、 ? ? ? i ii i i i i i i i i i iii i ii yxxx yxn xxy xy 2 10 10 10 10 0) (2 0) (2 ? ? ? ? 9 从而从而 代入得代入得xyyx 1010 ? ? 1 222 2 , () ()(),() iiii xy ii iixx ii xyiixxi ii x ynx yxxy l xnxxxl lxxyylxx ? ? ? ? ? ? ? ? 得到的得到的LSE为为 10,? ? ? ? ? ? ? ? ? xy l l xx xy 10 1 ? ? 10 回归方程有两种形式：回归方程有两种形式： )( 1 10 x
8、xy xy ? ? ? ? 回归直线过回归直线过 两点。两点。),(), , 0( 0 yx? 11 （二（二) 估计量的分布及有关性质估计量的分布及有关性质 1 ? 0 ? 2 11 1(,) xx N l ? ?、 2 2 1 00 2(,) n i i xx x N nl ? ? ? 、 3 ，当，当 时，时， 与与 独立独立 2 10 ) , cov(? xx l x ? 0?x0 ? 1 ? 定理定理7.1.1 在一元线性回归模型中，在一元线性回归模型中， 与与 是最小二乘估计量是最小二乘估计量 12 4 仍服从正态分布，仍服从正态分布，xy 10 ? xyE 10 ) (? 2 2
9、 2222 2 101 2 0 )(1 )(2 1 ) 1 ( ) , cov(2) () ( ) ( ? ? ? xx xxxxxx l xx n l x x l x l x n xDxDyD ? ? ? ? ) )(1 ,( 2 2 10 ? xx l xx n xNy ? ? 13 定理定理7.1.2 在一元线性回归模型中 （ 在一元线性回归模型中 （1） （2） 与与 和和 相互独立 （ 相互独立 （3） 是是 无偏估计无偏估计 22 (2) E Sn? 2 1 n Eii i Syy ? ? ? ? ? ? 残差平方和残差平方和 2 2 E Sn? 2 ? E S 0 ? 1 ? 1
10、4 7.2 回归方程的显著性检验回归方程的显著性检验 721 F检验检验 主要检测什么叫在直线主要检测什么叫在直线“附近附近”，用眼睛看会因人而 异，为此需要有个检验准则。为作检验，首先要建立 假设。 ，用眼睛看会因人而 异，为此需要有个检验准则。为作检验，首先要建立 假设。 我们要反映我们要反映 y 随随 x 变化的统计规律，变化的统计规律， 如 果 如 果 ， 不管不管 x 如何变化，如何变化，Ey不会随之改变，从 而求出的回归方程是无意义的，所以检验回归方程是 否有意义的问题转化为检验下列假设是否为真： 不会随之改变，从 而求出的回归方程是无意义的，所以检验回归方程是 否有意义的问题转化
11、为检验下列假设是否为真： 0 1? ? 0: 10 ?H 此方法类似于方差分析的思想，从观察 值的偏差平方和分解入手。 有下列三种常用的方法，使用时可选择其中之一。 此方法类似于方差分析的思想，从观察 值的偏差平方和分解入手。 有下列三种常用的方法，使用时可选择其中之一。 15 总的偏差平方和总的偏差平方和 ) 1(,)( 2 ?nfyyS T i iT 造成 差异的原因有两个：造成 差异的原因有两个： n yyy, 21 ? 0 H xx i i i iR lxxyyS 2 1 2 1 2 )( )(? ? （1） 平方和分解 一是 平方和分解 一是 不真，不真， Ey 会随会随 x 改变，
12、用回归平方和来表示改变，用回归平方和来表示 xxxx xx xxxxR ll l lEDlESE 2 1 22 1 2 2 11 2 1 )() () () ()(? ? ? 16 ,其自由度为其自由度为 ? ? i iiE yyS 2 )( 2? nfE 从而有从而有 RET SSS? 利用正规方程组可得利用正规方程组可得 还有还有 ? ? ? ? ? ? ? ? ? 0)( 0)( i iii i ii xyy yy ? ? i iii yyy0)( 二、是其它一切随机因素引起的差异，它可用残 差平方和（剩余平方和）表示 二、是其它一切随机因素引起的差异，它可用残 差平方和（剩余平方和）表
13、示 17 在在 为真时为真时, 与与 都是都是 的无 偏估计 的无 偏估计, 而在而在 时时, 采用检验统计量采用检验统计量 ,取拒绝域为 对给定的显著性水平 取拒绝域为 对给定的显著性水平 ,当当 为真时为真时, 应满足应满足 0 1? ? R S)2( ?nSE 2 ? 0 1? ? ) 2 ()( 222 1 ? ? n S ElSE E xxR ? )2( ? ? nS S F E R cF ? ? 0 1? ? c ? )(cFP (2) 检验统计量与拒绝域检验统计量与拒绝域 18 0 1? ? ? ? 2 2 1(1) R S ? ? (3) 临界值的确定 在一元线性模型中，当 临
14、界值的确定 在一元线性模型中，当 时，有时，有 ? ? E 2S R S 与相互独立 ? ? ? 2 2 3(1,2 ) 2 R E S Fn Sn ? ? ? ? 拒绝域为拒绝域为?(1,2 )FFn ? ? 19 表表7.2.1 方差分析表方差分析表 R S1? R f RRR fSV ? E R V V F ? E S 2? nfE EEE fSV ? T S 1? nfT 来来 源源平方和平方和自由度自由度 均方和均方和 F比比 回回 归归 残残 差差 总总 计计 20 722 t 检验检验 我们知 在 我们知 在 时时,有有 但其中但其中 未知，用未知，用 去代替，由独立性知在去代替，由独立性知在 时，时， ),( 2 11 xx l N ? ? 0 1? ? ) 1 , 0( 1 N lxx? ? ? 2 (2) E Sn? 0 1? ? )2( )2( 2 1 1 ? ? ?
