《第8章相关与回归分析统计学第三版贾俊平》由会员分享，可在线阅读，更多相关《第8章相关与回归分析统计学第三版贾俊平（83页珍藏版）》请在金锄头文库上搜索。
1、统计学统计学STATISTICS8 - 1 第第8 8章章 相关与回归分析相关与回归分析8.1 相关与回归的基本概念相关与回归的基本概念8.2 简单线性相关与回归分析简单线性相关与回归分析摧龚弊秋妒袋董梁池牲嗽削角夸锰禁申耳疾喳兼昆篆侠小乙沁舱丫挖肤姐第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 2据世界卫生组织统计，全球肥胖症患者达3亿人，其中儿童占2200万人，11亿人体重过重。肥胖症和体重超常早已不是发达国家的“专利”，已遍及五大洲。目前，全球因”吃”致病乃至死亡的人数已高于因饥饿死亡的人数。(引自光明日报刘军/文）问题: 肥胖症
2、和体重超常与死亡人数真有显著 的数量关系吗?这些类型的问题可以运用相关分析与回归分析的这些类型的问题可以运用相关分析与回归分析的方法去解决。方法去解决。实例:全球吃死的人比饿死的人多?宰诛奖夸仑逞范眯袍冕稀暖句驻外昭荔猴股貉撼翘诲地荤联辈觉表蜜妨卒第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 3频庶晰檀尹断僚壮汰涵蟹旷屉共解藏刨岔玄肃不悲莱黑宿驭才估验狐陀野第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint8.1 8.1 相关与回归的基本概念相关与回归的基本概念一、变量间的相互关系变量间的相互关系二、相关关系的类型二、相关
3、关系的类型三、相关分析与回归分析三、相关分析与回归分析宙防哇侗乒盎势邱魁彪茸右紫折辊复屹眩垦砒睫糯讹浇桅燃雄桥疫酱擞辙第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 4 一、变量间的相互关系一、变量间的相互关系确定性的函数关系确定性的函数关系 Y=f (X) 相关关系相关关系不确定性的统计关系 Y= f（X）+ (为随机变量) 没有关系没有关系 变量间关系的图形描述： 坐标图(散点图)芍淳宗邯君镭困役瞧妄吼露穆仙州谨革绣深绒昧桅侮命竹彪叁撵丑雄茵点第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTI
4、CS8 - 5相关关系的类型相关关系的类型从涉及的变量数量变量数量看简单相关 多重相关（复相关）从变量相关关系的表现形式表现形式看 线性线性相关散布图接近一条直线(左图) 非线性非线性相关散布图接近一条曲线(右图)上孔宫卒烯啮城洛禹陋仍嫉剑设剥宪袱篮旷田一把觅提括庭骏唱钒憾梅完第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 6从变量相关关系变化的方向方向看正相关正相关变量同方向变化A同增同减 (A)(A)负相关负相关变量反方向变化 一增一减 (B)(B)B从变量相关的程度看完全相关 (B) 不完全相关 (A)C不相关 (C) 相关关系的类
5、型相关关系的类型惑胎妆烬驰估烹湾贱靳虹喊站撤上拒诺岗舆硕丸骤虚破烈杂与耪稍脆穿截第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 7相关分析与回归分析相关分析与回归分析回归的古典意义古典意义： 高尔顿遗传学的回归概念高尔顿遗传学的回归概念父母身高与子女身高的关系父母身高与子女身高的关系: : 无论高个子或低个子的子女无论高个子或低个子的子女 都有向人的平均身高回归的都有向人的平均身高回归的 趋势趋势嘿暇乾演韩肺舷奖歪鞋琼玩诉卓脾崔撩玫指芯撕魂去苇辐杖淮八谣慎迪扯第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学ST
6、ATISTICS8 - 8 回归的现代意义回归的现代意义一个因变量对若干解释变量依存关系的研究回归的目的目的（实质）（实质）：由固定的自变量去估计因变量的平均值由固定的自变量去估计因变量的平均值样样样样本本本本总总总总体体体体自变量固定值自变量固定值自变量固定值自变量固定值自变量固定值自变量固定值估计因变估计因变量平均值量平均值籽踩碍赶椅两披递玉弟斥镜兢诀甚凡伐夕卓揣蜕旗毋贼札焙剿到佛颤位尹第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 9相关分析与回归分析的联系共同的研究对象：都是对变量间相关关系的分析只有当变量间存在相关关系时，用回归
7、分析去寻求相关的具体数学形式才有实际意义相关分析只表明变量间相关关系的性质和程度，要确定变量间相关的具体数学形式依赖于回归分析 相关分析中相关系数的确定建立在回归分析的基础上几滴法试通赞翟赁赐败姻彦酝赢划际谱难鞘田轿殴莆盾咳壹憾雌榔沏秆贺第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 10频庶晰檀尹断僚壮汰涵蟹旷屉共解藏刨岔玄肃不悲莱黑宿驭才估验狐陀野第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint82 简单线性相关与回归分析简单线性相关与回归分析一、简单线性相关系数一、简单线性相关系数二、总体回归函数与样本回归函数二、总
8、体回归函数与样本回归函数三、回归系数的估计三、回归系数的估计膘困浦抿卢蔓边刊奋巡圾婪八朵肪轨汪读篮统擎厌盾讲徊哀绥精勘铂黎谁第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 11 一、简单线性相关系数一、简单线性相关系数总体相关系数总体相关系数对于所研究的总体，表示两个相互联系变量相关程度 的总体相关系数为： 总体相关系数反映总体两个变量总体相关系数反映总体两个变量X X和和Y Y的线性相关程度。的线性相关程度。特点：特点：对于特定的总体来说，X和Y的数值是既定的 总体相关系数是客观存在的特定数值。 咸持兵侧伪寂矩度挤婉弧犊芦幢摇身跟茅抠峭
9、讲弄珍表巩葵锨奸婚殆恤需第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 12样本相关系数通过X和Y 的样本观测值去估计样本相关系数变量X和Y的样本相关系数通常用 表示 特点：样本相关系数是根据从总体中抽取的随机样本 的观测值计算出来的，是对总体相关系数的估 计，它是个随机变量。 盼啡川变屎末搂挎臣咒冗膘射汹幂仕筷剖炮坍瘁恍拥坏韭乙诈扼聊吓荷福第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 13相关系数的计算公式或化简为桅蛆噎亡婶檬搔灰泽烹艾余霹屠奥类恨廓圣亦径喉咋坷飘皆汹哇饿丽科蛹第
10、8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 14相关系数的特点：相关系数的取值在-1与1之间。当r=0时，表明X与Y没有线性相关关系。当 时，表明X与Y存在一定的线性相关关系: 若 表明X与Y 为正相关; 若 表明X与Y 为负相关。当 时，表明X与Y完全线性相关: 若r=1，称X与Y完全正相关； 若r=-1，称X与Y完全负相关。圈题柠吠庆洒居匀镭巩檄幕揉装欣亦潞语内巳杜窄梅啮旅轴法刮派拆郑史第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 15使用相关系数的注意事项：X和Y 都是相互
11、对称的随机变量，所以相关系数只反映只反映变量间的线性相关程度，不 能说明非线性相关关系。相关系数不能确定变量的因果关系，也不能 说明相关关系具体接近于哪条直线。狰俩骚皂宇酌放心订趟境门逼户硼颅豌吩先号炉厦绸集赦蓑汲渔娄哺橡互第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 16 二、总体回归函数与样本回归函数二、总体回归函数与样本回归函数若干基本概念 Y的条件分布条件分布: Y在X取某固定值条件下的分布。 对于X的每一个取值，都有Y的条件期望条件期望与之对应，在坐标图上 Y的条件期望的点随X而变化的轨迹所形成的直线或曲线，称为回归线回归线。
12、 如果把Y的条件期望 表示为X的某种函数： , 这个函数称为回归函数回归函数。 如果其函数形式是只有一个自变量的线性函数,如 , 称为简单线性回归函数简单线性回归函数。 攫释饭晴芽壮阔话钞溜蹲杏烟虫健融渔胺割置带炳高嚼熙盾渴雨鲍慑娥李第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 17总体回归函数（PRF）概念：将总体因变量Y的条件均值表现为自变量X的某种函数，这个函数称为总体回归函数（简记为PRF）。表现形式：（1）条件均值表现形式（2）个别值表现形式（随机设定形式）棠竭触止锭头彭桨磋兹尹甘业俯犯负诺活竭搞蒸驴梯苟衔绕寅宙遏恤羊橱第8章
13、相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 18（总体）回归方程1.描述y 的平均值或期望值如何依赖于x 的方程称为(总体的）回归方程；回归方程；2.一元线性（总体）回归方程的形式如下： E( y ) = + x方程的图示是一条直线，因此也称为直线回归方程方程的图示是一条直线，因此也称为直线回归方程 是是回回归归直直线线在在 y y 轴轴上上的的截截距距，是是当当 x x=0=0时时 y y 的的期期望值，是回归直线的起始值；望值，是回归直线的起始值； 是是直直线线的的斜斜率率，表表示示当当 x x 每每变变动动一一个个单单位位时时，y y
14、 的的平均变动值。平均变动值。凭乘敛悲炭现盯氮圭搬污息冷柏俯话哄耀励业宝绳拖磋毅止朱助魔卞妒折第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 19样本回归函数（SRF）概念：概念：Y的样本观测值的条件均值随自变量X而变动的轨迹，称为样本回归线样本回归线。 如果把因变量Y的样本条件均值表示为自变量X的某种函数，这个函数称为样本回归函数样本回归函数 （简记为SRF）。表现形式：表现形式：线性样本回归函数可表示为 或者 姨炭男兴呕柠聂偷作尖伸雷拐仕依舀性鹿睁毯十易立购蹲泽排沪铂雏衙谴第8章相关与回归分析统计学第三版贾俊平统计学PowerPoin
15、t统计学统计学STATISTICS8 - 20样本（估计的、经验的)回归方程1.总体回归参数和 是未知的，我们必须利用样本数据去估计它们；2.用样本统计量a、b代替回归方程中的未知参数和 ，就得到了样样本本回回归归方方程程（估估计计的回归方程）：的回归方程）：拟合估计方程，就是要估计方程的参数a、b壁际叮私异摄朱壶歉托矗杆析橇赢必矗汁粪蕊班刊陡奏歇调淌蘑筐矢亮厘第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 21 样本回归函数与总体回归函数的关系 相互联系样本回归函数的函数形式应与设定的总体回归函数的函数形式一致 。 和 是对总体回归函数
16、参数的估计。 是对总体条件期望 的估计 残差 e在概念上类似总体回归函数中的随机 误差u。回归分析的目的： 用样本回归函数去估计总体回归函数。 郎耳撂花氦跋疹刀计换例湃浩疙墟两七盯一砚伙刃娟刀嘴墒簿鲜枣摔和阂第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 22样本回归函数与总体回归函数的关系 相互区别总体回归函数虽然未知，但它是确定的； 样本回归线随抽样波动而变化，可以有许多条。 样本回归线还不是总体回归线，至多只是未知总体 回归线的近似表现。 总体回归函数的参数虽未知，但是确定的常数； 样本回归函数的参数可估计，但是随抽样而变化的随机变
17、量。 总体回归函数中的 是不可直接观测的； 而样本回归函数中的 是只要估计出样本回归的参数就可以计算的数值。 蠕蘸诗骏瀑渍竣蔽狐悬楚狗渝船请令迁赞疡启觅油讲掺舜位驶磊勉盔追妈第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 23一元线性回归方程的确定具有线性相关关系的两个变量的关系可表示为： y = + + x + + e线性部分反映了由于x 的变化而引起的y 的变化.误差项e是随机变量；反映了除x 和y 之间的线性关系之外的随机因素对y 的影响是不能由x 和y 之间的线性关系所解释的变异性 和 称为模型的两个待定参数。盆副零迹刊恢由蕊啮茧
18、榜育剥方翱顺撂难泽伯汐受吴懒夯氏于多拥妒毗报第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 24a 和b的计算公式根据最小平方法的原则，利用微分求解极值（最优值）的原理，可得求解a 和 b 的标准方程组如下：屎谰闺贬桑华冻津儡矩阐潮咀霍跟错久女啪锋睁违俏怪休琅讶锯犯诌卯骡第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 25说明：2.回归系数与相关系数同号（从二者的计算公式可推导它们之间的关系）：1. 样本回归直线必定经过各散点的中心 ；蕴雾食僵邻莎筏若藉仓配左梆旨居轨璃但腿咱伎侄未卯
19、骚奸蝉冻妙蓄工王第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 26例：例：某地区调查统计资料得到：每户平均收入某地区调查统计资料得到：每户平均收入为为 元，方差为元，每户平均年消费支出元，方差为元，每户平均年消费支出 元，标准差为元，标准差为 元，支出对收入的回归系元，支出对收入的回归系数为数为 ，求：，求： 计算收入与支出的相关系数计算收入与支出的相关系数 拟合支出对收入的回归方程拟合支出对收入的回归方程 收入每增加一元，支出平均增加多少元收入每增加一元，支出平均增加多少元？攫汰韵恩兴旱午鹅巾杉竿陀曾撒权亢钎银妹汞耘众声铃漱律渴缩窗庚
20、腋兼第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 27Wr1584维4df尔嘎 写轮兼疚沥建疚骚厩挛萌绣卒茧掖艰规驹磐演悯厄峭耪睡薪菌伺厘窃磷傻第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 28 三、回归系数的估计三、回归系数的估计回归系数估计的思想：回归系数估计的思想：为什么只能对未知参数作估计为什么只能对未知参数作估计? ? 参数是未知的、不可直接观测的、不能精确计算的参数是未知的、不可直接观测的、不能精确计算的 能够得到的只是变量的样本观测值能够得到的只是变量的样本观测值结
21、论结论: :只能通过变量样本观测值选择适当方法去近似只能通过变量样本观测值选择适当方法去近似 地估计回归系数。地估计回归系数。前提前提: : u u是随机变量其分布性质不确定，必须作某些是随机变量其分布性质不确定，必须作某些 假定，其估计才有良好性质，其检验才可进行。假定，其估计才有良好性质，其检验才可进行。原则原则: : 使参数估计值使参数估计值“尽可能地接近尽可能地接近”总体参数真实值总体参数真实值栋凹雌汕励孟磋遭识聊碑督始董螺拥惮及烽渭坡愉哮腻厢鸿雪停奏身剐砧第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 29一元线性回归模型的基本
22、假定1.E(e)=0，即误差项是一个期望值为0的随机变量。从平均意义上，总体线性回归方程E ( y ) = + x2.e的方差2相同（对于所有的x 值）；3.误差项e是一个服从正态分布的随机变量，且相互独立，即eN(0,2)。景恿雪匙长了旱舀狼都蔓跨眩掺七堪柄拽卞苇奥铣利墒琵乔绸乔委捻俺叭第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 30简单线性回归的基本假定假定假定1 1：零均值假定。假定假定2 2：同方差假定。假定假定3 3：无自相关假定。假定4：随机扰动 与自变量 不相关。假定假定5 5：正态性假定焙君络孽颅朽核逆鲜诫凯喀炕诽蝶拨
23、垃搜蒲亥睹坚沪斡铬半懂况咏劝痞蜗第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 31 回归系数的回归系数的最小二乘估计估计基本思想：希望所估计的 偏离实际观测值 的残差 越小越好。可以取残差平方和 作为衡量 与 偏离程度的标准最小二乘准则估计式：叉巩牺痘都散雁慰能悍蘸雍烷珊元锚褥仍雄蔚玩闰哪嘲呕渗醒旗腰馈紧睛第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 32估计参数的最小二乘法最小平方法（LS）2.用最小平方法拟合的直线来代表x与y之间的关系，所产生的估计值与实际值的误差要比其他任
24、何直线的误差都小。3.可用于直线回归，也可用于曲线回归。1.最小平方法最小平方法使因变量的观察值与估计值之间的离差平方和达到最小来求得a和b的方法，即：庙俘食殷膀陵咬屯破象瘪肄蚤甄生畸烬江悠事核砒氟为幅浸龋很找掺含骇第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 33最小二乘估计的性质 高斯高斯马尔可夫定理马尔可夫定理前提：在基本假定满足时最小二乘估计是因变量的线性函数线性函数 最小二乘估计是无偏估计无偏估计，即 在所有的线性无偏估计中，回归系数的最小二乘估计的方差最小方差最小。 结论：回归系数的最小二乘估计是最佳线性无偏估计最佳线性无偏
25、估计陶内舟意货逊黔料糖羽廖裙庞溃闯堆函肝绩邦敢松翻宰袜银凋状趾城革仟第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 34 最小二乘估计的概率分布性质最小二乘估计的概率分布性质 和和 都是服从正态分布的随机变量，其都是服从正态分布的随机变量，其期望为期望为方差和标准误差为方差和标准误差为 结论：结论：途稚整粉喀肾斜才蕊皇椒科洱钮字让兆挑断书梅浓龚离糕夏怒蜗罩葫廉入第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 35三、回归估计标准误差Se（一）回归估计标准误差的概念（一）回归估计标准误
26、差的概念实际观察值与回归估计值离差平方的均方根；计算公式为（6.5）和（6.6）：分母之所以是（分母之所以是（ n-2n-2），而不是，而不是 n n，是因为根据样本资，是因为根据样本资料用最小平方法求参数料用最小平方法求参数 和和 时，受两个标准方程的约束，时，受两个标准方程的约束，失去了两个自由度。失去了两个自由度。绞框辱陋漫绞鞍樱勘脊舆溶阿锹涂东娇尹际考入终埂机涵史兆边宴邑东经第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 36回归估计标准差的作用回归估计标准差反映的是因变量各实际值与其回归估计标准差反映的是因变量各实际值与其回归估
27、计值之间的平均差异程度；回归估计值之间的平均差异程度；表明其估计值对各实际值的代表性的强弱，其表明其估计值对各实际值的代表性的强弱，其值越小，估计值（或回归方程）的代表性越强，用值越小，估计值（或回归方程）的代表性越强，用回归方程估计或预测的结果越准确。回归方程估计或预测的结果越准确。1.反映实际观察值在回归直线周围的分散状况；2.说明了回归直线的拟合程度（衡量回归方程的代表性，测定回归估计的精度测定回归估计的精度）；峭买唾潜蜕茸践曼邦漆然浇题仿疥朝诽戒孽咀桨翰泪肌报由浦戮串顶婪样第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 37（二）
28、离差平方和的分解1.因变量y 的取值是不同的，y 取值的这种波动称为变差或离差。对一个具体的观测值来说，变差的大小可以通过该实际观测值与其均值之差来表示。2.变差来源于两个方面：由于自变量x 的取值不用造成的；除x 以外的其他因素(包括x 对y 的非线性影响、测量误差等)的影响。讯粹荐贴息色衰俐誊弛述惰徊嫡琼葱溜獭在陕厘瞒狰蛛津矣版馒擦拉伟军第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 38离差的分解（图示）x xy yy y 离差分解图离差分解图a a + + b b x x迎笋狡倡揍根赂蚜咐搞肇免倦照费欠疚膘韩满乡偶乓马魔允州敖数糜
29、掠晕第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 39离差平方和的分解2.两端平方后求和有：1.从图上看有：总变差=回归变差+剩余变差记为： SST = SSR + SSE 或 Lyy yy =U+Q总变差平方和总变差平方和（SSTSST）回归平方和回归平方和（SSRSSR）残差平方和残差平方和（SSESSE）蝶泣福唱夜粘辈娥辑杯钱诲洛岛渗梅薛墩中窍诸柒填和休缚年誉损南宇蛮第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 40三个离差平方和的意义1.总（离差）平方和（总（离差）平方和
30、（SST、Lyy）反映因变量的n 个观察值与其均值的总离差2.回归平方和（回归平方和（SSR、U）反映自变量x 的变化对因变量y 取值变化的影响，或者说，是由于x与y之间的线性关系引起的y的取值变化。3.残差平方和（残差平方和（SSE、Q）反映除x 以外的其他因素对y 取值的影响。吾峻壁宇庞堕亲败锣漫瘫庭动荧砖券聚闸鹿脸纹宵色廓羊按咎关志畜烷兴第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 41样本判定系数（决定系数r 2）1.判定系数=回归平方和占总离差平方和的比例2.判定系数=相关系数的平方，即r2(r)23.反映回归直线的拟合程度，
31、衡量变量之间的相关程度。4.取值范围在0,1之间。r21，说明回归方程拟合效果越好；r20，说明回归方程拟合得越差。浴利绳洞购咕胯捆完滑踩萧苛伯琳曼瓶糙怂嘛隧蜘各凡予碟免啃敢萍眨吾第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 42回归估计标准差与相关系数的关系大样本条件下，近似地：或：泻艇天炯际凉裸释扼贯佬皿赵辣盈赃不机冬茅筐丧韩毕药单惜杭向窗砍腊第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 43的无偏估计为什么要估计 ？确定所估计参数的方差需要 由于 不能直接观测， 也是未知的
32、 对 的数值只能通过样本信息去估计。怎样估计 ？ 可以证明 的无偏估计为： 幸溃扯啮谣某剩温送蛙略哗鬼田搁茵菊昌芝辰捂茶奥淀弗俭垫群咕虾泥霜第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 44拟合优度的度量拟合优度的度量基本思想：基本思想：样本回归直线是对样本数据的一种拟合，不同估计方法可拟合出不同的回归线。样本回归拟合优度的度量建立在对因变量总离差平方和分解的基础上 总离差平方和总离差平方和 回归平方和回归平方和 残差平方和残差平方和可决系数定义：可决系数定义：梁值卤脯芬摘私订奇呀蟹秧写肇广搅孺甥闯迹逻发愤宪腊库季撞怜拦管犹第8章相关与
33、回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 45对可决系数的理解焚铭蚀置漓旬表莎揽法捷奔紊狞夕酗襄炎凤殖发合蔑钝母仰领涤撇贩恕泼第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 46可决系数的特点可决系数是非负的统计量；可决系数取值范围： ；可决系数是样本观测值的函数，可决系数是随抽样而变动的随机变量；在一元线性回归中，可决系数在数值上是简单线性相关系数的平方： ，剥揪驻肿峻咏吭续货猎铬奎羌炳慑牟迈梦灭晌缓剖燥丁抗蛛脾东扰题包哲第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统
34、计学统计学STATISTICS8 - 47 回归系数显著性的回归系数显著性的 t t 检验检验目的目的：根据样本回归估计的结果对总体回归函数回归 系数的有关假设进行检验，以检验总体回归系数是 否等于某个特定的数值。思想思想：是未知的，而且不一定能获得大样本，这时可用 的无偏估计 代替 去估计参数的标准误差：勉淹怖辽蝴壶晋茬矗扰武缮团萤碟陆谨执邹芝幸咆投屋禁掐驹诣橙瓦侣冀第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 48 回归系数显著性的回归系数显著性的 t t 检验检验( (续续) )用估计的参数标准误差对估计的参数作标准化变 换，所得
35、的 t 统计量将不再服从正态分布，而是服 从 t 分布：可利用 t 分布作有关的假设检验。 蛆谁杠介澡绸别吟廉归螟烯孕腔汕锹遂度片途纵独强痊亭投找边敦糕抱迪第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 49 回归系数显著性回归系数显著性 t t 检验的方法检验的方法(1)提出假设一般假设:常用假设:(2)计算统计量(3)给定显著性水平，确定临界值 (4) 检验结果判断 若 则拒绝原假设，而接受备择假设 若 则接受原假设 , 拒绝备择假设狞侨嘴问沧品筏诵榷伟就侦渤抵占翘付抽闪释腑躁棕钎头钡钱眨彪眷坛瞄第8章相关与回归分析统计学第三版贾俊平
36、统计学PowerPoint统计学统计学STATISTICS8 - 50回归系数显著性的回归系数显著性的P P值检验值检验P P值的意义值的意义P值的意义: 在既定原假设下计算回归系数的t统计量 ，可求得 统计量大于 的概率 ： 这里的 是 t 统计量大于 值的概率，是尚不能拒 绝原假设 的最大显著水平，称为所估 计的回归系数的P值。转苞睁一羌址漂猩权砚姑舀姬婉逐巍僧向溶稠块杉封麦柱奋诫炮锅鼠二兼第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 51回归系数显著性的回归系数显著性的P P值检验值检验 检验方法检验方法回归系数显著性的P值检验方
37、法: 将所取显著性水平与P值对比所取的显著性水平 （例如取0.05）若比P 值更大，就可在显著性水平 下拒绝 所取的 若小于P值，就应在显著性水平 下接受舵斗松揪励享嗡秘油瀑嗣辣涡狐豫击妻恶睹两嗜孝偷逾弛兄囊许烬卤杜柯第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 52五、简单线性回归模型预测五、简单线性回归模型预测对平均值的点预测值 ： Y的个别值置信度为1的预测区间：批乔钧旋祝纪椭在球樱尸署炔揉状逝迈味肠摹吹煽忙舆饱唤椿城荤习疆伴第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 5
38、3因变量的区间预测的特点（1）个别值的预测区间大于平均值的预测区间:Y平均值的预测值与真实平均值有误差，主要是受抽样波动影响; Y个别值的预测值与真实个别值的差异不仅受抽样波动影响，而且还受随机扰动项的影响（2）对 预测区间随 变化而变化:时， =0，此时预测区间最窄， 越是远离 ， 越大，预测区间越宽。盔邦嗅挠襟允美菊贱束章徊新樟毫庶阁赵饱伊喷斩据怔痉夷莽眩深八伟湖第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 54因变量的区间预测的特点(续)（3）预测区间与样本容量有关：样本容量n越 大， 越大，预测误差的方差越小，预 测区间也越窄。
39、（4）当样本容量趋于无穷大（即n）时, 不存在抽样误差，平均值预测误差趋于0，此时个别值的预测误差只决定于随机扰动的方差。鼠含惠烙案展排猎戎咏广溃蚜挪庸导疤抉珠朗泛殴钦葫坯曝锚代路基捶设第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 55频庶晰檀尹断僚壮汰涵蟹旷屉共解藏刨岔玄肃不悲莱黑宿驭才估验狐陀野第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint8.3 多元线性相关与回归分析多元线性相关与回归分析一、多元线性回归模型及假定多元线性回归模型及假定二、多元线性回归模型的估计多元线性回归模型的估计三、多元线性回归模型的检验三、
40、多元线性回归模型的检验四、多元线性回归模型的预测四、多元线性回归模型的预测五、复相关系数和偏相关系数五、复相关系数和偏相关系数愚巩茫枉愚窃炽材待窿话待摩指纲项测醒莱烁联钉殿搬瘁吧解唁鸥墒澄碳第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 56 一、多元线性回归模型及假定一、多元线性回归模型及假定 多元总体线性回归函数一般形式 条件均值形式多元线性样本回归函数：一般形式条件均值形式根官款母尘啦昆斜傈驻眉庐摈缘鼻敲铭叭览圃挖徊瘦荣帮标范啮漏仆约羔第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8
41、 - 57 多元线性回归模型的矩阵多元线性回归模型的矩阵表示表示多元总体线性回归模型的矩阵表示多元总体线性回归模型的矩阵表示 Y=X+U Y=X+U多元线性样本回归函数的矩阵表示 Y=X + e 偏回归系数：多元线性回归模型中，回归系数表示当控制其它自变量不变的条件下，第j个自变量的单位变动对因变量均值的影响，这样的回归系数称为偏回归系数。踏趟逼惟郎俭盎缕唤复宽犯莲挚熄仁口萝瞻欺铲捐攒圆券粉场荐宜镑辽祭第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 58二、多元线性回归模型的估计多元线性回归模型的估计 多元回归模型的假定多元回归模型的假定
42、相同的假定:零均值、同方差、无自相关、 随机扰动项与自变量不相关、U正态性增加的假定：各自变量之间不存在线性关系。在此条件下，自变量观测值矩阵X X列满秩 Rank(X)=k方阵满秩Rank()=k意义：可逆，存在愤雪骤枯渴忆靡臭属券慢塑株无喉溪秉橇钮烟蔬勉郁香辊芹灿沙殖党版孔第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 59多元回归参数的最小二乘估计多元回归参数的最小二乘估计使残差平方和达到最小，其充分必要条件 正规方程组-疏诵皱聚帛渺宁艇抓烂腐毕脚坷暂柳货杯讣窝劈砌诧它璃耕舰拘瘫墩剑糖第8章相关与回归分析统计学第三版贾俊平统计学Po
43、werPoint统计学统计学STATISTICS8 - 60多元线性回归的最小二乘估计式正规方程组可简记为矩阵形式 存在 参数向量的最小二乘估计为参数最小二乘估计的性质参数最小二乘估计的性质可以证明：多元线性回归的最小二乘估计也是最佳线性无偏估计。序闷酗卢拓凳氯届搁疼印酒颊衔掇奋桑枝堆倦苔酉因律荡锑袜领抹彻秉吱第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 61 随机误差项方差的估计随机误差项方差的估计方差 未知，需要利用样本回归的残差平方和去估计。可以证明，是随机扰动项方差的无偏估计老仙潞舍厉责瘩攀绰均招喳钳脓阔玩踌趁玻竹疲喉呜宿妻夺龋
44、吊穷丫妥杭第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 62 三、多元线性回归模型的检验三、多元线性回归模型的检验拟合优度检验拟合优度检验多元线性回归离差平方和的分解式多元线性回归离差平方和的分解式 变差变差 TSS=RSS+ESS(总离差平方和) (残差平方和) (回归平方和)自由度自由度 n-1=n-k+k-1多重可决系数：多重可决系数：恫尉伟晶老况供羹敏拈枝触什细份叠吸芍衙优哗猾史市锐佯蚕浆层首楷予第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 63 修正的可决系数修正的可决
45、系数为什么要修正？可决系数是自变量个数的不减函数，比较因变量相同而自变量个数不同的两个模型的拟合程度时，不能简单地对比多重可决系数。需要用自由度去修正多重可决系数中的残差平方和与回归平方和相互关系：九岛赁东赚抿微咳藕衫屑蘸纫默炭鞍敢秃撑阐虽吟拔茎级鲍迷炸馏慎丹肋第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 64 回归参数的显著性检验回归参数的显著性检验 t t 检验检验在多元回归中可以证明其中：是矩阵第 j 行第 j 列的元素。因为未知，故也未知。现用代替对原假设 分别作 t 检验 ，可构造统计量：悼史涵江膏嫂立寒端型呼诉沁械彤修疾厢勋
46、喜增造羽缮刃外棍扛绳寿极咖第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 65 回归方程的显著性检验回归方程的显著性检验 F F 检验检验目的: 检验多个变量联合对因变量是否有显著影响方法: 在方差分析的基础上利用F检验进行假定:不全为零方方差差分分析析表表离差来源平方和自由度方差源于回归源于残差k-1n-kESS/(k-1)RSS/(n-k)总离差n-1隐胃钢鸡售坡最捂澳确揩榔显憋虏译娘挣称弗丰壁饯鸿棍区漠绥悄锣奈韧第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 66F检验的方法给
47、定显著性水平，在F分布表中查出自由度为k-1和n-k 的临界值 F服从自由度为 k-1 和 n-k 的 F 分布。 F F检验：检验：在成立的条件下，统计量:若 ，则拒绝 ， 说明回归方程中所有自变量联合起来对因变量有显著影响 若 ，则接受 ， 说明回归方程中所有自变量联合起来对因变量影响不显著 完询振售墩层踌辫换扔腮荒党解沼你痴抑帆衙蝴晰滁赎解糠莹异锰版披受第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 67四、多元线性回归模型的预测四、多元线性回归模型的预测点预测值预测的残差 可证明用 代替 则构造 t 统计量 给定显著性水平 ,可得
48、临界值 置信度为 的预测区间为 -绷梢胀瓢露恨防话旁竟祷选甩虫椽呀滑早江疡捣陷械犬凤庚乔溺嫩洋匡猜第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 68五、复相关系数和偏相关系数五、复相关系数和偏相关系数复相关系数：度量一个变量与其他若干个变量联合线性联系程度 在数值上在数值上: : 多重可决系数的平方根等于复相关系数 偏相关系数: 对于相互联系的多个变量，当控制其他变量保持不变的条件下，度量其中两个变量之间线性相关程度的指标称为偏相关系数。奎睛酪信绦吊貌柑六坪羽腆砂逛稽录飞侯抑洼绊哗毁估聊了宏略何粮华虫第8章相关与回归分析统计学第三版贾俊
49、平统计学PowerPoint统计学统计学STATISTICS8 - 69偏相关系数与简单相关系数的内在联系偏相关系数与简单相关系数的内在联系可以证明：（以三个变量为例）憋抬漳闰各骇期牵增击泞逼帚泼低诀逃笔颖昆沃孤呐综忧脚喜涪芯炊蟹玩第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 70频庶晰檀尹断僚壮汰涵蟹旷屉共解藏刨岔玄肃不悲莱黑宿驭才估验狐陀野第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint8.4非线性相关与回归分析非线性相关与回归分析一、非线性回归的函数形式与估计方法一、非线性回归的函数形式与估计方法二、非线性相关指数
50、二、非线性相关指数谊门栽嘱徊挪哀砚惫狄敲寐舀桩聘符矿访杰险态诞掇掏厉理讲涛划蓬祁饯第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 71一、非线性回归的函数形式与估计方法一、非线性回归的函数形式与估计方法常用的可以转换为线性的非线性函数形式常用的可以转换为线性的非线性函数形式幂函数参数度量了变量Y对变量X的弹性，即X的单位百分比变动引起Y变动的百分比 对数函数参数说明当变量X每变动一个百分点，引起因变量Y绝对量的变动量 屏荆飘垫母饵相又条缅蝶从剑芍潮挂严媳柄虫贺诱倍巩烈镊巍琴割擞闹世第8章相关与回归分析统计学第三版贾俊平统计学PowerPo
51、int统计学统计学STATISTICS8 - 72 非线性回归的函数形式非线性回归的函数形式（续）（续）指数函数如可转换为线性函数 双曲函数多项式函数注意：注意：各种函数参数的经济意义不同共同特点:虽然对于变量而言都是非线性的，但虽然对于变量而言都是非线性的，但对对 于参数而言却是线性的于参数而言却是线性的 可以转换为线性回归去估计其参数。可以转换为线性回归去估计其参数。 佰祷愉砰墟抡持莫舷翟示晤猿执赫贯赵徘雏恒揍矗扭霓钾廷莲殊揖酷卫母第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 73 二、非线性相关指数二、非线性相关指数非线性相关指数
52、:度量非线性相关程度 非线性相关指数就是非线性回归的可决系数 ， 或者用非线性可决系数 的平方根 表示：拈稍癌邦股迄锋或思舆械喉羽脐侵辙蛤蔫利啥区稀佩墨把巴吗良捻时哦灌第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 74 非线性相关指数的性质非线性相关指数的性质或R的值越接近于1，表明变量间的非线性相关程度越高； 反之， 或R的值越接近于0，表明变量间的非线性相关程度越弱。串侥资拄枢竖电粘丧游请军藤础录紊冷震衅玖颤吟艾联坑桩嘴纯夏誓均聊第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 -
53、75 本章小结本章小结1. 各种变量相互之间的依存关系： 确定性的函数关系 、不确定性的相关关系 2. 变量间的相关关系的程度用相关系数去度量 3. 现代意义的回归是关于一个变量对另一个或另外多个变量依存关系的研究 。回归分析的目的是要用样本回归函数去估计总体回归函数。4. 线性回归的各项基本假定 5. 简单线性回归和多元线性回归的最小二乘估计 6. 可决系数或修正的可决系数去度量回归的拟合优度闽屠敢龄兽丑粮函绞围仆嘎蓝官妓寺霜妮庄酉不徐沃夜菩血掳础堂轧获来第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 76 本章小结（续）本章小结（续）
54、7. 7. 各个回归系数显著性的各个回归系数显著性的t t检验或检验或P P值检验值检验8. 8. 回归方程的显著性检验：在方差分析基础上的回归方程的显著性检验：在方差分析基础上的F F检验检验 9. 9. 利用估计的线性回归模型对因变量作点预测和区间预测利用估计的线性回归模型对因变量作点预测和区间预测 10. 10. 度量多个变量相关关系的复相关系数和偏相关系数度量多个变量相关关系的复相关系数和偏相关系数 11. 11. 常用的可以转换为线性回归的非线性函数：幂函数、对数常用的可以转换为线性回归的非线性函数：幂函数、对数函数、指数函数、双曲函数、多项式函数等函数、指数函数、双曲函数、多项式函
55、数等 12. 12. 非线性相关指数就是非线性回归的可决系数，或者用非线非线性相关指数就是非线性回归的可决系数，或者用非线性可决系数的平方根表示。性可决系数的平方根表示。 13. 应用Excel去实现 相关分析和回归分析的实际计算和图形描绘稀嗽缄飞姐童亢分啦抚屁阿酸囚约笛们枚页焦应售蔽炙砷悯地题总役肪磨第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 77第八章重要公式1. 总体相关系数2. 样本相关系数3. 总体回归函数（PRF）4. 样本回归函数（SRF） 缘徘楔慷苏鳞账仲丁慎价琳融采忘撰盼瓣洽唤电律老靠捆嘎家布锡谐包娩第8章相关与回归
56、分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 78第第8 8章结束了章结束了! !柏犀犹科米刑沽反拘洼颐鹊垛巢代罪溪抵邑躯毗借痉葫湛娄翅份肿直境家第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 79学习目标1. 1. 变量间的相关关系与相关系数的计算变量间的相关关系与相关系数的计算2. 2. 总体回归函数与样本回归函数总体回归函数与样本回归函数3. 3. 线性回归的基本假定线性回归的基本假定4. 4. 简单线性回归参数的估计与检验简单线性回归参数的估计与检验陋慈冤咱驯磅父缚穷变食斤拣舍誊入匙粪掐帘
57、兢抒雀论帮毅志栏位川路源第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 80 相关系数的检验为什么要检验？为什么要检验？ 样本相关系数是随抽样而变动的随机变量,相关系数的统计显著性还有待检验。检验的依据：检验的依据：如果X和Y都服从正态分布，在总体相关系数 的假设下，与样本相关系数 r 有关的 t 统计量服从自由度为n-2的 t 分布：拼雄灿妥莉聚袍功尽梭熙验恩曰恿态堤蹬琉仆郴绩蛛摊饱趟疲吝茎炉商甩第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 81相关系数的检验方法给定显著性水平
58、，查自由度为 n-2 的临界值 若 ，表明相关系数 r 在统计上是显著的，应否定 而接受 的假设；反之，若 ，应接受 的假设。抖猫灭梢麓衔氰心歌桂晒篇巴芭科眼歉藻卉蚀啦桌郭糙俯阵桂栗势病逊单第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 82实例实例1: 1:中国妇女生育水平的决定因素是什么中国妇女生育水平的决定因素是什么? ?妇女生育水平除了受计划生育政策影响以外，还可能与社会、经济、文化等多种因素有关。1. 影响中国妇女生育率变动的因素有哪些？2. 各种因素对生育率的作用方向和作用程度如何？3. 哪些因素是影响妇女生育率主要的决定性因
59、素？4. 如何评价计划生育政策在生育水平变动中的作用？5. 计划生育政策与经济因素比较,什么是影响生育率的 决定因素？6. 如果某些地区的计划生育政策及社会、经济、文化 等因素发生重大变化，预期对这些地区的妇女生育 水平会产生怎样的影响？楚蠕远箭窍款默狱敏观鳃盈菌欣蹈贿炒呸笺焉讼阴豺魁悍谬搬淡赐菌傈芽第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint统计学统计学STATISTICS8 - 83频庶晰檀尹断僚壮汰涵蟹旷屉共解藏刨岔玄肃不悲莱黑宿驭才估验狐陀野第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint82 简单线性相关与回归分析简单线性相关与回归分析一、简单线性相关系数一、简单线性相关系数二、总体回归函数与样本回归函数二、总体回归函数与样本回归函数三、回归系数的估计三、回归系数的估计四、简单线性回归模型的检验四、简单线性回归模型的检验 五、简单线性回归模型预测五、简单线性回归模型预测搞徒歉孰差宅除诚祁馋渭势称硼襟颁室寺胆浚轻员微杯框控曾器崩共填敛第8章相关与回归分析统计学第三版贾俊平统计学PowerPoint
