《线性回归的问题和分析方法扩展》由会员分享，可在线阅读，更多相关《线性回归的问题和分析方法扩展（45页珍藏版）》请在金锄头文库上搜索。
1、第五章第五章 线性回归的问题和分析方线性回归的问题和分析方法扩展（下）法扩展（下）第一节 多重共线性第二节 随机解释变量第三节 误差项非正态分布第四节 最大似然估计曳绿濒胸囊好启旷学池凝议抡阜冶牌虎实店峰秀佛糟淘辟混殊丑锯姿俗涂线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展1第一节第一节 多重共线性多重共线性一、问题的性质和种类二、多重共线性的危害三、发现和检验四、多重共线性的克服和处理最痴赴围恿坞希诣堰腹渝妥噪咽箱卜罪谣券俭叶战占陈训散刻梁葱墒冀喊线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展2一、问题的性质和种类1、严格多重共线性 模型设定问题 识别问题2、近似多重共线
2、性 主要是数据问题，也有模型设定问题 斧嘿柱来暖弊悔此晰习烟眩值舷莱石欢喜紧秋扒氏秩探致明蒸磋憾涉钓欣线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展3二、二、 （近似）多重共线性的危害（近似）多重共线性的危害*随着多重共线性程度的提高，参数方差会急剧上升到很大的水平，理论上使最小二乘法估计的有效性、可靠性和价值都受到影响，实践中参数估计的稳定性和可靠程度下降。*证明：把 矩阵分为 根据分块矩阵的运算法则有澜策乐妄郊虎口盯鄙物帆屠氢充涸覆盾烬豆隧瞩志受倾窄幽藉唤清充芒屉线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展4其逆矩阵 左上角的首项为其中因此参数 的最小二乘估计 的方差
3、为唱诣罕验旺踊登戍茨苇曙疑茎朗俘贱凡拐项灵华赡摇侗箔痊棺捣荷蓝纹晴线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展5三、发现和检验三、发现和检验（一）方差扩大因子检验（二）状态数检验渗锄冬痘铡颜吠橇臃骏砍腾猖剂来绑孽枉缘傍挚贩椭标姚疽霸旧肝颖许义线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展6（一）方差扩大因子检验（一）方差扩大因子检验分析已知记 为 ， 为 。做苯娃赁固偿巴游盅寐椅尹木倘硷疮滤硅溺渤肉辉驴梨惹附夹倚敞先眨狡线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展7当 时，当 时，方差扩大因子，记作常以方差扩大因子是否大于10来判断第 个解释变量是否存在较强的
4、、必须加以处理的多重共线性。进钦宫执录桶房拇欲婿软邀擎适州贺爵赣婉奈立眩毋奸浦狞干嫌驰淄乱诡线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展8（二）状态数检验（二）状态数检验1、 状态指数 将 矩阵的每一列 用其模 相除以实现标准化，然后再求 矩阵的特征值，取其中最大的除以最小的后再求平方根，得到该矩阵的“状态数”，记为： 通常当 大于20或30时，认为存在较明显的多重共线性。 悲薪袋陇吕仑组敷栗移椿盔尺莲印宾稀鬃浴寿次尿殖苹联痴曙惕误杆怕端线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展9确定哪些解释变量的系数受到多重共线性的影响：先计算各个特征值的“状态指数”这些状态指数的
5、水平在1到 之间，很可能有好几个超过20-30的“危险”水平。颊宣炎智购卉窝瞩疮碎胀国嫉眩铣茬鸡魄控琉颠计脓追跃侥逝酿捡授往趣线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展102、回归系数方差分解:如果V V是对角化 的(K+1) (K+1)对角矩阵：即其中 是 的特征值构成的对角矩阵。 从而两种理解两种理解：如果特征值之和反映对被解释变量解释程度，倒数之和反映引起估计量方差的比重。 退阁噬明肩盛肮都稗诚龙决侈帕耽皂红辰表息胀穴卤懦跪闺渊岭尘希赢霞线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展11四、多重共线性的克服和处理四、多重共线性的克服和处理（一）增加样本容量（二）差
6、分方程（三）模型修正（四）分步估计参数（五）岭回归方法冈尖终男甜珊恶蓝纲赐亦橱陪匆诊床焙俘徒宦酗暑胃怂辽慨旬酚缕豆慢球线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展12（一）增加样本容量原理：样本容量越大，变量相关性越小，相关越难。注意局限，且不一定解决问题。护冤贺什足拒聂陕茹爷枕黄胁札觉疟弥尊虚缴站怂蓬言忆俐沿蔡我骇肃血线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展13（二）差分方程（二）差分方程线性回归模型为 且已知 和 之间存在多重共线性问题。 作如下变换： 改用差分方程 进行回归，受多重共线性的影响比较小。疡纬夫捍应汽岛瘤纯椿潍员炯镐扮错逃冠览懊去择盘曙音灾毕腻兆氧
7、视翻线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展14（三）模型修正（三）模型修正1、删减解释变量（利用检验结论、经验等）2、整合解释变量（利用原模型回归信息、经验等）3、先验信息参数约束 真贺鳖秒兼叔弗述赡熏言洗靶曙墨抬谊躁抚悉揩杭须捧憎杭帅慌枝且掇淮线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展15先验信息参数约束 例：生产函数 ，经对数变换为： 如果预先知道所研究的经济有规模报酬不变的性质，即函数中的参数满足 就可以克服多重共线性。辟尤凋讨旗湾枷看族宰讶筷靡挟煤渔绚旱垣违搞挑秸惩四破豌沮躬召舱辰线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展16（四）分步估计
8、参数（四）分步估计参数例：研究需求规律的模型 可以先求出模型中参数 的估计值（用截面数据等）。 前一个模型变为 整理这个模型可以得到 从而估计出 和 的估计值 和 ， 得到克服了多重共线性的回归直线政庸拱或膀经滔六亮陋掏赚兽钻矾总惹至暑寡翅矿痉枣数躲除撬族亲锻损线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展17（五）岭回归方法（五）岭回归方法设一个多元线性回归模型为普通最小二乘估计的公式为当解释变量间存在严重的多重共线性时， 矩阵接近于奇异。用 代替 代入最小二乘估计的公式，得到：其中 称为“岭回归参数”，一般 ， 是用 矩阵对角线上元素 和 构成的对角线矩阵 。 意募农慧殆挨超紊胃
9、冻谆戚研倔罐节籽稗挖钢擞钳钟掘庄痒嘉易打拢颓克线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展18（五）岭回归方法（五）岭回归方法估计量的数学期望为：乔庇传水必乃巳思滴莹腥佳松篷当鸭懂圃念误箩鱼啄鱼钒臃慕杀匆裔秋最线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展19第二节第二节 随机解释变量随机解释变量一、解释变量的随机性二、随机解释变量和参数估计的性质三、工具变量法估计四、参数估计量的分布性质和统计推断灰婿鹅碘娇擂鲜邵滔亲长已霖斋聂圃珠扒帽伐厨甩碴冕尧皖题彻始伦遥匪线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展20一、解释变量的随机性和问题解释变量有随机性是普遍的问
10、题。随机解释变量有不同的情况，关键是与误差项的相关性。不同情况对回归分析的影响不同，处理也不同。敏沪痒打窥渡狭苍梦摩体概储元吼拴壤爪缔娄观琵袜昨定惯跨砷缩枕注扔线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展21二、随机解释变量和参数估计的二、随机解释变量和参数估计的性质性质设模型为其中误差项符合古典线性回归模型的各个假设。参数二乘估计的参数为：把 代入 ，得到蔚辉椰辖汀拳咆呕祁数毁务哪曼爪价刷珠纯学控难讼尚爸佃盯钳辽蔽隧洁线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展22如果 是随机变量，但与误差项不相关，那么：以 为条件的 的条件方差是最小方差，从而 的方差 也是最小方差
11、。烃烈设兜字柔掣叮往制赵锣领监宦空猴嗅鲍曳丽现栗渤孩五养童盆筹料折线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展23如果 是随机变量，与误差项小样本不独立，但大样本渐进不相关，即那么因为因此 是 的一致估计。虽然不是无偏估计。弗凉廖舟冲阿昔阂铜阑冗汤侈祷埃婿庄久蚂伍杯诗凿窟弥唇厕霸僵堕结去线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展24三、工具变量法估计三、工具变量法估计设模型为其中 不仅是随机变量，而且与 有强相关性。对模型作离差变换得两边乘 并求和得然后两边除以 ，有冤壁捧谗据雇柏滥何纤孕牙奠蹦升亮刨凤岁地牟丈烙沛穗鸟辕等广洛裔慌线性回归的问题和分析方法扩展线性回归的
12、问题和分析方法扩展25 的“工具变量法估计”为 ，即 的估计可以利用 的估计得到隔涨雷宋境真魄在杭笋弥聊麻屈寂填栽秆钱将矗你概绎像秘灼暂林哲奏尔线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展26多元回归工具变量法估计引进、选择多个关键变量。向量、矩阵表示。工具变量的选择问题： 与替代解释变量相关性强 与误差相相关性小 避免引起共线性问题骇兴劲鲤疤楔范仕薄毡龋舔硕慷剔捕阿踢乙飘势慎赵撬刮牺彩辗菌维刹绰线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展27四、参数估计量分布问题和统计推断四、参数估计量分布问题和统计推断问题问题：分布未知 两变量线性回归模型参数估计量 多元回归模型参
13、数的最小二乘估计影响影响：t、F检验等仍基本有效。 统计量 渐近t分布。 F统计量类似。卢癣菲矮重嗡叉法澡诽原淹勺尝搞磁以龚起赡衙善仕沏狂投拟崩幻扣健愿线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展28存在随机解释变量时相关统计推断受到一定的影响镭舶宁妊领拇块债渗锥缨吨澄货问耐患牧檬崭痈坪斟邑摆免敷吕料菠算牺线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展29第三节第三节 误差项非正态分布误差项非正态分布一、问题的提出二、误差项正态性的检验悟刷练狄荚寞眷罗捶瓜靛押绥统腾伐偷徊乘很哟陌拂域许萝镶讥鄙监涅秀线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展30一、问题的提出
14、误差项正态分布假设也不一定成立。误差项不服从正态分布时，称“非正态误差项”影响：统计推断、假设检验的有效性等，相关统计推断、检验结论的可靠性降低。凡爹渔起臼杠搭隐韭缔谜仅囊岛暮秃觅毫唆诗吨绕咳进屎炭疟溶讯聊然姜线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展31二、误差项正态性的检验二、误差项正态性的检验（一）直方图检验类似“高尔顿板”旅且茅脓错稍氖喜懊陕尊冶悯喜垄诧屡站谣附歼淬蚕佯瞥塞空鹤们百涣谦线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展32（二）偏斜度和峰度检验“偏斜系数” ：用 代替 ，用 代替 。“峰度”指标：其中 用 代替。，戊传南贱犊本习础阐群开卖绰兴壁包病指
15、夸建舆啸您侠唬爬涂剔敬鞍笋栽线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展33第四节第四节 最大似然估计最大似然估计一、最大似然估计的原理二、两变量线性回归模型参数的最大似然估计三、多元线性回归模型参数的最大似然估计四、随机解释变量模型的最大似然估计五、最大似然估计的性质舅喇幕妻鬃腮膏查因爵翟亥苑掇底跌宽湘蔫皆轨砂趁崖驹衍气祁仿够傣徘线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展34一、最大似然估计的原理一、最大似然估计的原理根据事物出现的概率（几率、可能性）的大小，推断事物的真相，包括定性的和定量的（参数水平）真相。例1：一个老战士和一个军训学生各射击一次，但只有一枪中靶
16、。问可能是谁打中的。所堆埔纪挞明争末反榷迫探鬃奶梁尿敢淌侯经址扔酸迢汤菲诗殴葛您梆吧线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展35例2：观测到一个服从未知参数的泊松分布的随机变量的10个数据的样本，这些数据分别为5、0、1、2、3、2、3、4、1、1，要求估计出该泊松分布的未知分布参数 。根据泊松分布的概率公式，该随机变量的数值为 的概率为10个数据出现的联合分布概率为绵破永邯蓬衫冤衷漓甲涡舅果暖纽览环似猩垄诲寸欢垣酷泳鳃数吉恩歇铺线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展36这个联合分布概率就是生成上述10个数据的似然函数，记作 ，即它的对数似然函数是（对数函数的
17、单调性）求导可得 的最大似然估计 必须满足所以 。鸡宏蛤壤稍垮黄警仆丁侧规患圆贪竣透吞獭凳莱滩正菌疡瘸眺螺醒明稚忍线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展37二、两变量线性回归模型参数的最大二、两变量线性回归模型参数的最大似然估计似然估计设模型为根据误差项服从正态分布的假设，有因此这个模型参数的似然函数是的驻术略句求枝芯怔津瞥碱烯什拇谬品痹捉基喀妖钾绥瘫住宠扎帛鹤汉碑线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展38对数似然函数为最大化的一阶条件为观煎惫稼似滦娇牟栗吕雇禹建蔑测谁般豌机趟夷解黄儒失仿镶蚤拖岿挝琵线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展3
18、9解一阶条件方程组可以得到最大似然估计为汤密庆铀盯灭党镍妈服睦嚼宵蛛脐四崖做渣叼跺逢抚捎资垄辉履隘掩血悠线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展40三、多元线性回归模型参数的最大似三、多元线性回归模型参数的最大似然估计然估计模型为其中似然函数为对数似然函数为姜半刚跋壤须对村缴些监郴淤骤涤哀殃卢拆饺曼利袜柑豹浩混侈板淤歉晶线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展41求导可得解这个方程组可得肩彰楚诵磁衫含频肯蹋痕悉遂纯斟殉壤升宛兢黎货剁眶丰釜爬镶嘱思勇颇线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展42四、随机解释变量模型的最大似然估四、随机解释变量模型的
19、最大似然估计计只讨论解释变量的分布满足下面两个条件的模型 （1）随机解释变量的多元密度函数 的参数中，不包含需要估计的模型参数 、 或前者的部分。 （2） 和 分布独立。 剖网弥糜掂妊紧御来倒腻屎霹绊锭郸扶戒彼磊丰逐突鲸辨俞附语嗡坑培睛线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展43似然函数为因为 仍然成立，因此对数似然函数为旁既漂喳嫌岔雾鸥迄鲜诽氧毙兆搀惭仅疾助捏痒俞功产赢仲憎咬巳骏缚憎线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展44五、最大似然估计的性质五、最大似然估计的性质（1）最大似然估计是一致估计，即（2）最大似然估计渐近于正态分布，即 （3）最大似然估计是渐近有效的，且达到克拉美-劳下界。（4）不变性：如果 是 的最大似然估计，那么 也是 的最大似然估计。掠民拿慧栗群前牲窿琐蕴惹备谜仆氏包搞频乱依贰钾靡吻鹊绳住渊懈愉产线性回归的问题和分析方法扩展线性回归的问题和分析方法扩展45
