《小二乘法的基本属性ppt课件》由会员分享，可在线阅读，更多相关《小二乘法的基本属性ppt课件（36页珍藏版）》请在金锄头文库上搜索。
1、第二章第二章 最小二乘法和线性回归模型最小二乘法和线性回归模型1、的条件分布的条件分布当当解解释释变变量量取取某某固固定定值值时时条条件件，的的值值不不确确定定，的的不不同同取取值值构构成成一一定定的的分分布布，即即的的条条件分布。件分布。2、的条件期望的条件期望对于对于的每一个取值，的每一个取值，对对所构成的分布确所构成的分布确定其期望或均值，称定其期望或均值，称为为的条件期望或条的条件期望或条件均值件均值第一节第一节最小二乘法的属性最小二乘法的属性一、有关回归的根本引见一、有关回归的根本引见回回归线:对于每一个于每一个的取的取值，都有都有的条件期望的条件期望与之与之对应，代表代表这些些的条
2、件期的条件期望的点的望的点的轨迹所构成迹所构成的直的直线或曲或曲线，称，称为回回归线。3、回归线与回归函数、回归线与回归函数n回归函数：被解释变量回归函数：被解释变量的条件期望的条件期望随随解释变量解释变量的的变化而有规律的变化，假设把的的变化而有规律的变化，假设把n的条件期望的条件期望表现为表现为的某种函数的某种函数n这个函数称为回归函数。这个函数称为回归函数。n回归函数分为：总体回归函数和样本回归函数回归函数分为：总体回归函数和样本回归函数 1 1 、总体回归函数的概念、总体回归函数的概念 前前提提：假假设设知知所所研研讨讨的的经经济济景景象象的的总总体体被被解解释释变变量量 和和解解释释
3、变变量量 的的每每个个观观测测值值, , 可可以以计计算算出出总总体体被被解解释释变变量量 的的条条件件均均值值 ，并并将将其其表表现现为为解解释释变量变量 的某种函数的某种函数 这个函数称为总体回归函数这个函数称为总体回归函数PRFPRF二、参数的最小二乘估计二、参数的最小二乘估计一根本概念一根本概念 条件均值表现方式条件均值表现方式 假设假设 的条件均值的条件均值 是解是解 释变量释变量 的线性函数，可表示为：的线性函数，可表示为： 个别值表现方式个别值表现方式 对于一定的对于一定的 ， 的各个别值的各个别值 分布分布 在在 的周围，假设令各个的周围，假设令各个 与条件与条件 均值均值 的
4、偏向为的偏向为 , 显然显然 是随机变量是随机变量,那么有那么有 或或 2 2、总体回归函数的表现方式、总体回归函数的表现方式 变变量、参数均量、参数均为为“ “线线性性 参数参数“ “线线性，性，变变量非量非线线性性 变变量量“ “线线性，参数非性，参数非线线性性计计量量经济经济学中学中: : 线线性回性回归归模型主要指就参数而言是模型主要指就参数而言是“ “线线性性, ,由于只由于只需需对对参数而言是参数而言是线线性的性的, ,都可以用都可以用类类似的方法估似的方法估计计其参其参数。数。“线性的判性的判别3、随机扰动项、随机扰动项概念:随机项是指各个值与条件均值的偏向随机扰动项包括以下内容
5、模型中没有列出的影响要素模型的设定误差变量的观测误差变量内在随机性4 4、样本回归函数、样本回归函数SRFSRF样本回归线：样本回归线：对于对于的一定值，获得的一定值，获得的样本观测值，可计算其条件均值，样本观测值条件均值的轨迹称为的样本观测值，可计算其条件均值，样本观测值条件均值的轨迹称为样本回归线。样本回归线。样本回归函数：样本回归函数：假设把被解释变量假设把被解释变量的样本条件均值表示为解释变量的样本条件均值表示为解释变量的某种函数，这个函数称为样本回归函数的某种函数，这个函数称为样本回归函数SRF。SRF的特点的特点每次抽每次抽样都能都能获得一个得一个样本，就可以本，就可以拟合一条合一
6、条样本回本回归线，所以，所以样本回本回归线随抽随抽样动摇而而变化，可以有化，可以有许多多条条SRF不独一。不独一。SRF2SRF1样本回归函数假设为线性函数，可表示为其中：是与相对应的的样本条件均值和分别是样本回归函数的参数被解释变量的实践观测值不完全等于样本条件均值，二者之差用表示,称为剩余项或残差项：或者样本回归函数的表现方式样本回归函数的表现方式对样本回归的了解对样本回归的了解假设可以获得和的数值，显然:和是对总体回归函数参数和的估计是对总体条件期望的估计在概念上类似总体回归函数中的，可视为对的估计。样本回归函数与总体回归函数的关系SRFPRFA5、回归分析的目的 用样本回归函数SRF去
7、估计总体回归函数PRF。 由于样本对总体总是存在代表性误差，SRF 总会过高或过低估计PRF。要处理的问题：寻求一种规那么和方法，使得到的SRF的参数 和 尽能够“接近总体回归函数中的参数 和 。这样的“规那么和方法有多种，最常用的是最小二乘法OLS的根本思想不同的估计方法可得到不同的样本回归参数和，所估计的也不同。理想的估计方法应使与的差即剩余越小越好因可正可负，所以可以取最小即二方法引见普通最小二乘法二方法引见普通最小二乘法rdinaryLeastSquares正规方程和估计式用克莱姆法那么求解得观测值方式的OLS估计式：取偏导数为取偏导数为0，得正规方程，得正规方程 为表达得更简约，或者
8、用离差方式OLS估计式： 留意其中：用离差表现的用离差表现的OLSOLS估计式估计式 1 1对模型和变量的假定对模型和变量的假定如如假假定定解解释释变变量量 是是非非随随机机的的，或或者者虽虽然然是是随随机机的的，但但与扰动与扰动项项 是不相关的是不相关的三、最小二乘估计量的性质和分布三、最小二乘估计量的性质和分布一经典现行回归模型的根本假定一经典现行回归模型的根本假定又称高斯假定、古典假定假定1：零均值假定在给定的条件下，的条件期望为零假定2：同方差假定在给定的条件下，的条件方差为某个常数2对随机扰动项对随机扰动项的假定的假定 假定3：无自相关假定 随机扰动项 的逐次值互不相关 假定4：随机
9、扰动 与解释变量 不相关 假定5：对随机扰动项分布的正态性假定 即假定 服从均值为零、方差为 的正态分布 阐明：正态性假定不影响对参数的点估计，但对确定所估计参数的分布性质是需求的。且根据中心极限定理，当样本容量趋于无穷大时， 的分布会趋近于正态分布。所以正态性假定是合理的的分布性质的分布性质由于由于的分布性的分布性质决决议了了的分布性的分布性质。对的一些假定可以等价地表示的一些假定可以等价地表示为对的假定：的假定：假定假定1：零均：零均值假定假定假定假定2：同方差假定：同方差假定假定假定3：无自相关假定：无自相关假定假定假定5：正：正态性假定性假定二参数估计量的性质(一一)参数估计式的评价规
10、范参数估计式的评价规范1.无偏性无偏性前提：反复抽样中估计方法固定、样本数不前提：反复抽样中估计方法固定、样本数不变、经变、经反复抽样的观测值，可得一系列参数反复抽样的观测值，可得一系列参数估计值估计值参数估计值参数估计值的分布称为的分布称为的抽样分布，密的抽样分布，密度函度函数记为数记为假设假设，称，称是参数是参数的无偏估计的无偏估计式，否式，否那么称那么称是有偏的，其偏倚为是有偏的，其偏倚为见图见图1.2图1.2估计值偏倚偏倚概率密度前提：前提：样本一本一样、用不同的方法估、用不同的方法估计参数，参数， 可以找到假可以找到假设干个不同的估干个不同的估计式式 目的：努力目的：努力寻求其抽求其
11、抽样分布具有最小方差的分布具有最小方差的 估估计式式 最小方差准那么，或称最正最小方差准那么，或称最正确确 性准那么性准那么见图1.3 既是无偏的同既是无偏的同时又具有最小方差的估又具有最小方差的估计式，称式，称为 最正确无偏估最正确无偏估计式。式。2.最小方差性最小方差性 概 率 密 度 图1.3估计值4.渐近性质大样本性质思想思想:当样本容量较小时，有时很难找到最正确无偏估当样本容量较小时，有时很难找到最正确无偏估计，需求思索样本扩展后的性质计，需求思索样本扩展后的性质一致性：一致性：当样本容量当样本容量n趋于无穷大时，假设估计式趋于无穷大时，假设估计式依概率依概率收敛于总体参数的真实值，
12、就称这个估计式收敛于总体参数的真实值，就称这个估计式是是的一致估计式。即的一致估计式。即或或渐近有效性：当样本容量渐近有效性：当样本容量n趋于无穷大时，在一切的趋于无穷大时，在一切的一致估计式中，具有最小的渐近方差。一致估计式中，具有最小的渐近方差。(见图见图1.4) 概 率 密 度 估计值 图1.4二二OLS估估计式的式的统计性性质由由OLS估估计式可以看出式可以看出由可由可观测的的样本本值和和独一表示。独一表示。因存在抽因存在抽样动摇，OLS估估计是随机是随机变量量OLS估估计式是点估式是点估计式式1.线性特征线性特征是是的线性函数的线性函数nn2.无偏特性nnn3.最小方差特性n在一切的
13、线性无偏估计中，OLS估计具有最小方差n结论：在古典假定条件下,OLS估计式是最正确线性无n偏估计式BLUEOLSOLS估估计式的式的统计性性质高斯定理高斯定理 期望：期望： (无偏估无偏估计 方差和方差和规范差范差 留意：以上各式中留意：以上各式中 未知，其他均是未知，其他均是样本本观测值 三OLS估计量的方差、规范差及概率分布 可以证明可以证明 的无偏估计为的无偏估计为 (n-2为自在度为自在度,即可自在变化的样本观测值个数即可自在变化的样本观测值个数)对随机扰动项方差对随机扰动项方差的估计的估计在在 知知时估计量的概率分布估计量的概率分布1当样本为大样本时，用估计的参数规范差对当样本为大
14、样本时，用估计的参数规范差对作规范化变换，所得作规范化变换，所得Z统计量仍可视为规范正统计量仍可视为规范正态变量根据中心极限定理态变量根据中心极限定理2当样本为小样本时，可用当样本为小样本时，可用替代替代，去估去估计参数的规范误差，用估计的参数规范误差对计参数的规范误差，用估计的参数规范误差对作规范化变换，所得的作规范化变换，所得的t统计量不再服从正态分布统计量不再服从正态分布这时分母也是随机变量，而是服从这时分母也是随机变量，而是服从t分布：分布：当当未知未知时普通情况下普通情况下,总体方差总体方差未知，用无偏估计未知，用无偏估计去替代去替代，由于样本容量较小，统计量，由于样本容量较小，统计量t不再服不再服从正态分布，而服从从正态分布，而服从t分布。可用分布。可用t分布去建分布去建立参数估计的置信区间。立参数估计的置信区间。回归系数区间估计的方法回归系数区间估计的方法选定定，查t分布表得分布表得显著性程度著性程度为，自，自由度由度为的的临界界值，那么有，那么有即即
