《小二乘法的基本属性》由会员分享，可在线阅读，更多相关《小二乘法的基本属性（36页珍藏版）》请在金锄头文库上搜索。
1、第二章第二章 最小二乘法和线性回归模型最小二乘法和线性回归模型1、 的的条件分布条件分布当当解解释释变变量量 取取某某固固定定值值时时（条条件件）， 的的值值不不确确定定， 的的不不同同取取值值形形成成一一定定的的分分布布，即即 的的条条件分布。件分布。2、 的的条件期望条件期望对于对于 的每一个取值，的每一个取值，对对 所形成的分布确所形成的分布确定其期望或均值，称定其期望或均值，称为为 的条件期望或条的条件期望或条件均值件均值第一节第一节最小二乘法的属性最小二乘法的属性一、有关回归的基本介绍一、有关回归的基本介绍回归线回归线:对于每一个对于每一个 的取值，的取值，都有都有 的条件期望的条件
2、期望与之对应，与之对应，代表这些代表这些 的条件期的条件期望的点的轨迹所形成望的点的轨迹所形成的直线或曲线，称为的直线或曲线，称为回归线。回归线。3、回归线与回归函数、回归线与回归函数n回归函数：回归函数：被解释变量被解释变量的条件期望的条件期望随随解释变量解释变量的的变化而有规律的变化，如果把的的变化而有规律的变化，如果把的条件期望的条件期望表现为表现为的某种函数的某种函数这个函数称为回归函数。这个函数称为回归函数。回归函数分为：回归函数分为：总体回归函数和样本回归函数总体回归函数和样本回归函数 1 1 、总体回归函数的概念、总体回归函数的概念 前前提提：假假如如已已知知所所研研究究的的经经
3、济济现现象象的的总总体体被被解解释释变变量量 和和解解释释变变量量 的的每每个个观观测测值值, 可可以以计计算算出出总总体体被被解解释释变变量量 的的条条件件均均值值 ，并并将将其其表表现为解释变量现为解释变量 的某种函数的某种函数 这个函数称为总体回归函数（这个函数称为总体回归函数（PRF）二、参数的最小二乘估计二、参数的最小二乘估计（一）基本概念（一）基本概念 条件均值条件均值表现形式表现形式 假如假如 的条件均值的条件均值 是解是解 释变量释变量 的线性函数，可表示为：的线性函数，可表示为： 个别值个别值表现形式表现形式 对于一定的对于一定的 ， 的各个别值的各个别值 分布分布 在在 的
4、周围，若令各个的周围，若令各个 与条件与条件 均值均值 的偏差为的偏差为 , , 显然显然 是随机变量是随机变量, ,则有则有 或或 2 2、总体回归函数的表现形式、总体回归函数的表现形式 变量、参数均为变量、参数均为变量、参数均为变量、参数均为“ “线性线性线性线性” ” 参数参数参数参数“ “线性线性线性线性” ”，变量，变量，变量，变量” ”非线非线非线非线性性性性” ” 变量变量变量变量“ “线性线性线性线性” ”，参数，参数，参数，参数” ”非线非线非线非线性性性性” ”计量经济学中计量经济学中: : 线性回归模型主要指就参数而言是线性回归模型主要指就参数而言是“线性线性”,”,因因
5、为只要对参数而言是线性的为只要对参数而言是线性的, ,都可以用类似的方法估计都可以用类似的方法估计其参数。其参数。“线性线性”的判断的判断3、随机扰动项、随机扰动项n概念概念:随机项是指各个各个值与值与条件均值条件均值的偏差的偏差随机扰动项包括以下内容随机扰动项包括以下内容模型中没有列出的影响因素模型中没有列出的影响因素模型的设定误差模型的设定误差变量的观测误差变量的观测误差变量内在随机性变量内在随机性4 4、样本回归函数、样本回归函数（SRFSRF）n样本回归线样本回归线： 对于对于 的一定值，取得的一定值，取得 的样本观测值，可计算其的样本观测值，可计算其条件均值，样本观测值条件均值的轨迹
6、称为样本回条件均值，样本观测值条件均值的轨迹称为样本回归线。归线。 样本回归函数：样本回归函数：如果把被解释变量如果把被解释变量的样本条件均值表示为解释变量的样本条件均值表示为解释变量的某种函数，这个函数称为样本回归函数（的某种函数，这个函数称为样本回归函数（SRF）。）。 SRF的特点的特点每次抽样都能获得一个样本，就可以拟合一条每次抽样都能获得一个样本，就可以拟合一条样本回样本回归线，所以样本回归线随抽样波动而变归线，所以样本回归线随抽样波动而变化，可以有许多条化，可以有许多条（SRF不唯一）。不唯一）。 SRF2SRF1样本回归函数如果为线性函数，可表示为样本回归函数如果为线性函数，可表
7、示为其中：其中：是与是与相对应的相对应的的样本条件均值的样本条件均值和和分别是样本回归函数的参数分别是样本回归函数的参数被解释变量被解释变量的实际观测值的实际观测值不完全等于样本条件不完全等于样本条件均值，二者之差用均值，二者之差用表示表示,称为称为剩余项剩余项或或残差项残差项：或者或者样本回归函数的表现形式样本回归函数的表现形式对样本回归的理解对样本回归的理解如果能够获得如果能够获得和和的数值，显然的数值，显然:和和是对总体回归函数参数是对总体回归函数参数和和的估计的估计是对总体条件期望是对总体条件期望的估计的估计在概念上类似总体回归函数中的在概念上类似总体回归函数中的，可，可视为对视为对的
8、估计。的估计。样本回归函数与总体回归函数的关系SRFPRFA5、回归分析的目的回归分析的目的 用样本回归函数用样本回归函数SRF去估计总体回归函数去估计总体回归函数PRF。 由由于于样样本本对对总总体体总总是是存存在在代代表表性性误误差差，SRF 总总会会过高或过低估计过高或过低估计PRF。要解决的问题：要解决的问题：寻求一种规则和方法，使得到的寻求一种规则和方法，使得到的SRF的参数的参数 和和 尽尽可可能能“接接近近”总总体体回回归归函函数数中中的的参参数数 和和 。这样的这样的“规则和方法规则和方法”有多种，最常用的是最小有多种，最常用的是最小二乘法二乘法OLS的基本思想的基本思想 不同
9、的估计方法可得到不同的样本回归参数不同的估计方法可得到不同的样本回归参数不同的估计方法可得到不同的样本回归参数不同的估计方法可得到不同的样本回归参数和和和和，所估计的，所估计的，所估计的，所估计的也不同。也不同。也不同。也不同。 理想的估计方法应使理想的估计方法应使理想的估计方法应使理想的估计方法应使与与与与的差即剩余的差即剩余的差即剩余的差即剩余越小越好越小越好越小越好越小越好 因因因因可正可负，所以可以取可正可负，所以可以取可正可负，所以可以取可正可负，所以可以取最小最小最小最小即即即即（二）方法介绍（普通最小二乘法）（二）方法介绍（普通最小二乘法） （rdinary Least Squa
10、res ）正规方程和估计式正规方程和估计式用克莱姆法则求解得观测值形式的用克莱姆法则求解得观测值形式的OLS估计式：估计式：取偏导数为取偏导数为0，得正规方程，得正规方程 为表达得更简洁，或者用离差形式为表达得更简洁，或者用离差形式OLS估计式估计式： 注意注意其中：其中：用离差表现的用离差表现的OLSOLS估计式估计式 （1 1）对模型和变量的假定对模型和变量的假定如如假定解释变量假定解释变量是非随机的，或者虽然是随机的，但与扰动是非随机的，或者虽然是随机的，但与扰动项项 是不相关的是不相关的三、最小二乘估计量的性质和分布三、最小二乘估计量的性质和分布（一）经典现行回归模型的基本假定（一）经
11、典现行回归模型的基本假定又称高斯假定、古典假定又称高斯假定、古典假定假定假定1 1：零均值假定零均值假定在给定在给定的条件下的条件下，的条件期望为零的条件期望为零假定假定2 2：同方差假定同方差假定在给定在给定的条件下，的条件下，的条件方差为某个常数的条件方差为某个常数（2）对随机扰动项）对随机扰动项 的假定的假定 假定假定3 3：无自相关假定无自相关假定 随机扰动项随机扰动项 的逐次值互不相关的逐次值互不相关 假定假定4 4：随机扰动随机扰动 与解释变量与解释变量 不相关不相关 假定假定5 5：对随机扰动项分布的正态性假定对随机扰动项分布的正态性假定 即假定即假定 服从均值为零、方差为服从均
12、值为零、方差为 的正态分布的正态分布 （说说明明：正正态态性性假假定定不不影影响响对对参参数数的的点点估估计计，但但对对确确定定所所估估计计参参数数的的分分布布性性质质是是需需要要的的。且且根根据据中中心心极极限限定定理理，当当样样本本容容量量趋趋于于无无穷穷大大时时， 的的分分布布会会趋近于正态分布。所以正态性假定是合理的）趋近于正态分布。所以正态性假定是合理的）的分布性质的分布性质由于由于的分布性质决定了的分布性质决定了的分布性质。的分布性质。对对的一些假定可以等价地表示为对的一些假定可以等价地表示为对的假定：的假定：假定假定1：零均值假定：零均值假定假定假定2：同方差假定：同方差假定假定
13、假定3：无自相关假定：无自相关假定假定假定5：正态性假定：正态性假定（二）（二）参数估计量的性质参数估计量的性质(一一)参数估计式的评价标准参数估计式的评价标准1.无偏性无偏性前提：前提：重复抽样中估计方法固定、样本数不变、经重复抽样的观测值，可得一系列参数估计值参数估计值参数估计值的分布称为的分布称为的抽样分布，密度函的抽样分布，密度函数记为数记为如果如果，称，称是参数是参数 的无偏估计式，否的无偏估计式，否则称则称是有偏的，其偏倚为是有偏的，其偏倚为（见图）（见图）图1.2估计值偏倚偏倚概率密度前提：前提：样本相同、用不同的方法估计参数，样本相同、用不同的方法估计参数， 可以找到若干个不同
14、的估计式可以找到若干个不同的估计式 目标：目标：努力寻求其抽样分布具有最小方差的努力寻求其抽样分布具有最小方差的 估计式估计式 最小方差准则，或称最佳最小方差准则，或称最佳 性准则性准则（见图）（见图） 既是无偏的同时又具有最小方差的估计式，称为既是无偏的同时又具有最小方差的估计式，称为 最佳无偏估计式。最佳无偏估计式。2.最小方差性最小方差性 概 率 密 度 图1.3估计值4. 4. 渐近性质渐近性质（大样本性质）（大样本性质）思想思想:当样本容量较小时，有时很难找到最佳无偏估计，需要考当样本容量较小时，有时很难找到最佳无偏估计，需要考虑样本扩大后的性质虑样本扩大后的性质一致性：一致性：当样
15、本容量当样本容量n趋于无穷大时，如果估计式趋于无穷大时，如果估计式依概率收敛于总体参依概率收敛于总体参数的真实值，就称这个估计式数的真实值，就称这个估计式是是 的一致估计式。即的一致估计式。即或或渐近有效性：渐近有效性：当样本容量当样本容量n趋于无穷大时，在所有的一致估趋于无穷大时，在所有的一致估计式中，具有最小的渐近方差。计式中，具有最小的渐近方差。(见图1.4) 概 率 密 度 估计值 图1.4（二）（二）OLS估计式的统计性质估计式的统计性质由由OLS估计式可以看出估计式可以看出由可观测的样本值由可观测的样本值和和唯一表示。唯一表示。因存在抽样波动，因存在抽样波动，OLS估计估计是随机变
16、量是随机变量OLS估计式是点估计式估计式是点估计式1.线性特征线性特征是是的线性函数的线性函数2.无偏特性无偏特性3.最小方差特性最小方差特性在所有的线性无偏估计中，在所有的线性无偏估计中，OLS估计估计具有最小方差具有最小方差结论：在古典假定条件下结论：在古典假定条件下,OLS,OLS估计式是最佳线性无估计式是最佳线性无 偏估计式（偏估计式（BLUEBLUE）OLSOLS估计式的统计性质估计式的统计性质高斯定理高斯定理 期望：期望： (无偏估计）无偏估计） 方差和标准差方差和标准差 注意：注意：以上各式中以上各式中 未知，其余均是样本观测值未知，其余均是样本观测值 （三）（三）OLSOLS估
17、计量的方差、标准差及概率分布估计量的方差、标准差及概率分布 可以证明可以证明 的无偏估计为的无偏估计为 (n-2为自由度为自由度,即可自由变化的样本观测值个数即可自由变化的样本观测值个数)对随机扰动项方差对随机扰动项方差的估计的估计在在 已知时已知时估计量的概率分布估计量的概率分布（1）当样本为大样本时，用估计的参数标准差对）当样本为大样本时，用估计的参数标准差对作标准化变换，所得作标准化变换，所得Z 统计量仍可视为标准正统计量仍可视为标准正态变量（根据中心极限定理）态变量（根据中心极限定理）（2）当样本为小样本时，可用）当样本为小样本时，可用代替代替，去估去估计参数的标准误差，用估计的参数标
18、准误差对计参数的标准误差，用估计的参数标准误差对作标准化变换，所得的作标准化变换，所得的t统计量不再服从正态分布统计量不再服从正态分布（这时分母也是随机变量），而是服从（这时分母也是随机变量），而是服从t分布：分布：当当未知时未知时一般情况下一般情况下,总体方差总体方差未知，用无偏估计未知，用无偏估计去代替去代替，由于样本容量较小，统计量，由于样本容量较小，统计量t不再服不再服从正态分布，而服从从正态分布，而服从t分布。可用分布。可用t分布去建分布去建立参数估计的置信区间。立参数估计的置信区间。回归系数区间估计的方法回归系数区间估计的方法选定选定，查，查t分布表得显著性水平为分布表得显著性水平为 ，自，自由度为由度为 的临界值的临界值，则有，则有即
