《第三章(1)_多元线性回归模型(计量经济学_浙江大学_韩菁)》由会员分享，可在线阅读，更多相关《第三章(1)_多元线性回归模型(计量经济学_浙江大学_韩菁)（34页珍藏版）》请在金锄头文库上搜索。
1、第三章 多元线性回归模型,3-1 多元线性回归模型及其基本假定,一、多元回归模型及其表示,二、多元回归模型的基本假定,3-3 多元线性回归模型的统计检验,3-2 多元线性回归模型的参数估计,二、OLS估计量的统计性质及其分布,三、随机误差项方差2的估计,一、拟合优度检验,二、回归参数的显著性检验（t检验）,三、回归方程的显著性检验（F检验）,3-4 多元线性回归模型的置信区间,一、参数的最小二乘估计,一、参数估计量的置信区间,二、应变量预测值的置信区间,3-1 多元线性回归模型及其基本假定,一、多元回归模型及其表示,第三章 多元线性回归模型,含有两个及以上解释变量的回归模型称为多元回归模型。多
2、元线性回归模型的一般式为：,k为解释变量的个数，如果将常数项看成取值始终为1的虚变量，则解释变量的数目为(k+1)。,模型中的回归系数j(j=1,2,k)表示：当其它解释变量保持不变时，第j个解释变量变动一个单位对应变量的影响。多元线性回归模型中的回归系数称为偏回归系数。,3-1 多元线性回归模型及其基本假定,一、多元回归模型及其表示,第三章 多元线性回归模型,含有两个及以上解释变量的回归模型称为多元回归模型。多元线性回归模型的一般式为：,多元线性样本回归模型,多元线性样本回归方程,多元线性总体回归方程,多元线性总体回归模型,3-1 多元线性回归模型及其基本假定,一、多元回归模型及其表示,第三
3、章 多元线性回归模型,多元线性回归模型的矩阵表示形式：,将n组观测样本值代入模型一般式，得：,多元线性总体回归模型的矩阵表示,多元线性样本回归模型的矩阵表示,3-1 多元线性回归模型及其基本假定,二、多元回归模型的基本假定,第三章 多元线性回归模型,E(i)=0,1、随机误差项具有零均值,表明：平均地看，随机误差项有互相抵消的趋势。,2、随机误差项具有同方差,Var(i)=2,表明：对每个Xi，随机误差项i的方差等于一个常数2。即解释变量取不同值时， i相对各自均值（零均值）的分散程度是相同的。应变量Yi具有与i相同的方差。应变量Yi可能取值的分散程度也是相同的。,3-1 多元线性回归模型及其
4、基本假定,二、多元回归模型的基本假定,第三章 多元线性回归模型,Cov(i, j)=0,ij,3、随机误差项在不同样本点之间是独立的，不存在序列相关,无自相关假定表明：产生误差（干扰）的因素是完全随机的，此次干扰与彼次干扰互不相关，互相独立。由此应变量Yi的序列值之间也互不相关。,因为i与j相互独立，有：,3-1 多元线性回归模型及其基本假定,二、多元回归模型的基本假定,第三章 多元线性回归模型,Cov(Xji, i)=0,4、随机误差项与解释变量之间不相关,Xji与i相互独立，互不相关，即随机误差项i和解释变量Xji是各自独立对应变量Yi产生影响。事实上，在回归分析中， Xji在重复抽样（观
5、测）中固定取值，是确定性变量，该假定自动满足。,5、随机误差项服从正态分布(结合假定1、2),iN(0, 2),随机误差项i正态分布的假定对模型的统计检验是很重要的。,3-1 多元线性回归模型及其基本假定,二、多元回归模型的基本假定,第三章 多元线性回归模型,6、各解释变量之间互不相关，即不存在线性关系,在此条件下，解释变量观测值矩阵X满秩，Rank(X)=k+1， 方阵XX也满秩，Rank(XX)=k+1， 行列式|XX|0，方阵XX可逆，(XX)-1存在。,3-2 多元线性回归模型的参数估计,一、参数的最小二乘估计,第三章 多元线性回归模型,3-2 多元线性回归模型的参数估计,一、参数的最
6、小二乘估计,第三章 多元线性回归模型,多元线性样本回归模型的矩阵表示,（极值条件）,3-2 多元线性回归模型的参数估计,一、参数的最小二乘估计,第三章 多元线性回归模型,二、OLS估计量的统计性质及其分布,1、线性：,指参数估计量 是观测值Yi的线性函数。,2、无偏性：,指参数估计量的期望等于模型参数值。,3、有效性（最小方差性）：,指在所有线性、无偏估计量中，OLS参数估计量的方差最小。,4、 服从正态分布，即：,其中， ， 2是随机误差项的方差， Cjj是矩阵(XX)-1中第j行第j列位置上的元素。,3-2 多元线性回归模型的参数估计,一、参数的最小二乘估计,第三章 多元线性回归模型,二、
7、OLS估计量的统计性质及其分布,三、随机误差项方差2的估计,参数估计的另一项任务是：求随机误差项i的分布参数,iN(0, 2),随机误差项i的方差的估计量为：,可以证明：,称作回归标准差（standard error of regression），常作为对所估计回归线的拟合优度的简单度量。,说明 是2的无偏估计量。,3-2 多元线性回归模型的参数估计,第三章 多元线性回归模型,四、样本容量问题,1、最小样本容量,从OLS原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。,欲使 存在，必须使得(XX)-1存在。 欲使(XX)-1存在，必须满足|XX|0，即(XX)为（k+1）阶
8、满秩矩阵。 矩阵乘积的秩不超过各个因子矩阵的秩。即：R(XX)min(R(X),R(X)。只有当R(X)k+1时， 矩阵(XX)才为（k+1）阶满秩矩阵。 X为n(k+1)阶矩阵，其秩最大为（k+1），此时必须有nk+1，即样本容量必须不少于模型中解释变量的数目（包括常数项）。,3-2 多元线性回归模型的参数估计,第三章 多元线性回归模型,四、样本容量问题,1、最小样本容量,从OLS原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。,2、满足基本要求的样本容量,nk+1,虽然当nk+1时可以得到参数估计量，但除了参数估计量质量不好以外，一些建立模型所必须的后续工作也无法进行。
9、例如，参数的统计检验要求样本容量必须足够大，Z检验在n30时不能应用；t检验为检验变量显著性的最常用方法,当n-k8时t分布较为稳定，检验才较为有效。所以，一般经验认为，当n30或者至少n3(k+1)时，才能满足模型估计的基本要求。,Dependent Variable: Y Method: Least Squares Date: 01/13/05 Time: 20:23 Sample: 1 18 Included observations: 18 Variable Coefficient Std. Error t-Statistic Prob. C -50.01638 49.46026 -1
10、.011244 0.3279 X 0.086450 0.029363 2.944186 0.0101 T 52.37031 5.202167 10.06702 0.0000 R-squared 0.951235 Mean dependent var 755.1222 Adjusted R-squared 0.944732 S.D. dependent var 258.7206 S.E. of regression 60.82273 Akaike info criterion 11.20482 Sum squared resid 55491.07 Schwarz criterion 11.353
11、21 Log likelihood -97.84334 F-statistic 146.2974 Durbin-Watson stat 2.605783 Prob(F-statistic) 0.000000,例：建立家庭书刊消费水平(Y)关于家庭收入(X)和户主受教育年限(T)的线性回归模型。,Dependent Variable: Y Method: Least Squares Date: 01/14/05 Time: 17:31 Sample(adjusted): 1981 1996 Included observations: 16 after adjusting endpoints V
12、ariable Coefficient Std. Error t-Statistic Prob. C 540.5286 84.30153 6.411848 0.0000 X 0.480948 0.021861 22.00035 0.0000 Y(-1) 0.198545 0.047409 4.187969 0.0011 R-squared 0.999773 Mean dependent var 13618.94 Adjusted R-squared 0.999739 S.D. dependent var 11360.47 S.E. of regression 183.6831 Akaike i
13、nfo criterion 13.43166 Sum squared resid 438613.2 Schwarz criterion 13.57652 Log likelihood -104.4533 F-statistic 28682.51 Durbin-Watson stat 1.450101 Prob(F-statistic) 0.000000,例：建立中国消费模型。Y代表消费总额，X代表国内生产总值。Y(-1)代表前一年消费总额。,3-3 多元线性回归模型的统计检验,一、拟合优度检验,第三章 多元线性回归模型,总离差平方和TSS (Total Sum of Squares),回归平方
14、和ESS (Explained Sum of Squares),残差平方和RSS (Residual Sum of Squares),反映样本观测值总体离差的大小。也称总平方和。,反映由模型中解释变量所解释的那部分离差的大小,反映样本观测值与估计值偏离的大小，是模型中解释变量未解释的那部分离差的大小。也称剩余平方和。,1、总离差平方和的分解,检验模型对样本观测值的拟合程度。用在总离差分解基础上确定的可决系数R2（调整的可决系数 ）度量。,3-3 多元线性回归模型的统计检验,一、拟合优度检验,第三章 多元线性回归模型,总离差平方和TSS,回归平方和ESS,残差平方和RSS,1、总离差平方和的分解
15、,可决系数R2度量了回归模型对Y的变动解释的比例。 R2越大，说明在Y的总变动中由模型作出了解释的部分占的比重越大，模型拟合优度越高，模型的解释功能越强。,检验模型对样本观测值的拟合程度。用在总离差分解基础上确定的可决系数R2（调整的可决系数 ）度量。,自由度,2、可决系数R2,3-3 多元线性回归模型的统计检验,一、拟合优度检验,第三章 多元线性回归模型,总离差平方和TSS,回归平方和ESS,残差平方和RSS,1、总离差平方和的分解,2、可决系数R2,3、调整的可决系数,检验模型对样本观测值的拟合程度。用在总离差分解基础上确定的可决系数R2（调整的可决系数 ）度量。,自由度,3-3 多元线性回归模型的统计检验,一、拟合优度检验,第三章 多元线性回归模型,在应用过程中发现，如果在模型中增加一个解释变量，可决系数R2往往增大，这是因为残差平方和RSS往往随着解释变量个数的增加而减少，至少不会增加。这就给人一个错觉：要使模型拟合得好，就必须增加解释变量个数。但在样本容量一定的情况下，增加解释变量个数必定使得待估参数的个数增加，从而损失自由度；且有时所增加的解释变量并非必要。R2的计算公式并未考虑不同模型自由度的不同；故调整的思路是将残差平方和R
