《计量经济学 第三章 多元线性回归解析》由会员分享，可在线阅读，更多相关《计量经济学 第三章 多元线性回归解析（64页珍藏版）》请在金锄头文库上搜索。
1、 第三章 多元线性回归模型 3.1 多元线性回归模型 3.2 多元线性回归模型的参数估计 3.3 多元线性回归模型的统计检验 3.4 多元线性回归模型的预测 3.5 可线性化的多元非线性回归模型 3.6 受约束回归 3.1 多元线性回归模型 一、模型形式 二、基本假定 一、模型形式 注意：（1）解释变量X的个数：k 回归系数 j的个数：k1 （2）j：偏回归系数，表示了Xj对Y的净影响 （3）X的第一个下标 j 区分变量（j1，2，k） 第二个下标 i 区分观测（i1，2，n） 总体回归函数（总体回归函数（PRFPRF） 样本回归函数（样本回归函数（SRFSRF） 样本回归模型（样本回归模型（
2、SRMSRM） 其中：ei 称为残差 (residuals)，可看成是随机误差项 i的近似替代。 2 2、于是，总体回归模型可以表示为：、于是，总体回归模型可以表示为： 总体回归模型的矩阵表示 1 1、总体回归模型表示了、总体回归模型表示了n n个随机方程，引入如下矩阵记号：个随机方程，引入如下矩阵记号： 2 2、于是，样本回归模型和函数可以表示为：、于是，样本回归模型和函数可以表示为： 样本回归模型和函数的矩阵表示 1 1、同理，采用如下矩阵记号：、同理，采用如下矩阵记号： 二、多元线性回归模型的基本假设 假设假设1 1：解释变量是非随机的或固定的，且：解释变量是非随机的或固定的，且各各X
3、X之间互不相关之间互不相关（无多重共线（无多重共线 性）。性）。 假设假设2 2：随机误差项：随机误差项 具有零均值、同方差和无序列相关性：具有零均值、同方差和无序列相关性： E(E( i i )=0 )=0 VarVar ( ( i i )=)= 2 2 i=1,2, i=1,2, ,N,N Cov(Cov( i i, , j j )=0 )=0 ijij i,ji,j= 1,2, = 1,2, ,N,N 假设假设3 3：随机误差项：随机误差项 与解释变量与解释变量X X之间不相关：之间不相关： Cov(XCov(X ji ji , , i i )=0 i=1,2, )=0 i=1,2, ,
4、N,N 假设假设4 4： 服从零均值、同方差、零协方差的正态分布服从零均值、同方差、零协方差的正态分布 i i N(0, N(0, 2 2 ) i=1,2, ) i=1,2, ,N,N 基本假设的矩阵表示 假设假设1 1: : n n ( (k k +1)+1)矩阵矩阵X X是非随机的，且是非随机的，且X X的秩的秩 = =k k +1+1，即即X X列满秩列满秩。 假设假设2 2: : 假设假设4 4: : 向量向量 有一多维正态分布，即有一多维正态分布，即 暗含假设 假设5：样本容量趋于无穷时，各解释变量的方差趋于有界常数，即 n时， 假设假设6 6：回归模型是正确设定的：回归模型是正确设
5、定的 或或 其中：其中：QQ为一非奇异固定矩阵，矩阵为一非奇异固定矩阵，矩阵x x是由各解释变量的是由各解释变量的离差离差 为元素组成的为元素组成的 n n k k 阶矩阵阶矩阵 3.2 多元线性回归模型的参数估计 一、普通最小二乘估计 二、参数估计量的性质 三、样本容量问题 参数估计的任务和方法 1、估计目标：回归系数j、随机误差项方差2 2、估计方法：OLS、ML或者MM * * OLSOLS：普通最小二乘估计：普通最小二乘估计 * * MLML：最大似然估计：最大似然估计 * * MMMM：矩估计：矩估计 一、普通最小二乘估计 基本思想：残差平方和最小 基于取得最小值的条件获得系数估计）
6、 残差平方和残差平方和： 取得最小值的条件：取得最小值的条件： 正规方程组正规方程组： 解此（解此（k k1 1）个方程组成的）个方程组成的正规方程组，即可求得正规方程组，即可求得（k+1)k+1)个未知参个未知参 数数 j j 的估计的估计 。 最小二乘估计的矩阵表示 1 1、正规方程组的矩阵形式、正规方程组的矩阵形式 2 2、由于、由于XXXX满秩满秩( (其逆矩阵存在）其逆矩阵存在），故有，故有 OLSE的矩阵估计过程 矩阵有关定理矩阵有关定理 残差平方和的矩阵表示为：残差平方和的矩阵表示为： #参数估计的实例 例例3.2.13.2.1：在例在例2.1.12.1.1的的家庭收入家庭收入-
7、 -消费支出消费支出例中，例中， 误差方差2的估计 1 1、基于、基于OLSOLS下，随机误差项下，随机误差项 的方差的的方差的无偏估计量无偏估计量为为 注意注意：分母的形式：分母的形式：n-k-1 = n-(k+1)n-k-1 = n-(k+1)。 k k：解释变量解释变量X X的个数；的个数； k+1k+1：回归系数的个数回归系数的个数 2 2、 称为称为估计标准误估计标准误或者或者回归标准误回归标准误（S.E of regressionS.E of regression） *最大似然估计* （Maximum Likelihood Estimate） 1、基本原理：样本观测值出现的概率最大
8、。 2、似然函数： 3、最大似然估计MLE： 参数的参数的MLEMLE与参数的与参数的OLSEOLSE相同相同 *矩估计* （Moment Method，MM） 1、OLS估计是通过得到一个关于参数估计值的正规方程组 并对它进行求解而完成的。 2 2、该、该正规方程组正规方程组可以从另外一种思路来导出可以从另外一种思路来导出: : 两侧求期望两侧求期望 : : 矩条件矩条件 *矩条件和矩估计量* 3 3、由此得到、由此得到正规方程组正规方程组： 解此正规方程组即得参数的解此正规方程组即得参数的MMMM估计量估计量。 1 1、称为原总体回归方程的一组称为原总体回归方程的一组矩条件矩条件，表明了，
9、表明了 原总体回归方程所具有的内在特征。原总体回归方程所具有的内在特征。 2 2、如果随机抽出原总体的一个样本，估计出的样本回归方程：、如果随机抽出原总体的一个样本，估计出的样本回归方程： 能够近似代表总体回归方程的话，则应成立：能够近似代表总体回归方程的话，则应成立： MMMM估计量与估计量与OLSOLS、MLML估计量等价。估计量等价。 *关于矩估计* 矩方法是工具变量方法矩方法是工具变量方法(Instrumental Variables,IV)(Instrumental Variables,IV)和广义矩估计方和广义矩估计方 法法(Generalized Moment Method, G
10、MM)(Generalized Moment Method, GMM)的基础的基础 在矩方法中关键是利用了：在矩方法中关键是利用了：E(E(XX )=0)=0 如果某个解释变量与随机项相关，只要能找到如果某个解释变量与随机项相关，只要能找到1 1个工具变量，仍然个工具变量，仍然 可以构成一组矩条件。这就是可以构成一组矩条件。这就是IVIV。 如果存在如果存在k+k+1 1个变量与随机项不相关，可以构成一组包含个变量与随机项不相关，可以构成一组包含k+k+ 1 1 方程的矩条件。这就是方程的矩条件。这就是GMMGMM。 OLSOLS只是只是GMMGMM的一个特例的一个特例 二、最小二乘估计量的性
11、质 高斯马尔可夫定理(Gauss-Markov theorem): 在给定经典线性回归的假定下，最小二乘估计量是具有 最小方差的线性无偏估计量，即最佳线性无偏估计量（ BLUE）。 1 1、线性：、线性： 其中其中, ,C=(XX)C=(XX)-1 -1 X X 为一仅与固定的为一仅与固定的X X有关的行向量有关的行向量 2 2、无偏性、无偏性: : 这里利用了假设这里利用了假设: : E(E(XX )=0)=0 3 3、有效性、有效性: : 其中利用了其中利用了: : 参数估计量的概率分布 1 1、由参数估计量的上述性质和基本假设，易知：、由参数估计量的上述性质和基本假设，易知： 线性性基本
12、假设线性性基本假设 正态分布正态分布 无偏性无偏性 期望为期望为 有效性的证明有效性的证明 方差表达式方差表达式 2 2、记、记 C=(XX)C=(XX)-1 -1 的第 的第 j j 个主对角元素为个主对角元素为 C C jj jj （j=0,1,k)j=0,1,k)，则：，则： 三、样本容量问题 最小样本容量 满足基本要求的样本容量 1、最小样本容量 所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发， 欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。 样本最小容量必须不少于模型中解释变量的数目（包括常数项）,即 ：n k+1 因为，无多重共线性要求：秩(X)=k+1 2、
13、基本样本容量 从统计检验的角度：从统计检验的角度： n n 3030 时，时，Z Z检验才能应用；检验才能应用； n-n- k k 8 8时时, t, t分布较为稳定分布较为稳定 一般经验认为一般经验认为: : 当当n n 3030或者至少或者至少n n 3(3( k k +1)+1)时，才能说满足模型估计的基本要求。时，才能说满足模型估计的基本要求。 模型的良好性质只有在大样本下才能得到理论上的证明模型的良好性质只有在大样本下才能得到理论上的证明 3.3 多元线性回归模型的统计检验 一、拟合优度检验 二、方程显著性检验 三、变量显著性检验 一、拟合优度检验 目的：测定样本回归函数对样本观测值
14、的拟合紧密程度 指标：R2、Adj(R2) 可决系数R2 (coefficient of determination) 0R0R 2 2 11，该统计量越接近于，该统计量越接近于1 1，模型的拟合优度越高。，模型的拟合优度越高。 1、定义： 2 2、问题：、问题： 在模型中增加一个解释变量，在模型中增加一个解释变量， R R 2 2 往往增大往往增大 但是：但是：增加解释变量个数往往得不偿失，增加解释变量个数往往得不偿失，不重要的变量不应引入。不重要的变量不应引入。 增加解释变量使得估计参数增加，从而自由度减小。如果引入的变量对减增加解释变量使得估计参数增加，从而自由度减小。如果引入的变量对减
15、 少残差平方和的作用很小，这将导致误差方差少残差平方和的作用很小，这将导致误差方差 2 2 的增大，引起模型精度的降的增大，引起模型精度的降 低。低。 因此：因此：R R 2 2 需调整需调整。 调整的可决系数Adj(R2) （adjusted coefficient of determination） 1 1、调整思路、调整思路: :将残差平方和与总离差平方和分别除以各自的自由度，以将残差平方和与总离差平方和分别除以各自的自由度，以 剔除变量个数对拟合优度的影响。剔除变量个数对拟合优度的影响。 2 2、自由度：统计量可自由变化的样本观测值的个数，记为、自由度：统计量可自由变化的样本观测值的个数，记为dfdf TSSTSS：dfdfn n1 1 ESSESS：dfdf k k RSSRSS：dfd
