《《多元线性回归 》PPT课件》由会员分享，可在线阅读，更多相关《《多元线性回归 》PPT课件（64页珍藏版）》请在金锄头文库上搜索。
1、Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE计 量量 经 济 学学EconometricsCopyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE第三章第三章 多元线性回归模型多元线性回归模型 3.1 3.1 多元线性回归模型多元线性回归模型 3.2 3.2 多元线性回归模型的参数估计多元线性回归模型的参数估计 3.3 3.3 多元线性回归模型的统计检验多元线性回归模型的统计检验 3.4 3.4 多元线性回归模型的预测多元线性回归模
2、型的预测 3.5 3.5 可线性化的多元非线性回归模型可线性化的多元非线性回归模型 3.6 3.6 受约束回归受约束回归Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE3.1 3.1 多元线性回归模型多元线性回归模型一、模型形式一、模型形式二、基本假定二、基本假定Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE一、模型形式一、模型形式一、模型形式一、模型形式 注意注意：（：（1 1）解释变量）解释变量X X的个数：的个数：k k
3、 回归系数回归系数 j j的个数的个数：k k1 1 （2 2） j j：偏回归系数，表示了：偏回归系数，表示了X Xj j对对Y Y的的净影响净影响 （3 3）X X的第一个下标的第一个下标 j j 区分变量（区分变量（j j1 1，2 2，k k） 第二个下标第二个下标 i i 区分观测（区分观测（i i1 1，2 2，nn）Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE 总体回归函数（总体回归函数（总体回归函数（总体回归函数（PRFPRF） 样本回归函数（样本回归函数（样本回归函数（样本回归函数（SRF
4、SRF） 样本回归模型（样本回归模型（样本回归模型（样本回归模型（SRMSRM）其中：其中：e ei i 称为称为残差残差 (residuals)(residuals)，可看成是随机误差项，可看成是随机误差项 i i的近似替代。的近似替代。 Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE2 2 2 2、于是，总体回归模型可以表示为：、于是，总体回归模型可以表示为：、于是，总体回归模型可以表示为：、于是，总体回归模型可以表示为：总体回归模型的矩阵表示总体回归模型的矩阵表示总体回归模型的矩阵表示总体回归模型的矩阵
5、表示1 1 1 1、总体回归模型表示了、总体回归模型表示了、总体回归模型表示了、总体回归模型表示了n n n n个随机方程，引入如下矩阵记号：个随机方程，引入如下矩阵记号：个随机方程，引入如下矩阵记号：个随机方程，引入如下矩阵记号：Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE2 2 2 2、于是，样本回归模型和函数可以表示为：、于是，样本回归模型和函数可以表示为：、于是，样本回归模型和函数可以表示为：、于是，样本回归模型和函数可以表示为：样本回归模型和函数的矩阵表示样本回归模型和函数的矩阵表示样本回归模型和
6、函数的矩阵表示样本回归模型和函数的矩阵表示1 1 1 1、同理，采用如下矩阵记号：、同理，采用如下矩阵记号：、同理，采用如下矩阵记号：、同理，采用如下矩阵记号：Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE二、多元线性回归模型的基本假设二、多元线性回归模型的基本假设二、多元线性回归模型的基本假设二、多元线性回归模型的基本假设假假假假设设设设1 1 1 1：解解解解释释释释变变变变量量量量是是是是非非非非随随随随机机机机的的的的或或或或固固固固定定定定的的的的，且且且且各各各各X X X X之之之之间间间间互互
7、互互不不不不相相相相关关关关（无无无无多多多多重重重重共共共共线线线线性）。性）。性）。性）。假设假设假设假设2 2 2 2：随机误差项：随机误差项：随机误差项：随机误差项 具有零均值、同方差和无序列相关性：具有零均值、同方差和无序列相关性：具有零均值、同方差和无序列相关性：具有零均值、同方差和无序列相关性： E(E(E(E( i i i i)=0 )=0 )=0 )=0 Var (Var (Var (Var ( i i i i)=)=)=)= 2 2 2 2 i=1,2, i=1,2, i=1,2, i=1,2, ,N,N,N,N Cov( Cov( Cov( Cov( i, i, i, i
8、, j j j j)=0 ij i,j= 1,2, )=0 ij i,j= 1,2, )=0 ij i,j= 1,2, )=0 ij i,j= 1,2, ,N,N,N,N 假设假设假设假设3 3 3 3：随机误差项：随机误差项：随机误差项：随机误差项 与解释变量与解释变量与解释变量与解释变量X X X X之间不相关：之间不相关：之间不相关：之间不相关： Cov(XCov(XCov(XCov(Xji ji ji ji, , , , i i i i)=0 i=1,2, )=0 i=1,2, )=0 i=1,2, )=0 i=1,2, ,N,N,N,N 假设假设假设假设4 4 4 4： 服从零均值、
9、同方差、零协方差的正态分布服从零均值、同方差、零协方差的正态分布服从零均值、同方差、零协方差的正态分布服从零均值、同方差、零协方差的正态分布 i i i iN(0, N(0, N(0, N(0, 2 2 2 2 ) i=1,2, ) i=1,2, ) i=1,2, ) i=1,2, ,N,N,N,NCopyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE基本假设的矩阵表示基本假设的矩阵表示基本假设的矩阵表示基本假设的矩阵表示假设假设假设假设1 1 1 1: : : : n n n n ( ( ( (k k k k+1)
10、+1)+1)+1)矩阵矩阵矩阵矩阵X X X X是非随机的，且是非随机的，且是非随机的，且是非随机的，且X X X X的秩的秩的秩的秩 = = = =k k k k+1+1+1+1，即，即，即，即X X X X列满秩列满秩列满秩列满秩。假设假设假设假设2 2 2 2: : : : 假设假设假设假设4 4 4 4: : : : 向量向量向量向量 有一多维正态分布，即有一多维正态分布，即有一多维正态分布，即有一多维正态分布，即 Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE暗含假设暗含假设暗含假设暗含假设假假设设
11、5 5：样样本本容容量量趋趋于于无无穷穷时时，各各解解释释变变量量的的方方差差趋趋于于有有界界常常数数，即即n n时，时， 假设假设假设假设6 6 6 6：回归模型是正确设定的：回归模型是正确设定的：回归模型是正确设定的：回归模型是正确设定的 或或或或其中：其中：其中：其中：QQQQ为一非奇异固定矩阵，矩阵为一非奇异固定矩阵，矩阵为一非奇异固定矩阵，矩阵为一非奇异固定矩阵，矩阵x x x x是由各解释变量的是由各解释变量的是由各解释变量的是由各解释变量的离差离差离差离差为元素组成的为元素组成的为元素组成的为元素组成的n n n n k k k k阶矩阵阶矩阵阶矩阵阶矩阵 Copyrightpr
12、incebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE3.2 3.2 多元线性回归模型的参数估计多元线性回归模型的参数估计一、普通最小二乘估计一、普通最小二乘估计二、参数估计量的性质二、参数估计量的性质三、样本容量问题三、样本容量问题Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE参数估计的任务和方法参数估计的任务和方法参数估计的任务和方法参数估计的任务和方法1 1、估计目标：回归系数、估计目标：回归系数 j j、随机误差项方差、随机误差项方差 2 22
13、2、估计方法：、估计方法：OLSOLS、MLML或者或者MMMM* * * * OLS OLS OLS OLS：普通最小二乘估计：普通最小二乘估计：普通最小二乘估计：普通最小二乘估计 * * * * ML ML ML ML：最大似然估计：最大似然估计：最大似然估计：最大似然估计 * * * * MM MM MM MM：矩估计：矩估计：矩估计：矩估计 Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE一、普通最小二乘估计一、普通最小二乘估计基本思想：残差平方和最小基本思想：残差平方和最小基于取得最小值的条件获得系数
14、估计）基于取得最小值的条件获得系数估计） Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE残差平方和残差平方和残差平方和残差平方和：取得最小值的条件：取得最小值的条件：取得最小值的条件：取得最小值的条件：Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE正规方程组正规方程组正规方程组正规方程组： 解此（解此（解此（解此（k k k k1 1 1 1）个方程组成的正规方程组，即可求得）个方程组成的正规方程组，即可求得）个方程组成的正
15、规方程组，即可求得）个方程组成的正规方程组，即可求得（k+1)k+1)k+1)k+1)个未知参个未知参个未知参个未知参数数数数 j j j j 的估计的估计的估计的估计 。 Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE最小二乘估计的矩阵表示最小二乘估计的矩阵表示最小二乘估计的矩阵表示最小二乘估计的矩阵表示1 1 1 1、正规方程组的矩阵形式、正规方程组的矩阵形式、正规方程组的矩阵形式、正规方程组的矩阵形式2 2 2 2、由于、由于、由于、由于XXXXXXXX满秩满秩满秩满秩( ( ( (其逆矩阵存在）其逆矩
16、阵存在）其逆矩阵存在）其逆矩阵存在），故有，故有，故有，故有 Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFEOLSEOLSEOLSEOLSE的矩阵估计过程的矩阵估计过程的矩阵估计过程的矩阵估计过程矩阵有关定理矩阵有关定理矩阵有关定理矩阵有关定理残差平方和的矩阵表示为：残差平方和的矩阵表示为：残差平方和的矩阵表示为：残差平方和的矩阵表示为：Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE# #参数估计的实例参数估计的实例参数估计的实例参数估计的实例例：例：例：例：在例的在例的在例的在例的家庭收入家庭收入家庭收入家庭收入- - - -消费支出消费支出消费支出消费支出例中，例中，例中，例中， Copyrightprincebf,2008-2009,YNUFECopyrightprincebf,2008-2009,YNUFE误差方差误差方差误差方差误差方差 2 2 2 2的估计的估计的估计的估计1 1 1 1、基于、基于、基于
