《【2018年整理】3.1 矩阵基础及多元线性回归模型》由会员分享,可在线阅读,更多相关《【2018年整理】3.1 矩阵基础及多元线性回归模型(45页珍藏版)》请在金锄头文库上搜索。
1、矩阵代数概述1矩阵(matrix)就是一个矩形数组。mn矩阵就有m行和n列。m称为行维数 ,n称为列维数。可表示为:矩阵2 方阵:具有相同的行数和列数的矩阵。一 个方阵的维数就是其行数或列数。 行向量:一个1m的矩阵被称为一个(m维) 行向量。 列向量:一个n1的矩阵被称为一个(n维) 列向量。方阵、行向量、列向量3对角矩阵、单位矩阵和零矩阵对角矩阵单位矩阵零矩阵4矩阵的运算加法:数乘:两矩阵相乘:A为mn阶矩阵 B为np阶矩阵 5矩阵运算的性质(1)和是实数,矩阵A、B、C具有运算所需的维数6矩阵运算的性质(2)和是实数,矩阵A、B、C具有运算所需的维数7矩阵A的行与列互换称为A的转置矩阵,
2、用A表示矩阵的转置、对称矩阵转置矩阵的性质:x是n1维向量一个方阵A是对称矩阵的充要条件A=A8 对任意一个nn的矩阵A,A的迹tr(A)定义为 其主对角线元素之和。 迹的性质:迹其中,A为nm矩阵,B为mn矩阵9 对一个nn的矩阵A,如果存在矩阵B,使得BA=AB=In则称B为矩阵A的逆,用A-1表示。如果A有逆矩阵,则称A是可逆的或非奇异的;否则 ,称A是不可逆的或奇异的。矩阵的逆10(1) 如果一个矩阵的逆存在,则它是唯一的(2) 若0且A可逆,则(3) 如果A和B都是nn可逆矩阵,则(4) 矩阵逆的性质11 给定一个nn的方阵 ,A的行列式,记 为|A|,定义为: |A|=(-1)ta
3、1p1a2p2anpn其中,t为p1p2.pn的逆序数。矩阵的行列式12例:求下列矩阵A的行列式因此,|A|=21-4+16-10+15-42= - 4解: 根据行列式定义,可得:13求方阵的逆矩阵(1)余子式: 将nn的方阵A的第i行和第j列去掉,所剩下 的子矩阵的行列式叫做元素aij的余子式,记为|Mij|例如:14求方阵的逆矩阵(2)余因子(代数余子式): 将nn的方阵A的元素aij 的余因子,记为cij ,定义为cij =(-1)i+j|Mij|余因子矩阵: 将方阵A的元素aij代之以其余因 子,则得到A的余因子矩阵,记为cof A。伴随矩阵:余因子矩阵的转置矩阵称为A的伴 随矩阵,记
4、为adj Aadj A=(cof A)15求方阵的逆矩阵(3)如果A是方阵且是非退化的矩阵(即|A|0), 则A的逆矩阵的计算公式为:16例:求下列矩阵A的逆阵 17Step1: 求|A|A|=-24 Step2: 求A的余因子矩阵cStep3: 求A的伴随矩阵,即cStep4: 解:18(1) 令 x1, x2, xr是一组维数相同的向量,若存在不 全为零的实数1, 2, , r使得则称向量组x1, x2, xr是线性相关的;否则,称x1, x2, xr是线性无关的。 向量组的线性相关19令A是一个nm的矩阵,则A中线性无关的最 大列向量称为A的秩,即为rank(A)。 若rank(A)=m
5、,则称为列满秩 秩的性质:(1) 行秩列秩=rank(A) (即: rank(A)=rank(A)(2) 如果A是一个nk矩阵,则 rank(A)min(n,k)矩阵的秩20 令A为nn对称矩阵。 (1) 如果对除x=0外的所有n1向量x,都有xAx0,则 称A为正定的。 (2)如果对除x=0外的所有n1向量x,都有xAx0,则 称A为半正定的。 正定和半正定矩阵的性质:(1) 正定矩阵的主对角元素都严格为正,半正定矩阵 的主对角元素都非负;(2) A是正定的,则A-1存在并正定;(3) 如果X是一个nk矩阵,则XX和XX都是半正定 的;正定和半正定矩阵21 令A为nn对称矩阵。如果AA=A,
6、则称 A是幂等矩阵。 幂等矩阵的性质:令A为nn幂等矩阵(1) rank(A)=tr(A)(2) A是半正定的。幂等矩阵22(1) 对于一个给定的n1向量a,对所有n1向量x,定义线性函 数 f(x)= ax,则f 对x的导数是1n阶偏导数向量a,即:(2) 对一个nn的对称矩阵A,定义则矩阵微分why?why?23如果y是一个n1随机向量,用var(y)(或cov-var(y))表示的y 的方差-协方差矩阵定义为:其中j2=var(yj), ij=var(yi, yj)显然, ij=var(yi,yj) =var(yj,yi)=ji,故var(y)对称。方差-协方差矩阵24第三章 经典单方程
7、计量经济学模 型:多元回归 多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 回归模型的其他形式 回归模型的参数约束253.1 多元线性回归模型 一、多元线性回归模型 二、多元线性回归模型的基本假定 26多元线性回归模型的引入一元(双变量)线性回归模型在实践中 对许多情况往往无法描述。例如:对某商品的需求很可能不仅依赖于它 本身的价格,而且还依赖于其他相互竞争(互替) 或相互补充(互补)的产品价格。此外,还有消费 者的收人、社会地位,等等。因此,我们需要 讨论因变量或回归子Y,依赖于两个或更多个解 释变量或回归元的模型。27一、多元线性回归模型多
8、元线性回归模型: 有多个解释变量的线性回归模型。 也称为多变量线性回归模型。总体回归函数: 意为:给定X1,X2,Xk的值时Y的期望值。i=1,2,nY是被解释变量Xji为解释变量,i指第i次观测增加随机干扰项的随机表达式:为随机干扰项i为偏回归系数习惯上:把常数项看成为一虚变量的系数,该虚变量的样本 观测值始终取1。这样:型中解释变量的数目为k+1 28截距项和偏回归系数(1) j (j1) 称为 偏回归系数 表示在其他解释变量保持不变的情况下,Xj每变化1个单 位时,Y的条件均值 的变化;或者说j给出了Xj的单位变化对Y均值的“直接”或“净”( 不含其他变量)影响。(2) 0 (j1) 称
9、为 截距项,它给出了所有未包含到模型中的 变量对Y的平均影响。总体回归函数的随机表达式:29总体回归模型的n个随机方程(1) 若有n组观测值,则可得n个联立方程:30令总体回归模型的n个随机方程的矩阵表示 则有,总体回归方程的矩阵表示为:31样本回归函数:根据样本估计的总体回归函数其随机表示式: ei称为残差或剩余项(residuals),可看成是总 体回归函数中随机扰动项i的近似替代。样本回归函数32样本回归模型的n个随机方程(1)或 若有n组观测值,则可得n个联立方程: 33令样本回归模型的n个随机方程的矩阵表示则有,样本回归方程的矩阵表示为:或或 34经典线性回归模型的基本假设的引入在回
10、归分析中我们的目的不仅仅是获得参数的估计值, 而且要对参数估计值做出推断 。例如: 和 离它们相应的真实值有多远? 与其期望值E(Yi|Xi)多接近?由PRF: 可知,Yi依赖于Xi 和ui,除非我们明确Xi 和ui的产生方 式,否则我们将无法对Yi 作任何推断。同时,为了使得使用 OLS方法的估计量具有良好的性质,我们做出了如下假设。35线性回归模型的基本假设(1)假设1、(1) 解释变量X1, X2, ,Xk是确定性变量,不是随 机变量;即在重复抽样中,X1, X2, ,Xk的值被认为是固定的。(2) 解释变量X0(虚拟), X1, X2, ,Xk相互之间无 多重共线性等价于的列向量组的秩
11、为 k+1,即列满秩。36线性回归模型的基本假设(2-1)假设2、随机误差项具有零均值、同方差和不序列相 关:(2.1) 零均值: E(i|X1, X2, Xk)=0 i=1,2, ,n用矩阵表示为:意为:对给定的解释变量的值,随机干扰项ui的均值( 条件期望)为0。即凡是模型不含的因而归属于ui的因 素,对Y的均值都没有系统的影响。 37线性回归模型的基本假设(2-2)假设2、随机误差项具有零均值、同方差和不自相关 性: (2.2) 同方差 Var (i|X1, X2, , Xk)=2 i=1,2, ,n或表示为:Var (i)=2 i=1,2, ,n意为:对给定的X值,随机干扰项ui的条件
12、方差是恒定的。同方差假设表明:对应于不同X值的全部Y值具有同样的重要性 或对应于不同的X值,Y围绕均值的分散程度是相同的。38线性回归模型的基本假设(2-3)假设2、随机误差项具有零均值、同方差和不序列相 关性(不自相关):(2.3) 不序列相关: Cov(i, j)=0 ij i,j= 1,2, ,n 等价于 E(uiuj)=0 意为:相关系数为0, i, j非线性相关。39线性回归模型的基本假设(2-4)假设2、随机误差项具有零均值、同方差和不序列相 关性(不自相关)Var (i)=2 Cov(i, j)=0 ij i,j= 1,2, ,n 的矩阵表示为:40线性回归模型的基本假设(3)假
13、设3、随机误差项与解释变量Xj之间不相关:Cov(Xji, i)=0 i=1,2, ,n,j=1,2,kE(Xjiui)=0 可推出: E(X)=0,即 作此假设的理由:当我们把PRF表述为 时,我们假定了Xj和u(后者代表所有被省略的变量的影响)对Y 有各自的(并且可加的)影响。但若X和u是相关的,就不可能评 估它们各自对Y的影响。 41线性回归模型的基本假设(4)假设4、服从零均值、同方差、零协方差的正态分布iN(0, 2 ) i=1,2, ,n意为:ui服从正态分布且相互独立。对两个正态分布 的变量来说,零协方差或零相关意为这两个变量独立 。矩阵表示为: ,其中, =1,2,n作该假设的
14、理由:i代表回归模型中末明显引进的许多解释 变量的总影响,利用统计学中著名的中心极限定理:如果存在 大量独立且相同分布的随机变量,那么,除了少数例外情形, 随着这些变量的个数无限地增大,它们的总和将趋向正态分布 。42线性回归模型的基本假设(5)假设5、各解释变量的方差var(Xj)必须是一个有限的 正数。即:其中:Q为一非奇异固定矩阵(即主对角线全为非零 元素),矩阵x是由各解释变量的离差为元素组成的 nk阶矩阵 意为:在一个给定的样本中,Xj的取值不可以全相同或43线性回归模型的基本假设(6)假设6、回归模型是正确设定的。模型的正确设定表现为以下几个方面: (1)模型应包括哪些变量 (2)模型的函数形式如何(线性?非线性?) (3)对进入模型的变量要做些什么概率上的假定(Xi, Yi, i)44线性回归模型的基本假设(7)补充两个假设假设7、回归模型是线性模型。(对参数而言为线性 )假设8、观测次数大于待估计参数个数45