《3.1 矩阵基础及多元线性回归模型》由会员分享，可在线阅读，更多相关《3.1 矩阵基础及多元线性回归模型（45页珍藏版）》请在金锄头文库上搜索。
1、矩阵代数概述1矩阵(matrix)就是一个矩形数组。mn矩阵就有m行和n列。m称为行维数 ，n称为列维数。可表示为：矩阵2 方阵：具有相同的行数和列数的矩阵。一 个方阵的维数就是其行数或列数。 行向量：一个1m的矩阵被称为一个(m维) 行向量。 列向量：一个n1的矩阵被称为一个(n维) 列向量。方阵、行向量、列向量3对角矩阵、单位矩阵和零矩阵对角矩阵单位矩阵零矩阵4矩阵的运算加法：数乘：两矩阵相乘：A为mn阶矩阵 B为np阶矩阵 5矩阵运算的性质（1）和是实数，矩阵A、B、C具有运算所需的维数6矩阵运算的性质（2）和是实数，矩阵A、B、C具有运算所需的维数7矩阵A的行与列互换称为A的转置矩阵，
2、用A表示矩阵的转置、对称矩阵转置矩阵的性质：x是n1维向量一个方阵A是对称矩阵的充要条件A=A8 对任意一个nn的矩阵A，A的迹tr(A)定义为 其主对角线元素之和。 迹的性质：迹其中，A为nm矩阵，B为mn矩阵9 对一个nn的矩阵A，如果存在矩阵B，使得BA=AB=In则称B为矩阵A的逆，用A-1表示。如果A有逆矩阵，则称A是可逆的或非奇异的；否则 ，称A是不可逆的或奇异的。矩阵的逆10(1) 如果一个矩阵的逆存在，则它是唯一的(2) 若0且A可逆，则(3) 如果A和B都是nn可逆矩阵，则(4) 矩阵逆的性质11 给定一个nn的方阵 ，A的行列式，记 为|A|，定义为： |A|=(-1)ta
3、1p1a2p2anpn其中，t为p1p2.pn的逆序数。矩阵的行列式12例：求下列矩阵A的行列式因此，|A|=21-4+16-10+15-42= - 4解： 根据行列式定义，可得：13求方阵的逆矩阵（1）余子式： 将nn的方阵A的第i行和第j列去掉，所剩下 的子矩阵的行列式叫做元素aij的余子式，记为|Mij|例如：14求方阵的逆矩阵（2）余因子(代数余子式)： 将nn的方阵A的元素aij 的余因子，记为cij ，定义为cij =(-1)i+j|Mij|余因子矩阵： 将方阵A的元素aij代之以其余因 子，则得到A的余因子矩阵，记为cof A。伴随矩阵：余因子矩阵的转置矩阵称为A的伴 随矩阵，记
4、为adj Aadj A=(cof A)15求方阵的逆矩阵（3）如果A是方阵且是非退化的矩阵（即|A|0）， 则A的逆矩阵的计算公式为：16例：求下列矩阵A的逆阵 17Step1: 求|A|A|=-24 Step2: 求A的余因子矩阵cStep3: 求A的伴随矩阵，即cStep4: 解：18(1) 令 x1, x2, xr是一组维数相同的向量，若存在不 全为零的实数1, 2, , r使得则称向量组x1, x2, xr是线性相关的；否则，称x1, x2, xr是线性无关的。 向量组的线性相关19令A是一个nm的矩阵，则A中线性无关的最 大列向量称为A的秩，即为rank(A)。 若rank(A)=m
5、，则称为列满秩 秩的性质：(1) 行秩列秩=rank(A) (即： rank(A)=rank(A)(2) 如果A是一个nk矩阵，则 rank(A)min(n,k)矩阵的秩20 令A为nn对称矩阵。 (1) 如果对除x=0外的所有n1向量x，都有xAx0，则 称A为正定的。 (2)如果对除x=0外的所有n1向量x，都有xAx0，则 称A为半正定的。 正定和半正定矩阵的性质：(1) 正定矩阵的主对角元素都严格为正，半正定矩阵 的主对角元素都非负；(2) A是正定的，则A-1存在并正定；(3) 如果X是一个nk矩阵，则XX和XX都是半正定 的；正定和半正定矩阵21 令A为nn对称矩阵。如果AA=A，
6、则称 A是幂等矩阵。 幂等矩阵的性质：令A为nn幂等矩阵(1) rank(A)=tr(A)(2) A是半正定的。幂等矩阵22(1) 对于一个给定的n1向量a，对所有n1向量x，定义线性函 数 f(x)= ax，则f 对x的导数是1n阶偏导数向量a，即：(2) 对一个nn的对称矩阵A，定义则矩阵微分why?why?23如果y是一个n1随机向量，用var(y)（或cov-var(y)）表示的y 的方差-协方差矩阵定义为：其中j2=var(yj), ij=var(yi, yj)显然， ij=var(yi,yj) =var(yj,yi)=ji，故var(y)对称。方差-协方差矩阵24第三章 经典单方程
7、计量经济学模 型：多元回归 多元线性回归模型 多元线性回归模型的参数估计 多元线性回归模型的统计检验 多元线性回归模型的预测 回归模型的其他形式 回归模型的参数约束253.1 多元线性回归模型 一、多元线性回归模型 二、多元线性回归模型的基本假定 26多元线性回归模型的引入一元（双变量）线性回归模型在实践中 对许多情况往往无法描述。例如：对某商品的需求很可能不仅依赖于它 本身的价格，而且还依赖于其他相互竞争(互替) 或相互补充(互补)的产品价格。此外，还有消费 者的收人、社会地位，等等。因此，我们需要 讨论因变量或回归子Y，依赖于两个或更多个解 释变量或回归元的模型。27一、多元线性回归模型多
8、元线性回归模型: 有多个解释变量的线性回归模型。 也称为多变量线性回归模型。总体回归函数： 意为：给定X1,X2,Xk的值时Y的期望值。i=1,2,nY是被解释变量Xji为解释变量，i指第i次观测增加随机干扰项的随机表达式：为随机干扰项i为偏回归系数习惯上：把常数项看成为一虚变量的系数，该虚变量的样本 观测值始终取1。这样：型中解释变量的数目为k+1 28截距项和偏回归系数(1) j (j1) 称为 偏回归系数 表示在其他解释变量保持不变的情况下，Xj每变化1个单 位时，Y的条件均值 的变化;或者说j给出了Xj的单位变化对Y均值的“直接”或“净”（ 不含其他变量）影响。(2) 0 (j1) 称
9、为 截距项，它给出了所有未包含到模型中的 变量对Y的平均影响。总体回归函数的随机表达式：29总体回归模型的n个随机方程（1） 若有n组观测值，则可得n个联立方程：30令总体回归模型的n个随机方程的矩阵表示 则有，总体回归方程的矩阵表示为：31样本回归函数：根据样本估计的总体回归函数其随机表示式: ei称为残差或剩余项(residuals)，可看成是总 体回归函数中随机扰动项i的近似替代。样本回归函数32样本回归模型的n个随机方程（1）或 若有n组观测值，则可得n个联立方程： 33令样本回归模型的n个随机方程的矩阵表示则有，样本回归方程的矩阵表示为：或或 34经典线性回归模型的基本假设的引入在回
10、归分析中我们的目的不仅仅是获得参数的估计值， 而且要对参数估计值做出推断 。例如： 和 离它们相应的真实值有多远？ 与其期望值E(Yi|Xi)多接近？由PRF： 可知，Yi依赖于Xi 和ui，除非我们明确Xi 和ui的产生方 式，否则我们将无法对Yi 作任何推断。同时，为了使得使用 OLS方法的估计量具有良好的性质，我们做出了如下假设。35线性回归模型的基本假设（1）假设1、(1) 解释变量X1, X2, ,Xk是确定性变量，不是随 机变量；即在重复抽样中，X1, X2, ,Xk的值被认为是固定的。(2) 解释变量X0（虚拟）, X1, X2, ,Xk相互之间无 多重共线性等价于的列向量组的秩
11、为 k+1，即列满秩。36线性回归模型的基本假设（2-1）假设2、随机误差项具有零均值、同方差和不序列相 关：(2.1) 零均值： E(i|X1, X2, Xk)=0 i=1,2, ,n用矩阵表示为：意为：对给定的解释变量的值，随机干扰项ui的均值（ 条件期望）为0。即凡是模型不含的因而归属于ui的因 素，对Y的均值都没有系统的影响。 37线性回归模型的基本假设（2-2）假设2、随机误差项具有零均值、同方差和不自相关 性： (2.2) 同方差 Var (i|X1, X2, , Xk)=2 i=1,2, ,n或表示为：Var (i)=2 i=1,2, ,n意为：对给定的X值，随机干扰项ui的条件
12、方差是恒定的。同方差假设表明：对应于不同X值的全部Y值具有同样的重要性 或对应于不同的X值，Y围绕均值的分散程度是相同的。38线性回归模型的基本假设（2-3）假设2、随机误差项具有零均值、同方差和不序列相 关性(不自相关)：(2.3) 不序列相关： Cov(i, j)=0 ij i,j= 1,2, ,n 等价于 E(uiuj)=0 意为：相关系数为0， i, j非线性相关。39线性回归模型的基本假设（2-4）假设2、随机误差项具有零均值、同方差和不序列相 关性(不自相关)Var (i)=2 Cov(i, j)=0 ij i,j= 1,2, ,n 的矩阵表示为：40线性回归模型的基本假设（3）假
13、设3、随机误差项与解释变量Xj之间不相关：Cov(Xji, i)=0 i=1,2, ,n，j=1,2,kE(Xjiui)=0 可推出: E(X)=0，即 作此假设的理由：当我们把PRF表述为 时，我们假定了Xj和u(后者代表所有被省略的变量的影响)对Y 有各自的(并且可加的)影响。但若X和u是相关的，就不可能评 估它们各自对Y的影响。 41线性回归模型的基本假设（4）假设4、服从零均值、同方差、零协方差的正态分布iN(0, 2 ) i=1,2, ,n意为：ui服从正态分布且相互独立。对两个正态分布 的变量来说，零协方差或零相关意为这两个变量独立 。矩阵表示为： ，其中， =1,2,n作该假设的
14、理由：i代表回归模型中末明显引进的许多解释 变量的总影响，利用统计学中著名的中心极限定理：如果存在 大量独立且相同分布的随机变量，那么，除了少数例外情形， 随着这些变量的个数无限地增大，它们的总和将趋向正态分布 。42线性回归模型的基本假设（5）假设5、各解释变量的方差var(Xj)必须是一个有限的 正数。即：其中：Q为一非奇异固定矩阵（即主对角线全为非零 元素），矩阵x是由各解释变量的离差为元素组成的 nk阶矩阵 意为：在一个给定的样本中，Xj的取值不可以全相同或43线性回归模型的基本假设（6）假设6、回归模型是正确设定的。模型的正确设定表现为以下几个方面： （1）模型应包括哪些变量 （2）模型的函数形式如何（线性？非线性？） （3）对进入模型的变量要做些什么概率上的假定(Xi, Yi, i)44线性回归模型的基本假设(7)补充两个假设假设7、回归模型是线性模型。（对参数而言为线性 ）假设8、观测次数大于待估计参数个数45
