《统计学多元回归分析方法》由会员分享，可在线阅读，更多相关《统计学多元回归分析方法（27页珍藏版）》请在金锄头文库上搜索。
1、在数量分析中，经常会看到变量与变量之间存在着一定的联系。要了解变量 之间如何发生相互影响的，就需要利用相关分析和回归分析。回归分析的主要类 型：一元线性回归分析、多元线性回归分析、非线性回归分析、曲线估计、时间 序列的曲线估计、含虚拟自变量的回归分析以及逻辑回归分析等。1.1回归分析基本概念相关分析和回归分析都是研究变量间关系的统计学课题。在应用中，两种分 析方法经常相互结合和渗透，但它们研究的侧重点和应用面不同。在回归分析中，变量y称为因变量，处于被解释的特殊地位；而在相关分析 中，变量y与变量x处于平等的地位，研究变量y与变量x的密切程度和研究变 量x与变量y的密切程度是一样的。在回归分析
2、中，因变量y是随机变量，自变量x可以是随机变量，也可以是 非随机的确定变量；而在相关分析中，变量x和变量y都是随机变量。相关分析是测定变量之间的关系密切程度，所使用的工具是相关系数；而回 归分析则是侧重于考察变量之间的数量变化规律，并通过一定的数学表达式来描 述变量之间的关系，进而确定一个或者几个变量的变化对另一个特定变量的影响 程度。具体地说，回归分析主要解决以下几方面的问题。（1）通过分析大量的样本数据，确定变量之间的数学关系式。（2）对所确定的数学关系式的可信程度进行各种统计检验，并区分出对某一特 定变量影响较为显著的变量和影响不显著的变量。（3）利用所确定的数学关系式，根据一个或几个变
3、量的值来预测或控制另一个 特定变量的取值，并给出这种预测或控制的精确度。作为处理变量之间关系的一种统计方法和技术，回归分析的基本思想和方法 以及“回归（Regression）”名称的由来都要归功于英国统计学FGalton（1822 1911）。在实际中，根据变量的个数、变量的类型以及变量之间的相关关系，回归分 析通常分为一元线性回归分析、多元线性回归分析、非线性回归分析、曲线估计、 时间序列的曲线估计、含虚拟自变量的回归分析和逻辑回归分析等类型。1.2多元线性回归121多元线性回归的定义一元线性回归分析是在排除其他影响因素或假定其他影响因素确定的条件 下，分析某一个因素（自变量）是如何影响另一
4、事物（因变量）的过程，所进行 的分析是比较理想化的。其实，在现实社会生活中，任何一个事物（因变量）总 是受到其他多种事物（多个自变量）的影响。一元线性回归分析讨论的回归问题只涉及了一个自变量，但在实际问题中， 影响因变量的因素往往有多个。例如，商品的需求除了受自身价格的影响外，还 要受到消费者收入、其他商品的价格、消费者偏好等因素的影响；影响水果产量 的外界因素有平均气温、平均日照时数、平均湿度等。因此，在许多场合，仅仅考虑单个变量是不够的，还需要就一个因变量与多 个自变量的联系来进行考察，才能获得比较满意的结果。这就产生了测定多因素 之间相关关系的问题。研究在线性相关条件下，两个或两个以上自
5、变量对一个因变量的数量变化关 系，称为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归 模型。多元线性回归模型是一元线性回归模型的扩展，其基本原理与一元线性回归 模型类似，只是在计算上更为复杂，一般需借助计算机来完成。122多元线性回归模型1.2.2.1元线性回归模型及其矩阵表示设y是一个可观测的随机变量，它受到p个非随机因索x , x ,，x和随机12p因素e的影响，若y与x , x ,，x有如下线性关系：12py =卩+卩 x + + 卩 x + e(1.1)011p p其中0 , 0，0是p +1个未知参数，e是不可测的随机误差，且通常假定01pe N (0, c 2).我
6、们称式(1.1)为多元线性回归模型.称y为被解释变量(因变 量)，x (i = 1,2,p)为解释变量(自变量).i称E(y) = 0 +0 x + +卩 x(1.2)011p p为理论回归方程.对于一个实际问题，要建立多元回归方程，首先要估计出未知参数0 , B， 0 1，0，为此我们要进行n次独立观测，得到n组样本数据(x ,x，,x ;y )， pi1 i 2ip ii = 1,2，,n，他们满足式(1.1)，即有y = 0+0 x + 0 x + + 0 x + e10111212p 1 p1y = 0 + 0 x + 0 x + + 0 x + eV 201 212 22p 2 p2
7、(1.3)y = 0 + 0 x + 0 x + + 0 x + eJ n01 n12 n 2p np n其中e ,e，,e相互独立且都服从N(0,c 2).12n式(1.3)又可表示成矩阵形式：Y = X0+e(1.4)0= (00, 01,0 p )T，e= (e1,e 2,e n)T，这里，Y = (y , y,y )t，12neN (0,c21 )，i为n阶单位矩阵.nnn1 x111 xX = .21x12x221 x xn1 n 2x1 px2 pxnpnx(p +1)阶矩阵X称为资料矩阵或设计矩阵，并假设它是列满秩的，即rank (X) = p +1.由模型(1.3)以及多元正态
8、分布的性质可知，Y仍服从n维正态分布，它的 期望向量为X0，方差和协方差阵为b 21，即YN (邓Q2I ).nnn1.2.2.2参数的最小二乘估计及其表示1.参数的最小二乘估计与一元线性回归时的一样，多元线性回归方程中的未知参数卩，卩，,卩仍然 01p可用最小二乘法来估计即我们选择卩=(卩0,即,卩p)T使误差平方和Q(卩)2 工 8 2 =芦T芦=(Y - X0) T (Y - X0)ii=1=工(y - 0 - 0 x - 0 x 0 x )2i01i12 i 2p ipi=1达到最小.由于Q (0)是关于0,0，,0的非负二次函数，因而必定存在最小值，利用微 01p积分的极值求法，得哮
9、2 = -2工(y -0 -0x -0x -0 x ) = 060i0 1 i1 2 i 2p ip八 0i=16016Q(0) =-2工(y -0 -0 x -0 x 0 x )x = 0i 0 1 i12 i 2p ip i1i=160k6Q(0) = -2工(y -0 -0 x -0 x 0 x )x = 0i 01 i12 i 2p ip iki=16Q(0) = -2工(y -0 -0 x -0 x 0 x )x = 060i01 i12 i 2p ip ippi=1这里0 (i = 0,1，,p)是0 (i = 0,1,p)的最小二乘估计上述对Q(0)求偏导，求得 ii正规方程组的
10、过程可用矩阵代数运算进行，得到正规方程组的矩阵表示：Xt (Y - X0) = 0移项得X TX0 = XtY(1.5)称此方程组为正规方程组.依据假定R( X) = p +1，所以R( XtX ) = R( X ) = p +1 .故(XtX )-1存在.解正规方 程组(1.5 )得(1.6)0 = ( XtX )-1 XtY称y P + p x + p x p x为经验回归方程.01122p p2 .误差方差a 2的估计 将自变量的各组观测值代入回归方程，可得因变量的估计量(拟合值)为Y(y, y，,y)2 xp12p向量 e Y- Y Y-Xp I -X(XtX)-1 XTY (I -H
11、)Y 称为残差向量，其中nnH X(XtX)-iXt为n阶对称幕等矩阵，I为n阶单位阵.n称数 eTe Yt (I H )Y YtY p tXtY 为残差平方和(Error Sum of Squares,简写为nSSE).由于 E(Y) Xp 且(I H ) X 0，贝InE (e Te) Etre t (I H 疋 tr( I H) E (庞 t )nn a 2trI X(XtX)-iXtn a 2n tr( XtX )-1 XtX a 2(n p 1)1_e e从而a 2 eTe为a 2的一个无偏估计.n p 13.估计量的性质性质1 P为卩的线性无偏估计，且D(P) Var(P) a2(
12、XtX)-1.证 由于P (XtX)-1 XtY是Y的线性函数，故其为线性估计，且有E(P) (XtX)-1 XtE(Y) - p - (XtX)-1 XtX 卩D( P ) ( XtX )-1X tD(Y ) Xt ( XtX )-1 a 2( XtX )-1这一性质说明P为卩的线性无偏估计，又由于(XtX)-1 一般为非对角阵，故P的各个 分量间一般是相关的.性质 2 E(e) O, D(e) a 2(I H).证 由于e (I - H)Y，故 E(e) (I - H)E(Y) (I - H)X0 OD(e)二(I - H)D(Y)(I - H)t 二 b 2(I - H)这一性质表明残差
13、向量的各个分量间一般也是相关的.性质 3 Cov(乙 0 )二 O .证Cov(e, 0)二 Cov(I H)Y, (XtX)-1 XtY)二(I H)D(Y)X(XtX)-i 二 O .这一性质表明残差e与卩的最小二乘估计0是不相关的，又由于残差平方和sse是e的函 数，故它与0也不相关.在正态假定下不相关与独立等价，因而SSE与0独立.性质 4E(SSE)二(n p 1)b 2 .证明略性质 5 (G auss-Markov 定理)在假定 E(Y) = X0 , D(Y)21 时，0 的任一n线性函数勿0的最小方差线性无偏估计(BLUE )为a T 0,其中是任一 p +1维向量，0是0的
14、最小二乘估计.性质6 当Y N (X0Q2I)，有以下几点结论：n(1) 0 N(0Q2(XtX)-1)；(2) SSE与0独立；(3) SSE x 2(n- p-1).性质5、性质6的证明参见周纪芗回归分析或方开泰实用回归分析.1.2.3回归方程和回归系数的显著性检验给定因变量y与x , x ,，x的n组观测值，利用前述方法确定线性回归方程是否有12p意义，还有待于显著性检验.下面分别介绍回归方程显著性的F检验和回归系数的t检验, 同时介绍衡量回归拟合程度的拟合优度检验1.2.3.1回归方程显著性的检验对多元线性回归方程作显著性检验就是要看自变量x , x ,，x从整体上对12p随机变量y是否有明显的影响，即检验假设：h :=B= 0012pH :卩丰 0,1 i pi i如果H被接受，则表明y与x , x , , x之间不存在线性关系.为了说明如何进行 012p检验，我们首先建立方差分析表.1.离差平方和的分解我们知道：观测值y , y ,，y之所以有差异，是由于下述两个原因引起的，一 12n是y与x , x ,，
