《一元线性回归模型与多元线性回归模型对比》由会员分享，可在线阅读，更多相关《一元线性回归模型与多元线性回归模型对比（4页珍藏版）》请在金锄头文库上搜索。
1、兀线性回归模型多元线性回归模型总体回归函数E(Y X)二卩 + 片 XE(Y|X ,X .X )二 P+P X +P X +.P X112k01122k k即 E(Y|X) = XB总体回归模型(总体回归函数的 随机表达形式)Y = E (YX) +卩二 B + p X +0 1Y二E(YX1，X2Xk)+ a即Y 二XB + u二 P+P X +P X +.P X + A01122k k样本回归模型(样本回归函数的 随机表达形式)Y = p +p X + e0 1Y = P +P X +P X +.P X + e即Y = xB+e01122k k样本回归函数八八八Y 二P +卩 X0 1八八
2、八八八八V aHiY = P +P X +P X +.P X即Y - XB01122k k给定一组容量为 n 的样本(X ,Y),(X ,Y ),.(X ,Y),.(X ,Y )1122iinn贝y,上述式子可以写成：(X , X，X , Y),11121k 1(X , X ,X , Y ),21222k 2给定一组容量为n的样本(v vv v)，(X ,X , X ,Y )i 1i 2i k i(X , X ，X , Y )n 1n 2n k n则上述式子可以写成：总体回归函数E(Y|X ) = P +P Xi 1 i01 iE(Y X ,X .X )二 P +P X +P X +.P Xi
3、i 1i 2i k01i12 i 2k ik总体回归模型Y 二 E(Y|X )+piiii二 p + p X + A01 iiY = E(Y|X ,X X ) +Air i1i 2i ki=P +P X +P X +.P X +A01 i12i 2k iki样本回归模型Y = p +p X + ei01 iiY 二 P +P X +P X +.P X + ei01 i12 i 2k iki样本回归函数/ / /Y 二 P +卩 Xi01 iY = P +Px +P x +.P xi01i 12 i 2k i k样本回归函数的离 差形式y =p xi1 iy = xB解释变量的个数 (包括常数项
4、)2 个：C, Xk+1 个：C, X ,X，X12k基本假定假设1：回归模型是正确设定 的。模型设定正确假设。假设2：确定性假设。解释变量 X是确定性变量，不是 随机变量，在重复抽样确定性假设。解释变量X1, XX是非随机或固定的，且12k中取固定值。：1各 X 之间不存在严格线性相关（无完全多重共线性）。 j样本变异性假样本变异性假设。设。对解释变量各解释变量X 在所抽取的样本中具有变异性。假设3：X抽取的样本 观察值并不完J 样本方差趋于吊数假设。全相同。随着样本容量的无限增加，各解释变量的样本方差区域 一个非零的有限常数。样本方差趋于常数假设。随机误差项卩零均值、假设4：冋方差、不序列
5、相关假随机误差项卩零均值、同方差、不序列相关假设。设。假设5：随机误差项与解释变 量不相关。随机误差项与解释变量不相关。假设：6：正态性假设。随机项服 从正态分布。正态性假设。随机项服从正态分布。参数估计兀线性回归模型多元线性回归模型残差平方和达到最小， 得到正规方程组，求得 参数的普诵最小二乘估残差平方和达到最小，得到正规方程组，求得参数的普通最计值：6 丫 x.y.P V 111 乙x 2(普通i小二乘估计值E二X x）-ix YVB 二 X x)-1 x y普通最小二乘估计（OLS）6 = y - 6 X0 1|6 二y-6X -.6 X最小二乘估计的离差形011k k式）随机干扰项的方
6、差的估（普通最小二乘估计的离差形式）入工e2e e计量随机1扰项的万差2丁讦丁讦n 一 k 一 1 n 一 k 一 1入工e 20 2 ，n 一 21參数估计值估计结果与OLS万法一致，但随机参数估计值估计结果与OLS方法一致，但随机干扰项的方差最大似然估计十扰项的万差的估计量入工e 2(ML)右OLS不 同矩估计（MM）& 2三n的估计量o 2n参数估计量的性质线性性、无偏性、有效 性线性性、无偏性、有效性参数估计量的概率 分布叫左)入区20 N(P , y i a2)00 nx2i-样本容量问题样本容量n必须不少于模型中解释变量的个数（包括常数 项），即n k +1才能得到参数估计值，n-
7、k 8时t分布才 比较稳定，能够进行变量的显著性检验，一般认为n 30活 着至少n 3（k +1）时才能满足模型估计要求。如果样本量过 小，则只依靠样本信息是无法元成估计的，需要用其他方法 去估计。统计检验兀线性回归模型多元线性回归模型拟合优度检验总离差平方和的分解TSS=ESS+RSSp ESSR 2 -,TSSR2 wb,l越接近于1,拟合优度越高。总离差平方和的分解TSS=ESS+RSSR 2 ESS 1 RSS z、R2 - tss -1 TSS，（即总平方和中回归平方和的比例）R2 elo,1!对于同一个模型，R2越接近于1,拟合优度越高。帀 1 RSS：（n - k -1）（R -
8、 1TSS /（n 一 1）（调整的思路是残差平方和RSS和总平方和tss各自除以它们的自由度）为什么要对R2进行调整？解释变量个数越多，它们对Y所能解释的部分越 大（即回归平方和部分越大），残差平方和部分越小，R 2越高，由增加解释变量引 起的R2的增大与拟合好坏无关，因此在多元回归模型之间比较拟合优度，R2就不 是一个合适的指标，必须加以调整。方程总体显著性检 验目的：对模型中被解释变量与解释变量之间的线性关系在总 体上是否成立做出判断。原假设%也=0,越=0,.耳=0备择假设：H1: Bj（j = 1,2,.k）不全为零统计量的构造：F=F（k,n-k-1）RSS/（n-k-1）判断步骤
9、：计算F统计量的值给定显著性水平a,查F分布的临界值表获得F （k,n - k - 1）a v比较F与Fa的值，若F Fa，拒绝原假设，认为原方程总体线性关系在 1 - a的置信水平下显著。若F ta,拒绝原假设，认为变量Xj在1 - a的置信水平下通过显著性检验（或者 2说，在a的显著性水平下通过检验），认为解释变量对被解释变量Y有显著线 性影响。若tta，接受原假设，在显著性水平下没有足够证据表明Xj对Y有显著线性 2影响。目的：考察一次抽样中样本参数的估价值目与总体参数的真实值Bj的接诉程度。思路：构造一个以样本参数的估计值爲为中心的区间，考察它以多大的概率包含总体 参数的真实值。方法：预先选择一个概率a （0 a 1），使得区间（pj-6，Pj + 6）包含参数真值Bj的概率为 1 a 即 P(|3j 6BjBj + 6) = 1 a参数的置信区间计算其中的6（6 = ta x），从而求出1 a置信度下Bj的置信区间：（片ta X Sg.， Bj + J X Sg.）掌握概念：置信区间 置信度 显著性水平实际应用中，我们希望置信度越高越好，置信区间越小越好（说明估计精度越高）。 如何缩小置信区间？（1）增大样本容量n （以减小ta，并减小参数估计值的样本方差）提高模型的拟合优度（以减小残差平方和，从而减小s/（3）提高样本观测值的分散度（样本值越分散，c.越小，s一越小）
