复习1：简单线性回归模型.

《复习1：简单线性回归模型.》由会员分享，可在线阅读，更多相关《复习1：简单线性回归模型.（61页珍藏版）》请在金锄头文库上搜索。

1、一元、二元线性回归模型 复习1 学习要点 一、简单线性回归模型的设定 二、简单线性回归模型的基本假定 三、简单线性回归模型参数的估计方法 四、参数估计量的统计性质 五、拟合优度的度量 六、回归系数的区间估计和假设检验 七、回归模型预测 八、EViews应用 1. 经济变量间的相互关系 确定性的函数关系： 不确定性的统计关系相关关系 (u为随机变量) 没有关系 （ 一）回归与相关关系 一、一元线性回归模型 2.相关关系 相关关系的描述 相关关系最直观的描述方式坐标图（散布图） 相关关系的类型 从涉及的变量数量看： 简单相关、多重相关（复相关） 从变量相关关系的表现形式看：线 性相关散布图接近一条

2、直线；非 线性相关散布图接近一条曲线。 从变量相关关系变化的方向看：正 相关变量同方向变化，同增同减 ；负相关变量反方向变化，一增 一减；不相关。 3.相关程度的度量简单相关系数 简单相关系数用来测度两个变量之间是否存在线性相关 关系，其变化范围在 -1，1 之间。越接近于-1，负相关 程度越高；越接近1，正相关程度越高。 除过简单相关系数，还有偏相关系数、复相关系数来测 度变量间的相关关系，但是在含义上有差别。 和 都是相互对称的随机变量； 线线性相关系数只反映变量间的线性相关程度，不能说明 非线性相关关系； 样本相关系数是总体相关系数的样本估计值，因抽样 波动，样本相关系数为随机变量，其统

3、计显著性有待检验； 相关系数只能反映线性相关程度，不能确定因果关系，不 能说明相关关系具体接近哪条直线. 计量经济学关心：变量间的因果关系及隐藏在随机性后 面的统计规律性，这有赖于回归分析方法. 使用相关系数时应注意 回归的古典意义： 道尔顿遗传学的回归概念：父母身高与子女身 高的关系。 回归的现代意义： 一个被解释变量对若干解释变量依存关系的研 究。 回归的目的（实质）： 由固定的解释变量去估计被解释变量的平均值 。 4.回归分析 （二）一元线性回归模型 一元线性总体回归模型: 一元线性总体回归函数： （Population Regression Function, PRF) 一元线性样本回

4、归模型： 一元线性样本回归函数： (Sample Regression Function, SRF) 实际的经济研究中总体回归函数通常是未知的，只能根 据经济理论和实践经验去设定。“计量”的目的就是寻求样本 回归函数作为总体回归函数的估计。 1. 一元线性回归模型设定 的条件分布 当解释变量 取某固定值时（条件）， 的值不确定， 的不同取值形成一定的分布，即 的条件分布。 的条件期望 对于 的每一个取值， 对 所形成的分布确 定其期望或均值，称 为 的条件期望或条 件均值 注意几个概念 （1）条件均值表现形式 假如 的条件均值 是解 释变量 的线性函数，可表示为： （2）个别值表现形式 对于一

5、定的 ， 的各个别值 分布 在 的周围，若令各个 与条件 均值 的偏差为 , 显然 是随机变量,则有 2.总体回归函数的表现形式 3、样本回归函数（SRF） 样本回归线： 对于X 的一定值，取得Y 的样本观测值，可计算其条件均 值，样本观测值条件均值的轨迹称为样本回归线。 样本回归函数： 如果把被解释变量Y 的样本条件均值表示为解释变量 X 的 某种函数，这个函数称为样本回归函数（SRF）。 代表未知的影响因素 无法取得已知影响因素的代表指标 众多细小影响因素的综合影响 模型的设定误差 变量的观测误差 变量内在的随机性 4.引入随机扰动项的原因 变量、参数均为“线性” 参数“线性”，变量”非线

6、性” 变量“线性”，参数”非线性” 计量经济学中: 线性回归模型主要指就参数而言是“线性”,因为只要对 参数而言是线性的,都可以用类似的方法估计其参数。 5. “线性”的理解： 名称函数形式边际效应弹性 线性函数 线性对数 倒数 二次函数 对数线性 对数倒数 对数二次方程 双对数 对数 交互作用 （二）关于线性回归模型的基本假定 、u为随机扰 动, 呈正态分布, 且u=0 平均数相等 拟合值与u不相关 1、X是固定变量(若X随机,须 与u不相关) 注意：残差项与随机扰动项不是同一个概念。 2、u不存在 自相关 3、u为等 方差 f (u) Y X3 X2 X1 X 异方差 f (u) Y X3

7、 X2 X1 X同方差 （三）一元线性回归模型参数最小二乘估 计量（OLSE）的性质 一元线性 回归模型 总体回归模型 样本回归模型 样本估计 量的性质 1 、估计量是线性的（Linear）; 2、估计量是无偏的（Unbias）估计量（Estimator） 3、方差最小性（Best） 4、b服从正态分布 v点估计的方法有多种。但最小二乘法（高斯-马尔科 夫定理）保证： 由最小二乘法得到的估计量是线性无偏的估计 量，而且是一个最好的估计量。即最小二乘估计量 （OLSE）具有BLUE性质。 vBLUE：Best Linear Unbias Estimator 最小二乘估计量b的线性性 确定性部分

8、令令 wi w 的性质: 证明 ： 说明b1是1的无偏估计 。 则则 最小二乘估计量b的无偏估计量 （1 ） （2 ） （1 1 ） 最小二乘估计量b的方差 则 ： （2 ） 则： 称为回归标准误差，为随机扰动项u的方差的无偏估计，即 b0和b1方差的表达式中都包含随机扰动项u的方差，由于 u是一个不可观测的变量，故u的方差不能计算出来，其估 计式为： 方差最小性（有效性，最佳性）的证明在K元回归模型 分析中给出。 估计回归标准误差 的估计 有关思考 由最小二乘法所得直线能够对这些数据点之间的关系 加以反映吗？ 对数据点之间的关系或趋势反映到了何种程度？ 在统计上如何验证所得一元回归模式的可靠

9、程度。 1. 平方和与自由度的分解 (1) 总平方和(TSS)、回归平方和(ESS)、 残差平方和(RSS)的定义 (2) 平方和的分解 (3) 自由度( df )的分解 （四）一元线性回归模型的统计检验 平方和分解图 总平方和、回归平方和、残差平方和的定义 TSS度量Y自身的变异程度，ESS度量对拟合值的变 异程度，RSS度量实际值与拟合值之间的差异程度。 TSS=Total Sum of Squares ESS=Explained Sum of Squares RSS=Residual Sum of Squares 平方和的分解 平方和分解的意义 vTSS=ESS+RSS v被解释变量 Y

10、 总的变动= 解释变量 X 对 Y 引起的变动 + 除 X 以外的因素引起的变动 v如果 X 引起的变动在 Y 的总变动中占很大比例，那么 X 很好地解释了 Y；否则，X 不能很好地说明 Y。 自由度( df )的分解 v总自由度: dfT = n -1 v回归自由度: dfE=1（解释变量的个数) v残差自由度: dfR=n -2 vdfT=dfE+dfR df : degree of freedom 2. 拟合优度指标（或称判定系数、可决系数） 目的：企图构造一个不含单位，可以相互进行 比较， 而且能直观判断拟合优劣。 拟合优度的定义： 意义：拟合优度越大，自变量对因变量的解释程度越高 ，

11、自变量引起的变动占总变动的百分比高。观察点在回 归直线附近越密集。 取值范围：0-1 运用可决系数时应注意 1. 可决系数只是说明列入模型的所有解释变量对因 变量的联合的影响程度，不说明模型中每个解释变量的影 响程度（在多元中）. 2. 回归的主要目的如果是经济结构分析，不能只追 求高的可决系数，而是要得到总体回归系数可信的估计， 可决系数高并不表示每个回归系数都可信任. 3. 如果建模的目的只是为了预测因变量值，不是为 了正确估计回归系数，一般可考虑有较高的可决系数. 3.对一元线性回归模型进行 t 检验 H H 0 0 ： =0=0 H H 1 1 ： 00 提出假设： 构造 t 统计量:

12、 确定显著性水平。一般取 ，查t分布表得临界值。 做出决策：将t统计量与临界值对比。 t 检验的作用：检验引入模型中的 某一个X对Y 的影响是否显著。 , t 统计量落在拒绝区, 说明通过了t 检验. 如果通过了t 检验, 则(-,-t ) 的面积(概率)与 (-,-t )的面积(概 率)之和小于5% (或1%). 接受区 拒绝区 拒绝区 4. 对一元线性回归模型进行 F 检验 根据小概率原理判断，作出决策 原假设 H0：=0 备择假设 H1：0 提出 ： 构造统 计量： 确定显著性水平：一般取 ，查F分布表得临界值。 F 检验的作用：检验引入模型 中的所有X联合起来对Y 的影响 是否显著。

13、拟合优度R2与F统计量之间的联系 vF显著=拟合优度高 一元线性回归中F、 t 统计量之间的联系 故：一元线性回归模型中t 检验和F 检验是等效的。 （五）一元线性回归模型的应用预测 设未来时点为 f，给定 Xf ，则得出Yf 的点估计： 进行区间估计: 其中： 思考：回归问题的处理思路 v数据背后存在着某种规律性； v关于数据生成过程的初步假定设定线性模型 数据生成过程 = 确定性部分+非确定性部分 v样本一般说来总会反映一些总体的性质： 确定性部分=X、Y之间的函数关系 v非确定性部分(扰动项) 平方和最小 数学求极值 v利用样本数据寻求到确定性部分。 关于数据生成过程的假定 可依据对现实

14、的抽象，假定数据背后有一个数据生成的过 程 仅仅是一个初步假定（假定：数据生成过程=确定性部分+ 非确定性部分），要应用最小二乘法估计该模型, 须作出进 一步的假定（为什么？）。 二、二元线性回归模型 1、模型的数学形式 二元线性回归模型中多引入了一个解释变量，表达式为： （一）二元线性回归模型设定 总体回归模型 样本回归模型 取定一个样本, 样 本容量为n, 将n组 数据分别代入总体 回归模型 表达为矩阵形式: 记为: 2.有关解释变量 X 的基本假定 v矩阵X 为满列秩，即R(X)=3； vX1、 X2之间不相关，即 Cov(X1, X2)=0 ； vX1、 X2 为固定变量; v若X1、

15、 X2 为随机变量, X与残差项之间不相关，即 Cov(x,u)=0 一般地：有关随机扰动项ui的基本假设 随机扰动项ui是一个有关总体属性的随机变量，对ui的性质 作出假设： 假设1 残差分布均值为零（Zero Mean Error Displacement） 假设2 随机扰动项方差相等（Constant Error Variance） 假设3 随机扰动项（误差）相互独立（Error Independent ） 假设4 所有xi都是可观察的并且独立于ui （二）最小二乘法（OLS）估计模型 就上式分别对b0、b1、 b求偏导数，并令其为零： ！说明残差和为零；残差和解释变量之间不相关。 整理联立方程： 进一步可表达为： 最小二乘法应用的中间结果显示: 1、残差和=0 2、残差与解释变量不相关 3、残差与被解释变量拟合值不相关 4、被解释变量实际值与拟合值的均值相等 即： 进一步： 写为： 得： 该b 值能够保证式: (在存在时) （三）b的统计特性 线性性、无偏性、最佳性、服从正态分布 b的估计方差: 替代 （四）模型检验 1. 拟合优度检验 可决系数R2: 取值范围在01之间, 越大, 模型拟合程度越高; 表示两个X 联合起来对Y 的解释程度: 是衡量模型拟合质量的重要指标; 具有复相关的含义。 (2)