误差分析课件 线性回归及应用

《误差分析课件 线性回归及应用》由会员分享，可在线阅读，更多相关《误差分析课件 线性回归及应用（51页珍藏版）》请在金锄头文库上搜索。

1、线性回归分析,线性回归分析及应用,线性回归分析,两个变量之间的关系： 1.函数关系确定的关系 2.相关关系非确定的关系 （1）一个可控制，另一个不可控制 （2)两个变量都不可控制（随机）,线性回归分析,3.回归分析 回归分析就是通过对一定数量的观测数据进行统计处理，以找出变量间相互依赖的统计规律。 例1-1：,例1-1：,为获得施肥量与产量之间的输入输出关系，将测的那些实验数据点标在坐标纸上，如下图示,称为散点图。从散点图上可看出产量y与施肥量 x之间基本呈直线关系。,20,25,30,35,40,45,50,330,345,405,365,445,1.1一元线性回归,一、一元线性回归方程的求

2、法 一元线性回归是处理随机变量 和变量 之间线性相关关系的一种方法。,一元线性回归的数学模型为,（1-1）,式中， 待定常数和系数； 测量的随机误差。,一元线性回归方程的求法（）,当 的值为 时，相应有,设测量误差 服从同一正态分布 ，且相互独立，则用最小二乘法估计参 数 ，设估计量分别为 ，那么可得一元 线性回归方程,（1-2）,式中， 为常数和回归系数。,一元线性回归方程的求法（）,某一观测值 与回归值 之差用 表示,它表示某一点 与回归直线的偏离程度。,记,（1-3）,值的大小反映全部观测值与回归直线的偏 离程度，应使 最小。根据最小二乘原理，有,（1-4）,（1-5）,一元线性回归方程

3、的求法（）,由以上两式，经推导整理可得,式中，,（1-11）,（1-12）,（1-13）,一元线性回归方程的求法（）,至此，可确定一元线性回归方程,回归直线方程的点斜式,它表明回归直线通过点 ，只须在数 据域任取一点 代入回归方程，得到一点 ， 则可由这两点绘出回归直线。,例1-2（）：,例1-2： 假如某大量程式位移传感器的实测数据如下表所示，求输出电压 与位移 之间的关系。,例1-2（）：,解：具体步骤如下 1.变量之间大体呈线性关系，设它们满足一元 线性回归方程 令,2.分别计算 的值，填入表1-1中。 3.对个列数据分别求和，列入表1-1的最后一行。,4.计算,例1-2（）：,5.计算

4、,6.列回归方程,二、回归方程的方差分析和显著性检验,1.回归方程的方差分析 N个观测值之间的差异（称离差），由两个因素引起：一是由变量之间的线性依赖关系引起；二是由其他因素引起。,测量值之间的变化程度可用总离差平方和 表示，记为,（1-14）,1.回归方程的方差分析,把 代入中间项，可推出,则令,有,其中， 称为回归平方和，反映回归直线 对均值 的偏离情况，即 随 变化 产生的线性变化在总的离差平方和中所起的作 用。 称为剩余平方和，反映测量值 对回归直线的偏离情况，即其他因素引起的 的变化在总的离差平方和中所起的作用。,2.回归方程的显著性检验,为定量说明 与 的线性密切程度，通常用F检验

5、法，即计算统计量,（1-20）,对一元线性回归，有,（1-21）,计算和检验步骤： （1）由式（1-21）计算出F值。 （2）根据给定的显著性水平 ，从F分布表 中查取临界值 。 （3）比较计算得到的F值和查得的 值。若 则回归效果显著，否则效果不显著。,显著性水平等级：,通常可分为以下几级：如果 可认为回归效果高度显著，称为在0.01水平上显著，即可信赖程度为99%以上；如果 可认为回归效果是显著的，称为在0.05水平上显著，即可信赖程度在95%和99%之间；如果 可认为回归效果不显著，此时y对x的线性关系不密切。,3.残余方差与残余标准差,残余方差定义为 残余标准差定义为 它表明在单次测量

6、中，由线性因素以外的其他因素引起的y的变化程度。 越小，回归直线的精度越高。,例1-3,试对例1-2中求出的回归方程进行显著性检验。,解：具体步骤如下 （1）利用 求 ，则有,（2）计算,例1-3（）：,（3）根据 查表 在 级表中查得,（4）判别 故回归效果高度显著。,（5）求剩余标准差,1.2 多元线性回归,一、多元线性回归方程的一般求法 设因变量 与M个自变量 的关系是线性相关的，且已获得N组观测数据 则有如下结构形式,（1-29）,式中 是M+1个待估计参数， 是M个可精确测量 的变量， 是N个互相独立且服从统一正态分布 的随机变量，这便是多元线性回归的数学 模型。,一、多元线性回归方

7、程的一般求法,设 分别为参数 的最小二乘估计，则可得回归方程,（1-30）,最小二乘条件为,正规方程为,（1-31）,正规方程的矩阵形式求解：,数学模型的矩阵形式,对于方程组（1-31），系数矩阵是对称的， 用A表示 X称为数据的结构矩阵。右边的常数项用B表示 则正规方程的矩阵形式为 令 ，则方程组的解为 问题归结为计算下列四个矩阵,二、多元线性回归的显著性检验和精度,同一元线性回归方程类似，有 回归平方和U表示M个自变量 与 的线性关系引起 的变化在总的离差平方和S中所占的比重。 及相应计算如表1-2。,F检验的数学统计量为,如果 则认为所求回归方程在 水平上显著。,精度由剩余标准差 来估计

8、。,三、每个自变量在多元线性回归中 所起的作用,1.自变量 作用大小的衡量 自变量 在总的回归中所起的作用可根据它在U中的影响大小来衡量。把取消一个自变量 后回归平方和减少的数值称为 对这个自变量 的偏回归平方和，记作,一般偏回归平方和的计算公式为 式中， 是正规方程系数矩阵A的逆矩阵C中的 元素； 是回归方程的回归系数。,2.自变量 作用大小的进一步检验,（1）凡是偏回归平方和 大的变量，一定是对 有重要影响的因素。 回归系数的显著性检验 当 时，认为自变量 对 的影响在 上显著。,（2）偏回归平方和小的变量，不一定不显 著，但对 最小的变量，如果 即检验结果不显著，则可将该变量剔除。,3.

9、剔除一个变量后回归方程系数 的计算,新回归方程系数 与原回归方程系数 之间有如下关系,当采用数学模型（1-32）时， 不变。,例1-4（）：,用某光栅式传感器测工件尺寸，温度t的变化和位移x的变化都对传感器输出电压y产生影响，观测数据如表1-3所示，试求 三者的关系，并进行显著性检验。,解：具体步骤如下 （1）求,例1-4（）：,（2）求出 列入表1-4，并求出它们的和,由表1-4可得,（3）求,例1-4（）：,（4）求二元线性回归方程,（5）进行显著性检验 求,检验,所求二元回归方程在0.01水平上显著。,例1-4（）：,（6）建立方差分析表 剩余方差 回归方差 可建立方差分析表1-5。,应

10、用篇,利用多元线性回归方法预测我国的用电量,背景介绍（）,中国经济高速发展，电力需求也在不断增加。 02年起电力需求飞速增长，引起全国电力供应紧张。 电力供应紧张的背后，说明对电力市场的预测出现了偏差。给中国经济社会发展带来负面影响。 对中国未来电力需求进行预测，经济合理地安排发电机组计划，降低发电成本，保持电网运行安全可靠，意义重大。,背景介绍（）,为了准确预测用电量的负荷，发展了很多预测方法： 灰色预测法 样本数据少，运算方便，短期预测精度高；只适用于指数增长的模型 偏最小二乘回归预测法 模型精度高，稳定、实用；计算复发，需要专业的计算软件 神经网络预测法 是一种暗箱模型，结果不易解释 线

11、性回归分析预测法 模型简单，预测结果准确，模型解释能力强。得到广泛应用,多元线性回归模型参数的选择和建立,1.1参数选择 因变量y全社会用电量 自变量xGDP（x1）、人口总数（x2） 建立模型的数据如表1-6所示,表1-6,1.2 模型建立和显著性检验,根据表中的数据及之前的线性回归理论，得到回归结果为：,r方用于判定回归直线的拟合度，上式中为0.97说明回归直线拟合度很好。 用F检验法对其显著性检验，在a0.01的显著性水平下， 说明回归效果显著，效果如下图11所示。,图11,回归方程通过了显著性检验，具有非常好的预测能力，只要计算出中国未来每年的GDP和人口数，就可以通过回归方程对用电量

12、进行预测。,用电量的预测,2.1 GDP和人口预测 在经济学上，GDP预测常用的经济模型为： a为GDP的增长速率（）。 人口预测用的经济模型为： K为人口自然增长速率,GDP和人口预测,19982002中国GDP增长率和人口自然增长率为,a7.09，k7.66,用电量预测,取2002年的GDP和人口数作为预测的起始年基数， 预测结果如下表1-7所示：,表1-7,结论,通过建立回归模型，得到了中国年用电量与GDP和总人口数的回归模型，并通过了显著性检验。所得的方程能够用来预测中国的年用电量。这些预测的用电量能够科学指导我国电力和经济政策的制定，为我国电力建设和社会发展规划提供了定量的科学依据。,2018/10/1,谢谢！,一元非线性回归,非线性关系的两种解决方法：一种是通过变量代换，化曲线回归问题为直线回归问题，用一元线性回归方程的方法对其求解；另一种是通过级数展开，把区县函数变成多项式的形式，把解曲线回归问题转换成解多项式回归问题。,表1-1,表1-2,表1-3,表1-4,表1-5,表1-16,表1-17,