测量数据处理第1章

《测量数据处理第1章》由会员分享，可在线阅读，更多相关《测量数据处理第1章（87页珍藏版）》请在金锄头文库上搜索。

1、2019/3/2,1,实用测量数据处理方法,王磊 电话:13813981022 邮箱:,东南大学交通学院测绘工程系,2019/3/2,2,第一章 回归分析 第二章 插值与拟合 第三章 稳健估计 第四章 时间序列分析 第五章 傅立叶分析 第六章 有限元方法 第七章 分布拟合检验,主要内容,研究背景,一是实用意义，（1）掌握各种建筑物和地质构造的稳定性，为安全性诊断提供必要的信息，以便及时发现问题并采取相应的对策和措施，防止灾害的发生或最大限度地减少灾害造成的损失；如：汶川地震中唐家山堰塞湖泄洪问题 、三峡大坝蓄水、古建筑的保护等。（2）生活及国防需要，如工厂生产过程的调度、证券分析、奖学金的评定

2、；飞机机场的控制模型，飞机、坦克及各种航天器外形的建模设计等。 二是科学意义，包括更好地理解变形的机理，验证有关工程设计的理论和地壳运动的假说，进行反馈设计以及建立有效的变形预报模型。,广东九江大桥200米桥面被撞垮塌,吉林23亿铁路工程成“豆腐渣”,南京*大桥,2011-2上虞立交桥坍塌,昆明在建新机场立交桥垮塌,西安明城墙,南京明城墙,上海楼倒倒,上海楼倒倒,楼歪歪,楼碰碰,楼轻轻西安惊现纸做墙壁,2019/3/2,20,第一章 回归分析,第一节 概述 第二节 一元线性回归分析 第三节 多元线性回归分析 第四节 最优回归模型的选择 第五节 可化为线性回归模型的非线性回归 第六节 第二类非线

3、性回归,2019/3/2,21,第一节 概述,现实世界中的各种现象之间相互联系、相互制约、相互依存，某些现象发生变化时，另一现象也随之发生变化。 如商品价格的变化会刺激或抑制商品销售量的变化；劳动力素质的高低会影响企业的效益；直接材料、直接人工的价格变化对产品销售成本有直接的影响，居民收入的高低会影响对该企业产品的需求量等等。 研究这些现象之间的依存关系，找出它们之间的变化规律，是对经搜集、整理过的统计数据进行数据分析，为客观、科学地统计提供依据。 现象间的依存关系大致可以分成两种类型： 一类是函数关系，另一类是相关关系。,2019/3/2,22,1.函数关系,当一个或几个变量取一定的值时，另

4、一个变量有确定值与之相对应，我们称这种关系为确定性的函数关系。,一、函数关系与相关关系,2019/3/2,23,（函数关系）,（1）是一一对应的确定关系 （2）设有两个变量 x 和 y ，变量 y 随变量 x 一起变化，并完全依赖于 x ，当变量 x 取某个数值时， y 依确定的关系取相应的值，则称 y 是 x 的函数，记为 y = f (x)，其中 x 称为自变量，y 称为因变量 （3）各观测点落在一条线上,2019/3/2,24,变量间的关系 （函数关系）, 函数关系的例子 某种商品的销售额(y)与销售量(x)之间的关系可表示为 y = p x (p 为单价) 圆的面积(S)与半径之间的关

5、系可表示为S = r2 企业的原材料消耗额(y)与产量(x1) 、单位产量消耗(x2) 、原材料价格(x3)之间的关系可表示为y = x1 x2 x3,2019/3/2,25,2. 相关关系： 当一个或几个相互联系的变量取一定数值时，与之相对应的另一变量的值虽然不确定，但它仍按某种规律在一定的范围内变化。 现象之间客观存在的不严格、不确定的数量依存关系。,2019/3/2,26,变量间的关系 （相关关系）,（1）变量间关系不能用函数关系精确表达； （2）一个变量的取值不能由另一个变量唯一确定； （3）当变量 x 取某个值时，变量 y 的取值可能有几个； （4）各观测点分布在直线周围。,2019

6、/3/2,27, 相关关系的例子 商品的消费量(y)与居民收入(x)之间的关系 商品的消费量(y)与物价(x)之间的关系 商品销售额(y)与广告费支出(x)之间的关系 粮食亩产量(y)与施肥量(x1) 、降雨量(x2) 、温度(x3)之间的关系 收入水平(y)与受教育程度(x)之间的关系 父亲身高(y)与子女身高(x)之间的关系,2019/3/2,28,确定性关系和相关关系之间没有一道不可逾越的鸿沟，由于测量误差等原因，确定性关系在实际中往往通过相关关系表现出来；当对事物的内部规律了解得更加深刻的时候，相关关系有可能转化为确定性关系。,2019/3/2,29,二、回归分析,1 回归分析,是指对

7、具有相关关系的现象，根据其相关关系的具体形态，选择一个合适的数学模型（称为回归方程式），用来近似地表达变量间的平均变化关系的一种统计分析方法。,2 回归分析应用,工程建筑物的变形分析、自然灾害破坏性的预报、地震的预测、工厂生产的调度、飞机、坦克及各种航天器外形的建模设计等。,2019/3/2,30,3 回归分析主要内容和步骤,2019/3/2,31,回归分析和相关分析是研究相关关系的一种数学工具，相关分析是把变量都看做随机变量，其目的是确定变量之间的相互联系的程度如何，分析中假定所有随机变量的误差都呈正态分布。回归分析则是应用数学方法对大量观测数据加以处理，从而求出非确定性关系的变量之间的关系

8、规律性，并用数学关系式表达出来。在回归分析中，假定因变量的误差呈正态分布，而对自变量的误差分布并无要求，也就是只考虑在自变量保持一系列定值时，因变量这个随机变量是如何变化的。,2019/3/2,32,回归分析的主要内容。利用回归分析能解决的问题可归纳为下述五个内容： 1、经验公式 根据实验数据，求取变量之间相关的定量关系式； 2、可信性检验 对求得经验公式的可信性进行统计检验； 3、预报和控制 利用求得的经验公式根据取得或确定的数值，预测或控制其它变量的取值，并对预报和控制的结果，进行可信程度的评定；,2019/3/2,33,4、因素分析 从影响某一变量的许多变量中，判断哪些变量影响显著；哪些

9、变量不显著；哪些变量没有影响； 5、实验方案的设计 根据实验的目的和对实验结果的精度要求，考虑回归分析对数据的要求，主动的安排实验方案，使设计出的实验方案，能够用较少的实验次数，获取最大的信息量，并能使获得的实验数据具有较好的统计性质，便于回归分析的数据处理。,2019/3/2,34,首先根据理论和对问题的分析判断，找出自变量和因变量；其次，设法找出合适的数学方程式（即回归模型）描述变量间的关系；由于涉及到的变量具有不确定性，接着还要对回归模型进行统计检验；统计检验通过后，最后是利用回归模型，根据自变量去估计、预测因变量。,回归分析主要步骤,2019/3/2,35,三、回归模型与回归方程,20

10、19/3/2,36,回归模型的类型,2019/3/2,37,一元线性回归模型 （概念要点）,当只涉及一个自变量时称为一元回归，若因变量 y 与自变量 x 之间为线性关系时称为一元线性回归。 对于具有线性关系的两个变量，可以用一条线性方程来表示它们之间的关系。 描述因变量 y 如何依赖于自变量 x 和误差项 的方程称为回归模型。,2019/3/2,38,一元线性回归模型,对于只涉及一个自变量的简单线性回归模型可表示为 yt = b0 + b1 x + ei 模型中，y 是 x 的线性函数(部分)加上误差项 线性部分反映了由于 x 的变化而引起的 y 的变化 误差项 i 是随机变量 反映了除 x

11、和 y 之间的线性关系之外的随机因素对 y 的影响 是不能由 x 和 y 之间的线性关系所解释的变异性 0 和 1 称为模型的参数,2019/3/2,39,多元线性回归模型 一个因变量与两个及两个以上自变量之间的回归 描述因变量 y 如何依赖于自变量 x1 ，x2 ， xp 和误差项 的方程称为多元线性回归模型 涉及 p 个自变量的多元线性回归模型可表示为,b0 ，b1，b2 ，bp是参数（回归系数） 是被称为误差项的随机变量 y 是x1,，x2 ， ，xp 的线性函数加上误差项 说明了包含在y里面但不能被p个自变量的线性关系所解释的变异性,2019/3/2,40,多元线性回归模型, 对于 n

12、 组实际观察数据(yi ; xi1,，xi2 ， ，xip )，(i=1,2,n)，多元线性回归模型可表示为,2019/3/2,41,第二节 一元线性回归分析,一、一元线性回归参数的最小二乘估计,1、一元线性回归模型和回归方程: y = b0 + b1 x （1.2.1) y = b0 + b1 xi + ei (1.2.2) 0 和 1 为未知的回归参数 假定:ei是服从正态分布, 又假定x是非随机变量，因此观测值y的方差也为2 ，且yi与yj（ ）也是互相独立的。,2019/3/2,42,对n个观测值yi由（1.2.2)式可构成 y=A+ , N (0,I) (1.2.3) (1.2.4)

13、 依最小二乘估计法由 (1.2.4)求 ，即在 的要求下求定,2019/3/2,43,将（1.2.4)代入上式，可得法方程（正规方程）,2019/3/2,44,2019/3/2,45,2019/3/2,46,二、估值的若干性质,1、无偏性,2019/3/2,47,2019/3/2,48,6、残差平方和（记为 ）,2019/3/2,49,2019/3/2,50,三、一元回归的方差分析和线性关系的显著性检验,回归直线方程式求出来了，但它是否有实际意义呢？这里有两个问题需要解决：其一，就这种求回归直线的方法本身而言，对任何两个变量x和y的一组数据（xi,yi),i=1,2,N,都可以用最小二乘法给他

14、们拟合一条直线。要知道这条直线是否基本上符合y与x之间的客观规律，这就是回归方程的显著性检验要解决的问题。其二，由于x与y之间是相关关系，知道了x值，并不能精确地知道y值，那么，用回归方程，根据自变量x值预报（或控制）因变量y值，其效果如何？这就是回归直线的预报精度问题。为此，必须对回归问题作进一步分析。,2019/3/2,51,现介绍一种常用的方差分析方法，其实质是对N个观测值与其算术平均值之差的平方和进行分解，将对N个观测值的影响因素从数量上区别开，然后用F检验法对所求的回归方程进行显著性检验。 1、回归方程的方差分析 观测值y1,y2,yn之间的差异（称变差），是由两个方面原因引起的：（

15、1）自变量x取值的不同；（2）其他因素（包括试验误差）的影响。为了对回归方程进行检验，首先必须把它们所引起的变差从y的总变差中分离出来。 N个观测值之间的变差，可用观测值y与其算术平均值的离差平方和来表示，称为总的离差平方和，记作,2019/3/2,52,2019/3/2,53,见下图,这样，通过平方和分解式就把N个观测值的两种影响从数量上区分开来。,2019/3/2,54,2019/3/2,55,2、回归方程的显著性检验 回归方程显著性是表征变量y与x的线性关系的密切程度的指标。由回归平方和和残余平方和的含义可以知道，在离差平方和一定的前提下，变量y与x的线性关系是否密切，完全取决于 值和

16、值。 值越大， 越小，说明y与x的线性关系越密切。回归方程显著性的检验，通常采用所谓F检验法，即计算统计量。,2019/3/2,56,2019/3/2,57,四、样本相关系数 r,在统计研究中，对现象间的相关关系的密切程度用相关系数或相关指数来确定。样本相关系数r，它是衡量两个变量之间线性相关关系的重要指标，由于这个系数是由英国统计学家皮尔逊(Pearson)设计的，故又称为Pearson相关系数。 设研究总体有N对（ ），我们可以计算出对应的均值 和 ，通过点（ ， ）画两条平行于X轴和Y轴的直线，将散点图分成四个部分，见图,2019/3/2,58,当X和Y是正相关时，观测点大多数散布在、部分， 较大且为正值。当X与Y呈负相关时，观测点大多数散布在