一元线性回归直线拟合

《一元线性回归直线拟合》由会员分享，可在线阅读，更多相关《一元线性回归直线拟合（43页珍藏版）》请在金锄头文库上搜索。

1、普通物理实验绪论课（下）,授课教师：黄育红 E-mail: ,作图法直观、简便。但主观随意性大（粗略）,逐差法粗略的近似计算方法（自变量等间隔变化， 对一次逐差必须是线性关系，否则先进行曲线改直）,回归分析法(最小二乘为基础)最准确的计算方法,列表法,一、最小二乘法的历史、地位和作用 二、一元线性回归 a. 一元线性回归及最小二乘法的原理 b. 回归方程的精密度和相关系数 c. 回归分析法的运算步骤和实例分析 三、二元线性回归 四、非线性回归,最小二乘法产生的历史,最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿（F.Gallton）达尔文的表弟所创。 早年，道尔顿致力于化学

2、和遗传学领域的研究。 他研究父亲们的身高与儿子们的身高之间的关系时，建立了回归分析法。,父亲们与儿子们的身高关系之间的研究,1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭的身高、臂长和腿长的记录 试图寻找出儿子们身高与父亲们身高之间关系的具体表现形式 下图是根据1078个家庭的调查所作的散点图（略图）,“回归”一词的由来,从图上虽可看出，个子高的父亲确有生出个子高的儿子的倾向，同样地，个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下： 如此以来，高的伸进了天，低的缩入了地。他百思不得其解，同时又发现某人种的平均身高是相当稳定的。最后得到结论：儿子们的身高回复

3、于全体男子的平均身高，即“回归”见1889年F.Gallton的论文普用回归定律。 后人将此种方法普遍用于寻找变量之间的规律,最小二乘法的地位与作用,现在回归分析法已远非道尔顿的本意。 已成为探索变量之间关系最重要的方法，用以找出变量间关系的具体表现形式。 后来，回归分析法从其方法的数学原理误差平方和最小（平方是一个数的自乘，也叫二乘）出发，改称为最小二乘法。,一、最小二乘法的历史、地位和作用 二、一元线性回归 a.一元线性回归及最小二乘法的原理 b. 回归方程的精密度和相关系数 c. 回归分析法的运算步骤和实例分析 三、二元线性回归 四、非线性回归,若两个变量x和y之间存在一定的关系，并通过

4、试验获得x和y的一系列数据，用数学处理的方法得出这两个变量之间的关系式，这就是回归分析，也称拟合问题，所得关系式称为经验公式，或称回归方程、拟合方程。,何谓“回归分析”？,经验公式的线性回归,在进行经验公式的回归时，必须先确定函数的形式。确定函数形式一般是根据理论的推断或者从实验数据的变化趋势来推测判断。 如根据实验得到的一组数据(xi ，yi)（或其在x y坐标上的数据点）初步判断经验公式为线性关系时，即可用最小二乘法相关公式求出b, a值，并进而拟合出直线的线性关系式y=a+bx的回归方程。,例1 在研究单分子化学反应速度时，得到下列数据：,其中 表示从实验开始算起的时间， 表示时刻反应物

5、的量试定出经验公式,工程应用中的问题,例2 为了测定刀具的磨损速度，我们做这样的实验： 经过一定时间(如每隔一小时)，测量一次刀具的 厚度,得到一组试验数据如下：,假设两个物理量之间满足线性关系，其函数形式可写为 y=a+bx。,a.一元线性回归及最小二乘法的原理,现由实验测得一组数据,式中a、b是要用实验数据确定的常数，此类方程叫线性回归方程，待定常数a、b叫线性回归系数。,由于实验数据总是存在着误差，所以把各组数据代入y=a+bx时，两边并不相等，作图时，数据点也不能准确地落在公式对应的直线上，如图所示，从中还可看出第i个数据点与直线的偏差为,a.一元线性回归及最小二乘法的原理,a.一元线

6、性回归及最小二乘法的原理,纵向距离是y的实际值与拟合值之差，差异大拟合不好，差异小拟合 好，所以又称为拟合误差或残差。 将所有纵向距离平方后相加，即得误差平方和，“最好”直线 就是使误差平方和最小的直线。 于是可以运用求极值的原理，将求最好拟合直线问题转换为求 误差平方和最小。,设拟合直线方程：,小结：最小二乘法拟合,y=a+bx,若实际校准测试点有n个，则第i个校准数据与拟合直线上响应值之间的残差为,最小二乘法拟合直线的原理就是使 为最小值，即,对a和b一阶偏导数等于零，求出a和b的表达式,一元线性回归（直线拟合）,函数形式,（1）,实验数据为,由于x和y的测量存在误差，将,代入（1）式，等

7、式两边并不相等。,等式两端的差值用,表示，则,.,按最小二乘法原理，a、b最佳值应满足：,（2）,由于 最小，,（2）式对a和b求偏导应为0。,整理后得,（3）,由于,代入（3）式有：,为了计算方便，引入符号：,总结经验公式时，我们初步判断所假定的函数关系是否正确？为了解决这些问题，就需要讨论回归方程的精度和相关性。为了估计回归方程的精度，进一步计算数据点(xi ，yi)偏离最佳直线y=a+bx的大小，我们引入概念剩余标准偏差，它反映着回归方程与各数据点的拟合程度。,b. 回归方程的精密度和相关系数,最小二乘法确定a,b有没有误差？,相关系数r,定量描述x、y变量之间线性相关程度的好坏(寻找经

8、验公式用),一种可能是各数据点与该线偏差较小，一种可能是各数据点与该线偏差较大。 一般来说数据点就越靠近最佳直线两旁。两变量间的关系线性相关，可以认为是线性关系，最佳直线所反应的函数关系也越接近两变量间的客观关系。同时还说明了测量的精密度高。 根据数据点的分布，也许能得到一条“最佳”直线。然而，数据点与“最佳”直线的偏差过大。如图所示。这时“最佳”二字只能说明数据点距这直线的总偏差较小，但不能反映出数据点的分布规律。或者说，我们事先的初步判断是错误的，数据点的分布规律不是线性的，根本就不能用一条直线表示。,由上述分析可知，Sy的数值表明了线性回归方程的精密度，或者，形象地说，描绘了回归线的“宽

9、度”。可以证明，数据点落在 范围内的机会是99.7%，按照多次直接测量中讨论的相同标准，也可判别其是否有粗差，要否剔除。（参考p12的3准则，复习见ppt下页）,2020年8月24日9时36分,28,测量列中坏值的剔除,拉依达准则（3准则）：以3为置信限（概率为99.7%）,凡 超过此值的偏差均看作粗差，与之 相应的测量值为坏值，应剔除。,肖维涅准则：此准则规定误差出现的概率小于1/2n时，认为与 此误差对应的测量值为坏值，应剔除。即若测量 列中的测量值x满足 时，则 是一 坏值，式中ks为置信限，s为测量列的标准偏差， k值与测量次数n有关。,剔除步骤：计算测量列的s，按准则判断并剔除坏数据

10、；再计算剔除坏值后的测量列的s（新），进一步剔除坏值，直至坏值全部剔除，最后根据剩下的数据计算测量结果和估算误差。,称为线性相关系数，作为Y与X线性相关程度的评价。,总结：相关系数,X、y完全线性相关,X、y不相关,物理实验中一般要求 r 绝对值达到0.999以上(3个9以上) 。,如果有一组数据点初步观测为线性分布。那么， r为多大时， 就可以用一条最佳直线来表示其分布呢？ 起码相关系数 ： 其值与数据点的个数n有关。只有相关系数 时，才能 用线性回归方程y=a+bx来描述数据点的分布规律。否则毫无意义。下表给出起码相关系数的值。,c. 回归分析法的运算步骤和实例分析,回归分析法运算过程如下

11、： 首先计算r，判断是否能拟合成线性曲线。 计算出b、a，得出回归方程即两个变量间的关系式。 计算Sy，并判断有无粗差。 如果有粗差，剔除后重复，步骤计算。 如无粗差，计算Sb、Sa ，给出最后的回归方程。回归方程 后需有单位。,例题用伏安法测电阻，测量数据如表所示。问能否拟合成 线性关系曲线？若可以，试判断有无粗差并计算出b, a, Sb, Sa 。,解：已知n=11,首先计算下列量,由此可得，,表一：,式中的0.735是n=11时的起码相关系数r。 所以x, y(即u, I)间是线性关系，可用y=a+bx表示。且 ,表一：,其次为了检查粗差，先计算剩余标准偏差：,取为Sy =0.157 。

12、利用肖维涅准则剔除粗差，从2(p12)表2-1可查得n=11时, k11=2.00, 即为标准差的极限值。表二给出了此极限值下测量值y(I)的上下限。根据肖维涅准则 ，由表一，表二可知，u=5.00v这组数据的I值为有粗差的坏值，应予剔除。表二如下：,剔除后重新计算，并经过检查，得, 因此，I-U间为线性关系，即所测电阻为一线性电阻。 由实验数据得回归方程为y=bx, 即I=1.996u(mA) 其剩余标准差为,一、最小二乘法的历史、地位和作用 二、一元线性回归 a.一元线性回归及最小二乘法的原理 b. 回归方程的精密度和相关系数 c. 回归分析法的运算步骤和实例分析 三、二元线性回归 四、非

13、线性回归,若实验数据,时对应的y值是 y= y1,y2,.yn。与一元线性回归讨论方法类似， 求出总偏差,同样可证，求出的b1,b2 和a所确定的正是满足最小二乘法 的最佳曲线。相应的剩余标准差,根据统计方法也可以求出b1, b2及a的标准误差，它们分别为,一、最小二乘法的历史、地位和作用 二、一元线性回归 a.一元线性回归及最小二乘法的原理 b. 回归方程的精密度和相关系数 c. 回归分析法的运算步骤和实例分析 三、二元线性回归 四、非线性回归,设由实验获得了两个变量x,y的一组数据(xi, yi),且由数据点在xy坐标中的分布规律可以判断出两个变量间成非线性关系。怎样用一条曲线（数学关系式

14、）才能最佳地代替数据点的分布规律呢？,（1）根据数据点的分布尽可能准确地绘出一条曲线， 并和已有确切数学表示式的曲线相比较，寻找合 适的数学关系式 （2）进行变量替换，将 使非线性关系 线性化，在,数据点的分布应是线性分布，可用 来反映分布规律,（3）用线性关系曲线拟合办法，求相关系数r，斜率B0 和截距A0，求出后反变换，就可计算出数学关系式 中的常数,若 ，不能拟合成线性关系曲线， 须重新寻找合适的数学关系式,函数关系式举例,一元非线性回归方程,步骤:,(1) 确定函数的类型 （如双曲线、指数曲线、对数曲线等）,(2) 求解相关函数中的未知参数,曲线问题 直线问题（变量代换） 回归曲线 回归多项式,强调：已知变量x,y之间存在线性关系(或某种非线性关系), 仅需用回归法确定其中的常数时，不必求r，可直接 求回归常数。,