《第13讲线性回归法材》由会员分享，可在线阅读，更多相关《第13讲线性回归法材（57页珍藏版）》请在金锄头文库上搜索。
1、第十三讲第十三讲 线性回归法线性回归法2010年年5月月26日日1讲课内容讲课内容l1、回归分析方法的意义、回归分析方法的意义l2、一元线性回归分析、一元线性回归分析l3、一元非线性回归分析、一元非线性回归分析l4、多元线性回归分析、多元线性回归分析实验数据之间的关系如何？1、回归分析的意义、回归分析的意义l1.1 回归分析的意义回归分析的意义l1.2 回归分析解决的主要问题回归分析解决的主要问题l1.3 回归分析的类型回归分析的类型回归分析是一种处理变量与变量之回归分析是一种处理变量与变量之间关系的数学方法，主要是建立变间关系的数学方法，主要是建立变量之间的关系式。量之间的关系式。Regre
2、ssionl退回到不完美或较不发达的状态。退回到不完美或较不发达的状态。l随机变量的平均值和相应的一个或多个独随机变量的平均值和相应的一个或多个独立变量的值之间的关系。立变量的值之间的关系。lThe relationship between the mean value of a random variable and the corresponding values of one or more independent variables.1.1 回归分析的意义回归分析的意义l在生产和科学实践中，在生产和科学实践中，变量变量往往是相互联往往是相互联系、相互依存的，即系、相互依存的，即存在一定
3、的关系存在一定的关系。l进行了一组试验后，人们总是希望把试验进行了一组试验后，人们总是希望把试验指标与影响这些指标的数量因子之间的指标与影响这些指标的数量因子之间的经经验公式验公式找出来。找出来。l经验公式好找，但对否？需要用经验公式好找，但对否？需要用统计方法统计方法解释。解释。1.2 回归分析解决的主要问题回归分析解决的主要问题l(1) 从一组数据出发确定这些变量之间的从一组数据出发确定这些变量之间的定定量关系式量关系式；l(2) 对这些关系式的对这些关系式的可信程度进行检验可信程度进行检验；l(3) 从影响着某一个量的许多变量中判断从影响着某一个量的许多变量中判断哪哪些变量的影响是显著的
4、些变量的影响是显著的，哪些是不显著的；，哪些是不显著的；l(4) 利用所求得的关系式对生产过程进行利用所求得的关系式对生产过程进行控控制或预测制或预测。l1）一元线性回归）一元线性回归l2）一元非线性回归）一元非线性回归l3）多元线性回归）多元线性回归1.3 回归分析的类型回归分析的类型回归分析方法不仅提供建立变量间关系的数学表回归分析方法不仅提供建立变量间关系的数学表达式达式经验公式，经验公式，而且利用而且利用概率统计知识概率统计知识进行进行了分析讨论，从而判断经验公式的正确性。了分析讨论，从而判断经验公式的正确性。2、一元线性回归分析、一元线性回归分析l一元线性回归分析，需要解决：一元线性
5、回归分析，需要解决：l（1）求变量）求变量x与与y之间的回归直线方程；之间的回归直线方程；l（2）判断变量）判断变量x和和y之间是否确为线性关系；之间是否确为线性关系；l（3）根据一个变量的值，预测或控制另一）根据一个变量的值，预测或控制另一变量的取值。变量的取值。2.1 一元线性回归方程的确定一元线性回归方程的确定对谁求导？对谁求导？最小二乘法最小二乘法为简化计算，引入符号：为简化计算，引入符号：最小二乘法最小二乘法l1 1）方差分析法）方差分析法l2 2）相关系数检验法）相关系数检验法2.2 一元线性回归方程检验方法一元线性回归方程检验方法1）方差分析法）方差分析法l把所给数据的总波动分解
6、为两部分，把所给数据的总波动分解为两部分，一部一部分反映水平变化引起的波动，另一部分反分反映水平变化引起的波动，另一部分反映由于存在试验误差而引起的波动。映由于存在试验误差而引起的波动。l然后把各因素水平变化引起的波动与试验然后把各因素水平变化引起的波动与试验误差引起的波动大小进行比较，而达到检误差引起的波动大小进行比较，而达到检验因素显著性的目的。验因素显著性的目的。这里的水平指的是什么？自由度自由度F检验检验例例1：l在某产品标明腐蚀刻线，下表是试验活得在某产品标明腐蚀刻线，下表是试验活得的腐蚀时间（的腐蚀时间（x）与腐蚀深度（）与腐蚀深度（y）间的一）间的一组数据。试研究两变量（组数据。
7、试研究两变量（x，y）之间的关）之间的关系。系。腐蚀时间腐蚀时间x（秒）（秒）腐蚀深度腐蚀深度y（）5 5 10 20 30 40 50 60 65 90 1204 6 8 13 16 17 19 25 25 29 46作散点图作散点图序号12345678910115510203040506065901204954681316171925252946208252510040090016002500360042258100144003587516366416925628936162562584121165398203080260480680950150016252610552013755方差检验
8、法方差检验法lQ=44.61lU=1420.6lN-2=9lF=9*1420.6/44.61=286.6l查表查表2）相关系数法）相关系数法l所谓所谓相关相关就是指事物或现象之间的相互就是指事物或现象之间的相互关系。关系。l事物之间在数量上的变化关系有的是属事物之间在数量上的变化关系有的是属于因果关系。有的却不能直接作出因果于因果关系。有的却不能直接作出因果关系的解释。关系的解释。l相关的种类相关的种类：（1）正相关、负相关、零正相关、负相关、零相关；（相关；（2）简相关，）简相关，复相关复相关；（；（3）高高度相关度相关、低度相关、低度相关l衡量相关程度的指标：衡量相关程度的指标：相关系数！
9、相关系数！相关系数相关系数 残差残差残差的平方和残差的平方和总平方和总平方和SSE=0,r=1,没有残差，没有残差，完全拟合；完全拟合；SSE=SSTO,r=0,残差很大，残差很大，完全不拟合！完全不拟合！相关系数与回归系数相关系数与回归系数相关系数相关系数r和回归系数和回归系数b：l1）回归系数）回归系数b与相关系数与相关系数r同符合！同符合！l2）相关系数的绝对值小于）相关系数的绝对值小于1，回归系数的绝对值，回归系数的绝对值可以大于可以大于1；l3）回归线一定过中心点。）回归线一定过中心点。回归系数和相关系数：回归系数和相关系数：点斜式和一般式点斜式和一般式r=1,b=? r=0,b=?
10、相关系数三种情形相关系数三种情形相关系数检验步骤：相关系数检验步骤：N-2123456789100.05 0.010.9970.9500.8780.8110.7540.7070.6660.6320.6020.5761.0000.9900.9590.9170.8740.8340.7980.7650.7350.708N-2111213141516171819200.05 0.010.5530.5320.5140.4790.4820.4680.4560.4440.4330.4130.6840.6610.6410.6230.6060.5900.5750.5610.5490.537N-221222324
11、2526272829300.05 0.010.4130.4040.3960.3880.3810.3740.3670.3640.3550.3490.5260.5150.5050.4960.4870.4780.4700.4630.4560.449相关系数临界值表相关系数临界值表2.3 预报与控制预报与控制l当求得变量当求得变量x、y之间的回归直线方程后，往之间的回归直线方程后，往往通过回归方程回答这样两方面的问题：往通过回归方程回答这样两方面的问题：l（1）对任何一个给定的观测点）对任何一个给定的观测点x0，推断，推断y0大致落的范围大致落的范围l（2）若要求观测值）若要求观测值y在一定的范围在一
12、定的范围y1yy2内取值，应将变量控制在什么地方。内取值，应将变量控制在什么地方。 前者就是所谓的前者就是所谓的预报问题预报问题，后者称为，后者称为控控制问题制问题。1）预报问题）预报问题2）控制问题）控制问题图解法图解法图解法图解法2.4 算例算例l例例1： 在某产品标明腐蚀刻线，下表是试在某产品标明腐蚀刻线，下表是试验活得的验活得的腐蚀时间腐蚀时间（x）与）与腐蚀深度腐蚀深度（y）间的一组数据。试研究两变量（间的一组数据。试研究两变量（x，y）之）之间的关系。间的关系。腐蚀时间腐蚀时间x（秒）（秒）腐蚀深度腐蚀深度y（）5 5 10 20 30 40 50 60 65 90 1204 6
13、8 13 16 17 19 25 25 29 46作散点图作散点图序号123456789101155102030405060659012049546813161719252529462082525100400900160025003600422581001440035875163664169256289361625625841211653982030802604806809501500162526105520137552.5 非线性回归转化非线性回归转化l两个变量之间的回归关系不是线性的，称为非线两个变量之间的回归关系不是线性的，称为非线性关系。性关系。l很多情况下，非线性问题可以通过简单的转
14、换，很多情况下，非线性问题可以通过简单的转换，成为线性问题。成为线性问题。l例例2、盛钢水的钢包，在使用过程中由盛钢水的钢包，在使用过程中由于钢液及炉渣对包衬耐火材料的浸蚀，于钢液及炉渣对包衬耐火材料的浸蚀，使它的容积不断增大。在生产过程中，使它的容积不断增大。在生产过程中，积累了钢包的容积与使用次数间的积累了钢包的容积与使用次数间的13组组数据。数据。序号序号使用次数使用次数容积容积序号序号使用次数使用次数容积容积12106.42811110.5923108.20914110.6034109.581015110.9045109.501116110.7657110.001218111.0068
15、109.931319111.20710110.49数据散点图数据散点图非线性问题可以通过对数据进行非线性问题可以通过对数据进行适当变换，转化成线性问题。适当变换，转化成线性问题。究竟用什么曲线去拟合究竟用什么曲线去拟合?l第一步：确定变量之间关系式。第一步：确定变量之间关系式。根据专业根据专业知识或实验数据。知识或实验数据。l第二步：第二步：数据转换数据转换，线性回归。，线性回归。l对于例对于例2，把，把X和和Y先求一下先求一下倒数倒数，看有没有，看有没有什么变化！什么变化！再折腾再折腾一下！一下！常见非线性类型（常见非线性类型（1）常见非线性类型（常见非线性类型（2）常见非线性类型（常见非线
16、性类型（3）3、多元线性回归分析、多元线性回归分析l3.1 多元线性回归问题多元线性回归问题l3.2 多元线性回归模型多元线性回归模型多元线性回归问题多元线性回归问题 影响因变量的因素不是一个而是影响因变量的因素不是一个而是多个多个，这，这类问题称为多元回归分析。类问题称为多元回归分析。 多元线性回归分析的原理与一元线性回归多元线性回归分析的原理与一元线性回归分析完全相同，但在计算上却要复杂得多。分析完全相同，但在计算上却要复杂得多。 多元回归专门程序。多元回归专门程序。SPSSSPSSlAnalyze Regression Linear例例3：l根据我国某地区乡镇企业总产值、从业劳动者人根据
17、我国某地区乡镇企业总产值、从业劳动者人数和固定资产原值的历年资料，求回归方程。数和固定资产原值的历年资料，求回归方程。（总产值（总产值 y,从业劳动者人数从业劳动者人数x1,固定资产原值固定资产原值x2)年份年份总产值总产值(亿亿)y从业劳动者从业劳动者(万人万人)固定资产原值固定资产原值(亿亿)1988490.62826.5229.61989543.42909.3280.21990649.92999.7326.31991722.32969.6376.51992840.43112.9429.31993999.03234.7475.719941433.03848.1575.0？3000400作业
18、作业l1、计算例、计算例1。l2、计算例、计算例2。l3、某某10名高中毕业生高中成绩和高考成绩名高中毕业生高中成绩和高考成绩如下。试建立高中成绩相对于高考成绩的回如下。试建立高中成绩相对于高考成绩的回归模型。归模型。学生学生12345678910高中高中(X)111065373892高考高考(Y)129975566103作业作业l4、合金的强度、合金的强度y (107Pa) 与合金中碳的含量与合金中碳的含量x (%) 有关。有关。12组数据列于表中，求关系式，并进行方差分析。组数据列于表中，求关系式，并进行方差分析。 序号序号x(%)y (107Pa)序号序号x(%)y (107Pa)10.
19、1042.070.1649.020.1143.080.1753.030.1245.090.1850.040.1345.0100.2055.050.1445.0110.2155.060.1547.5120.2360.0方差分析：方差分析：来源来源平方和平方和自由自由度度均方和均方和F F比比回归回归S SR R =327.932=327.932fA=1MSMSA A= =327.932327.932191.4191.4残差残差S Se e =17.133=17.133fe=10MSMSe e= = 1.71331.7133总和总和S ST T =335.2292=335.2292fT=11若取若取 =0.01，则，则F0.99(1,10) =10F，因此在显著性水平，因此在显著性水平0.01下回归方程是显著的。下回归方程是显著的。 大作业大作业l1、采用、采用VBA或或VB或或VC+编写编写多元线性回多元线性回归分析程序归分析程序。l2、采用、采用EXCEL进行多元线性回归分析。进行多元线性回归分析。THE END谢谢！谢谢！
