《 直线回归与相关》由会员分享，可在线阅读，更多相关《 直线回归与相关（79页珍藏版）》请在金锄头文库上搜索。
1、第六章 直线回归与相关,客观事物在发展过程中是相互联系、相互影响，常常要研究两个或两个以上变量间的关系。,下一张,主 页,退 出,上一张,下一张,主 页,退 出,上一张,1 回归与相关的概念,一类是完全确定性的关系，又称函数关系，可以用精确的数学表达式来表示，即当变量x的值取定后，变量y有唯一确定的值与之对应。,如长方形的面积（S） 与 长（a）和宽（b）的关系： S=ab。它们之间的关系是确定性的，只要知道了其中两个变量的值就可以精确地计算出另一个变量的值，这类变量间的关系称为函数关系。,各种变量间的关系大致可分为两类：,确定性关系,非确定性关系,如人的身高与体重的关系，作物种植密度与产量的
2、关系，食品价格与需求量的关系等等，这些变量间都存在着十分密切的关系，但不能由一个或几个变量的值精确地求出另一个变量的值。统计学中把这些变量间的关系称为相关关系，把存在相关关系的变量称为相关变量。,下一张,主 页,退 出,上一张,另一类是 非确定性关系，不能用精确的数学公式来表示，当变量x的值取定后，y有若干种可能取值。,在一定范围内，对一个变量的任意数值（Xi），虽然没有另一个变量的确定数值yi与之对应，但是却有一个特定yi的条件概率分布与之对应，这种变量的不确定关系，称为相关关系。,一种是因果关系，即一个变量的变化受另一个或几个变量的影响。如小麦的生长速度受遗传特性、营养水平、管理条件等因素
3、的影响。另一种是平行关系，它们互为因果或共同受到另外因素的影响。如人的身高和胸围之间的关系属于平行关系。,下一张,主 页,退 出,上一张,相关变量间的关系一般分为两种:,研究“一因一果”，即一个自变量与一个依变量的回归分析称为一元回归分析；研究“多因一果”，即多个自变量与一个依变量的回归分析称为多元回归分析。一元回归分析又分为直线回归分析与曲线回归分析两种；多元回归分析又分为多元线性回归分析与多元非线性回归分析两种。,下一张,主 页,退 出,上一张,统计学上采用回归分析 （regression analysis）方法研究呈因果关系的相关变量间的关系。表示原因的变量称为自变量，表示结果的变量称为
4、依变量。,回归分析的任务就是揭示出呈因果关系的相关变量间的联系形式，建立它们之间的回归方程，利用所建立的回归方程，由自变量（原因）来预测、控制依变量（结果）。,回归分析主要包括：找出回归方程；检验回归方程是否显著；通过回归方程来预测或控制另一变量。,对多个变量进行相关分析时，研究一个变量与多个变量间的线性相关称为复相关分析；研究其余变量保持不变的情况下两个变量间的线性相关称为偏相关分析。,下一张,主 页,退 出,上一张,统计学上采用相关分析 ( correlation analysis)来研究呈平行关系相关变量之间的关系。,对两个变量间的直线关系进行相关分析称为简单相关分析（也叫直线相关分析）
5、；,2 直线回归,2.1 直线回归方程的建立,下一张,主 页,退 出,上一张,为了直观地看出x和y间的变化趋势，可将每一对观测值在平面直角坐标系中描点，作出散点图 （见图6-1）。,2.1.1数学模型,对于两个相关变量，一个变量用x表示，另一个变量用y表示，如果通过试验或调查获得两个变量的n对观测值：（x1，y1），（x2，y2），（xn，yn）,图6-1 x与y的关系散点图,下一张,主 页,退 出,上一张,散点图可直观地、定性地表示了两个变量之间的关系。为了探讨它们之间的规律性，还必须根据观测值将其内在关系定量地表达出来。, 两个变量间有关或无关；若有关，两个变量间关系类型，是直线型还是曲线
6、型；,由散点图（图6-1）可以看出：, 两个变量间直线关系的性质（是正相关还是负相关）和程度（是相关密切还是不密切）；,由于依变量y的实际观测值总是带有随机误差，因而依变量y的实际观测值yi可用自变量x的实际观测值xi表示为：,（i=1,2, , n） （6-1）,若呈因果关系的两个相关变量y（依变量）与x（自变量）间的关系是直线关系，那么，根据n对观测值所描出的散点图，如图6-1（b）和图6-1（e）所示。,式中：，为未知参数， i为相互独立，且服从N（0， ）的随机变量。这就是直线回归的数学模型。,2 回归模型的前提假设,线性(linear) 独立(independent) 正态(norm
7、al) 等方差(equal variance)恰好为“LINE”。,给定X时，Y是正态分布、等方差示意图,x,y,总体线性回归模型的图示,Y,X,观察值,观察值,总体线性回归模型,因变量,自变量,参数,随机误差,y条件平均数,下一张,主 页,退 出,上一张,2.1.2 参数，的估计,其中， 是的估计值，b是的估计值。,最小二乘估计法,建立 样本线性回归方程的方法 最小二乘法,实际观察值与样本回归线上 的点的距离的平方和最小,x,y,e1,e2,e3,e4,最小,、b应使回归估计值 与实际观测值y的偏差平方和最小，即：总的离回归平方和，即剩余平方和,根据微积分学中的求极值的方法，令 Q对a、b的
8、一阶偏导数等于0，即：,最小,（6-3）,（6-4）,经整理，得关于a、b的正规方程组：,下一张,主 页,退 出,上一张,解正规方程组，得：,（6-5）,（6-7）,在6-7式中，分子为自变量x的离均差与依变量y的离均差的乘积和 ，简称乘积和，记作 ，分母是自变量x的离均差平方和 ，记作SSX。,所 以,a为回归截距（regression intercept），是回归直线与y轴交点的纵坐标，当x=0时， ；b为回归系数（regression coefficient），表示x变化一个单位，y平均变化的数量；b的符号反映了x影响y的性质，b的绝对值大小反映了x 影响y的程度； 为回归估计值，是当x
9、在其研究范围内取某一个值时，y值平均数 的估计值。,如果将 式代入（6-2）式，可得到回归方程的中心化形式：,下一张,主 页,退 出,上一张,性质1,性质2,性质3 回归直线通过点,回归方程的基本性质：,【例6-1】食品感官评定时，测得食品甜度与蔗糖浓度的关系如表6-2所示，试建立y与x的直线回归方程。,2.1.3 计算示例,表6-2 食品甜度与蔗糖浓度的关系,（1）作散点图 以蔗糖质量分数（x）为横坐标，甜度（y）为纵坐标作散点图，如图6-2所示。,图6-2,（2）计算回归截距a，回归系数b，建立直线回归方程,下一张,主 页,退 出,上一张,首先根据实际观测值计算出下列数据：,所以，甜度y对
10、蔗糖质量分数x的直线回归方程为：,然后计算出b、a：,以上计算也可在回归计算表中进行。,回归方程计算表1（一级数据）,回归方程计算表2（二级数据）,注：x，y分别为X，Y的平均数,根据直线回归方程可作出回归直线，见图。从图看出，并不是所有的散点都恰好落在回归直线上，这说明用 去估计y是有偏差的。,下一张,主 页,退 出,上一张,附：直线回归的偏离度估计 偏差平方和 的大小表示了实测点与回归直线偏离的程度，因而此偏差平方和又称为离回归平方和。统计学证明：在直线回归分析中离回归平方和的自由度为n-2。那么，离回归均方为： 离回归均方是模型（6-1）中2的估计值。离回归均方的平方根叫离回归标准误，记
11、为 ，,离回归标准误Syx的大小表示了回归直线与实测点偏差的程度，即回归估测值 与实 际观测值y偏离（差）的程度，所以，用离回归标准误Syx来表示回归方程的偏离度。,下一张,主 页,退 出,上一张,对于【例6.1】有,所以，离回归标准误为,离回归平方和：,由上式计算出 ，然后求出离回归标准误Syx。,如果x和y变量间并不存在直线关系， 但由n对观测值（xi，yi）也可以根据上面介绍的方法求得一个回归方程 =a+bx。 显然，这样的回归方程所反应的两个变量间的直线关系是不真实的。 如何判断直线回归方程所反应的两个变量间的直线关系的真实性呢？这取决于变量x与y间是否存在直线关系。从y的变异着手来分
12、析。,下一张,主 页,退 出,上一张,2.2 直线回归方程的显著性检验,图6-3 的分解图,y总变异的分解,2.2.1 直线回归的变异来源,X,P(X,Y),Y,Y的总变异分解,Y的总变异分解,下一张,主 页,退 出,上一张,由于,所以,于是,由图6-3可以看出：,上式两端平方，然后对所有的n点求和，则有,所以有 （6-9）反映了y的总变异程度，称为y的总偏差平方和，记为SSy； 反映了由于y与x间存在直线关系所引起的y的变异程度，称为回归平方和，记为SSR；,反映了除y与x存在直线关系以外的一切因素（包括x对y的非线性影响及其他一切未加控制的随机因素）所引起的y的变异程度，称为离回归平方和或
13、剩余平方和，记为SSr或SSe。所以，y的总变异平方和可分解为：,下一张,主 页,退 出,上一张,表明y的总平方和可剖分为 回归平方和 与离回归平方和两部分。与此相对应，y的总自由度dfy也可分解为回归自由度dfr与离回归自由度dfr两部分，即,在直线回归分析中，回归自由度等于自变量的个数， 即 ；y的 总 自 由度 ；离回归自由度 。于是： 离回归均方 ， 回 归 均 方。,x与y两个变量间是否存在直线关系，可用F检验法进行检验。无效假设HO：=0，备择假设HA：0。在无效假设成立的条件下，回归均方与离回归均方的比值服从 和 的F分布，所以，可以用下式来检验回归方程的显著性。,下一张,主 页
14、,退 出,上一张,2.2.2 回归关系（方程）显著性检验F检验,df1=1，df2=n-2,（6-10）,回归平方和的计算：,下一张,主 页,退 出,上一张,根据（6-9）式，可得到离回归平方和计算公式为：,【例6.2】 检验例6-1中求得的回归方程是否显著（a=005）,方差分析,列出方差分析表进行回归关系显著性检验。,下一张,主 页,退 出,上一张,表6-4 蔗糖浓度与甜度回归关系方差分析表,因为 ，表明甜度与蔗糖浓度间存在着极显著的直线关系。,采用回归系数的显著性检验t检验也可检验x与y之间是否存在直线关系。 t检验时， 无效假设HO：=0， 备择假设HA：0。,2.2.3 回归系数的显著性检验t检验,其中，Sb为回归系数标准误，,t 检验的计算公式为：,（6-11）,离回归标准误,Syx反映回归估测值 与实测值y的偏离程度,t与临界值t a（n-2）比较，以判断显著性。,对于 【例8.1】 资 料 ，已计算得故有,下一张,主 页,退 出,上一张,当 ，查t值表，得因 ， ，否定HO：0，接受HA：0，即直线回归系数b=1.2550是极显著的，表明蔗糖浓度与甜度大小存在极显著的直线关系，可用所建立的直线回归方程来进行 预测和控制。,
