《概率论与数理统计 第九章 方差分析与回归分析课件》由会员分享，可在线阅读，更多相关《概率论与数理统计 第九章 方差分析与回归分析课件（66页珍藏版）》请在金锄头文库上搜索。
1、,概率论与数理 统计,主讲教师 陈 争,第8章 方差分析与回归分析,8.1 单因素试验的方差分析,8.2 回归分析的概念,8.3 一元线性回归,第8章 方差分析与回归分析,8.1 单因素试验的方差分析,一、基本概念,由于试验条件的影响，在进行试验时，可能使试验结果表现出系统误差. 称可控制的试验条件为因素，因素变换的各个等级为水平.,如果在试验中只有一个因素在变化，其它可控制的条件不变，称它为单因素试验；,若试验中变化的因素多于一个，则称为多因素以及多因素试验.,单因素试验中，若只有两个水平，就是第七章的 两个总体的比较问题. 超过两个水平时，也就是需要 多个总体进行比较，这时，方差分析是一种
2、有效的方法.,8.1 单因素试验的方差分析,设单因素A具有r个水平，对每个水平进行重复试验，列出试验记录表：,行和,行平均,因 素 水 平,试 验 批 号,试验结果,其中,表示第i个等级进行第j次试验的可能结果.,记,(8.1),(8.2),(8.3),(8.4),二、方差分析的假设前提,设单因素A具有r个水平，分别记为,在每个水平,下，要考察的指标可以看,(2) 每个总体的方差相同；,(3) 从每个总体中抽取的样本相互独立.,(1) 每个总体均服从正态分布，而且,未知；,成一个总体，故有r个总体，并假设,如果要检验的因素对试验结果没有显著影响， 则试验的全部结果 应来自同一正态总体,待检假设
3、为,不全相等.,三、偏差平方和及其分解,组间(偏差)平方和,为了通过分析对比产生样本,之间差异性的,原因，从而确定因素A的影响是否显著，引人偏差平 方和,能反映全部试验试验数据之间的差异.,总偏差平方和,它是由因素A取不同水平引起的.,反映在每个水平下样本均值与样本总均值的差异，,组内(偏差)平方和,表示在水平,下样本值与该水平下的样本均值之,间的差异，它是由随机误差引起的，故称为误差平方 和.,平方和分解公式,四、检验方法,如果组间差异比组内差异大得多，即说明因素 的各水平间有显著差异，r个总体部能认为是同一正 态总体，应认为假设不成立，此时，比值,为真时，有,有偏大的趋势，为此，选统计量,
4、在,的值，,对给定的显著性水平，查,从而得到F的值.,由样本观察值计算,时，拒绝,当,表示因素A,当,时，接受,的各水平下的效应有显著差异；,表示没有理,由认为因素A的各水平下的效应有显著差异.,满足：,如果对因素的每一个水平试验次数相同，即r个,则称为等重,样本的容量都相同：,复试验；否则称为不等重复试验.,单因素方差分析表,方差来源 平方和 自由度 均方和 F值,因素A,误差E,总和T,计算时，常用的公式：,例1 粮食加工厂试验5种储藏方法，检验它们对 粮食含水率是否有显著影响. 在储藏前这些粮食的含 水率几乎没有差别，储藏后的含水率如下表所示，问 不同的储藏方法对含水率的影响是否有明显差
5、异？,因 素 A,试 验 批 号,含水率(%),行和,因 素 A,试 验 批 号,含水率(%),解,单因素方差分析表,方差来源 平方和 自由度 均方和 F值,因素A,误差E,总和T,可认为没有显著差异.,8.2 回归分析的概念,一、确定性关系和非确定性关系,1确定性关系即函数关系，总可以用形如,y=f(x)之类的函数来描述. 例如：,2非确定性关系即两个变量之间存在某种相,互依赖的关系，但又不能用形如 y=f(x) 的函数关系来,确切描述，即不能由一个确定的 x 值，找到唯一确定的,y 值，这种关系称为非确定性关系.,在非确定性关系中，很多情况是两个变量 x,y 之间，,尽管不存在确定性的函数
6、关系，但是两个变量之间都,存在某种统计规律性所能刻画的相互关系，一般构成,8.2 回归分析的概念,这种统计规律的联系总是因为某种随机因素起作用的,结果. 这一类关系称为相关关系或统计相关. 在存在,相关关系的两个变量之间必然存在某种随机因素的作,用.,例1 人的身高与体重之间的关系.,例2 居民按人口计算的平均收入与某种商品的消,费量之间，有着一定的联系.,例3 森林中的同一种树木，其断面直径与高度之,间是有联系的.,例4 农作物的产量与施肥量、气候、农药也有这,种不确定的关系.,二、回归分析,1回归关系,如果两个变量中一个是非随机变量，另一个是随,机变量，则这两个变量之间的关系为回归关系.,
7、2回归分析,由一个或一组非随机变量来估计或预测某一个随,机变量的观察值时，所建立的数学模型及所进行的统,计分析，称为回归分析.,3回归函数,近似地描述具有相关关系的变量间联系的函数称,为回归函数.,三、回归分析的内容,初步判断是否建立回归模型，由相关分析的结,果，选择何种回归模型；,根据实际数据资料，估计回归方程未知参数，,计算估计值标准误差，建立回归模型；,进行回归模型检验，参数检验；,进行回归点预测，对给定的置信程度，构造回,归模型的区间预测. 进行回归控制；,利用分析结果作出决策.,1,2,3,4,5,8.3 一元线性回归方程,一、经验公式与最小二乘法,1经验公式,在一元回归分析里，我们
8、要考察的是：,随机变量 Y 与普通变量 x 之间的关系.,x 的变化会引起 Y相应的变化，但它们之间的变,化关系是不确定的. 当 x 取任一可能值时，Y相应地服,从一定的概率分布，则称随机变量 Y 与 x 之间存在着,相关关系.,先考察两个变量的模型：y=f(x),8.3 一元线性回归方程,由于两个变量之间不存在完全确定的函数关系，,因此必须把随机波动产生的影响引入方程：,其中 Y 是随机变量，x 是普通变量，,是其它因素对 Y 影响的总和.,对于观察点,首先一个问题是如何根据已经试验的结果以及以往,的经验来确定回归函数的类型以及求出函数中的未知参,数的估计，得到经验公式.,是随机项.,有,例
9、1 以家庭为单位，某种商品年需求量与该商品,价格之间的一组调查数据如下表所示：,价格 (元) 1 2 2 2.3 2.5 2.6 2.8 3 3.3 3.5,需求 (斤) 5 3.5 3 2.7 2 .4 2.5 2 1.5 1.2 1.2,从表上可以看出，价格不变，需求仍可能变化，价,格改变，需求也可能不变. 但是，总的趋势是家庭对该,商品的年需求量随着价格的上升而减少，它们之间存在,着密切的联系. 我们要找出近似地描述它们之间关系的,回归函数，也就是求 y 对 x 的回归方程.,为了确定回归函数,据作为直角坐标平面上点的坐标，并把这些点画在直,角坐标平面上. 这样得到的图称为散点图.,5
10、4 3 2 1,1 2 3 4 5,的类型，先把10对数,从图上可以看出，需求量与价格大致成线性关系.,称为 y 对 x 的回归方程.,因而可以决定该种商品的需求量 y对价格 x 的回归函数,类型为直线型. 我们把 y 对 x 的回归函数记为,即经验公式的形式已经确定.,就需确定,使该直线总的看来最“接近”这10个点.,为y 的估计值或回归值.,从图上看，要找,于是，这条直线在 y 轴上的截距就是,关系式,其中,称为回归系数.,上画一条直线 l,是不难的，在图,斜率就是,要完全找出经验公式，,但本质上是等价的，都是考虑了随机影响的相关关系,与y=f(x)+虽然形式不一样，,表达式. 所不同的是
11、,随机影响转移到记号,化为确定系数,是直接由函数 y=f(x)计算得到，而是从样本信息通过,估计分析得到，无疑包含了随机因素的影响.,式上的转化很重要，由于去掉了,的随机部分，从而使模型大大简化，使定量分析成为,成可能. 对于具体问题，一元回归方程的建立，就转,注意：,将y=f(x)+式中的,中去了. 显然,的估计值不,这一形,式中,一般地，两个变量的线性回归模型为,取一个容量为 n 的样本,表示第 i 次观察的随机误差. 误差,具有相同的分布且相互独立，并且假定：,利用样本,讨论如下两个问题：,(1) 估计,(2) 检验数学模型的合理性.,有,2参数估计 (最小二乘估计法),设在一次抽样试验
12、中，取得 n 对数据,这 n 对数据即为一组样本值，,的值，,的估计值.,过另一组试验值又可以得到另一对,用一组样本值求到的只能是回归系数的估计值，记做,于是通过题设给出的一组样本值所求的回归方程为：,其中，,寻求一对,的值.,是回归系数,根据这一组样本值可以,显然,但由于 Y 是一随机变量，所以通,是求,式中回归系数估计,的最常用的方法.,对于上述给出的 n 对数据,的距离. 记为,估计值,标之差 (或垂直偏差，或残差).,即散点,机变量Y的每一个试验值,最小二乘法：,构成的样本，随,在散点图中表现为两者纵坐,这个差值可正可负，,其绝对值为,值,式中对应的,与,到回归直线上点,的差,其基本原
13、理与具体做法如下：,这 n 个样本值引起的垂直偏差,显然这个总偏差不能用 的代数和 来,表示，因为偏差有正有负，,可能互相抵消，从而不,能代表真正的偏差.,为此，我们采用偏差,平方和，即用,描述点,与它沿平行纵轴方向,到直线 l 的远近距离.,就构成了总偏差，,验值,就定量地描述了所有试,同的直线而变化的，或者说，是随不同的,的，也就是说它是,于是,而变化,的二元函数，记为,这个量是随着不,对所有的,若,与,的偏离越小，则认为,直线与所在试验点拟合得越好.,与回归直线,的偏离平方和，,于是，要找一条直线，使该直线总的看来最“接,近” 这n个点的问题，就转化为如下问题：,要找两个数,处达到最小.
14、,是n个平方之和，,最小”的原则称为平方和最小原则，习惯上称为最小,由于,为,使二元函数,在,的最小二乘估计.,所以“使,即,二乘法.,的求法可以利用微积分中的极值求法.,由极值存在的必要条件可知，,(1),(2),必须满足方程组：,由 (1) 得,即,有,(3),由 (2) 得,(4),有,方程组 (3) ,(4) 称为正规方程组，由 (3) 得,(5),将 (5) 代入 (4) 得,可得,(6),于是所求的回归直线方程为 (即 x, y 之间的经验公式）,由 (5)得,则,记,现在，可根据,y的回归方程. 为了清楚起见，列出回归计算表：,价格,1 2 2 2.3 2.5 2.6 2.8 3
15、 3.3 3.5,需求,5 3.5 3 2.7 2.4 2.5 2 1.5 1.2 1.2,5 7 6 6.21 6 6.5 5.6 4.5 3.96 4.2,1 4 4 5.29 6.25 6.76 7.84 9 10.89 12.25,25 12.25 9 7.29 5.76 6.25 4 2.25 1.44 1.44,的经验公式，求得例1中 x对,所求的回归方程为：,二、线性相关显著性检验,经验公式仅仅是在一组经验数据下用最小二乘估,计得到，事先并不能知道 x 与 y 两个相关变量之间是,否具有线性相关关系. 因此，求到了经验公式后，还,有待于进一步检验两个变量之间的线性关系是否成立，,
16、时否显著？经验公式是否有效？这就必须进行有关的,检验判断.,线性回归分析中，线性相关性的显著性检验通常采,用的方法有 F 检验法与 R 检验法.,要检验,式的线性相关关系是否成立，,只要检验回归系数,这有两种可能：,(1) 若,性关系；,(2) 若,因此，为了检验回归方程线性关系的显著性，可,以提出待检假设,的方法检验判别,然后，使用前章假设检验,是否成立.,与 x之间不存在线,表示,导致,表示,与 x 之间线性关系成立.,是否相容.,1. F 检验法,的方法，将 x 对 y 的线性影响与,随机波动引起的变差分开，为此，先导出一个具有统,计意义的分解公式.,(1) 平方和分解公式,对于任意 n 组数据,恒有,为寻找检验,由
