《《概率论与数理统计》-牛莉-电子教案 第6章 6.2》由会员分享，可在线阅读，更多相关《《概率论与数理统计》-牛莉-电子教案 第6章 6.2（31页珍藏版）》请在金锄头文库上搜索。
1、第6章 方差分析与回归分析,第2节 回归分析,1.回归分析的概念,现实世界中，变量之间相互依赖、相互制约的关系，可大致分为两类：一类是函数关系，即变量之间存在着确定的关系例如圆半径与圆面积的关系是 另一类是相关关系例如消费者对某种商品的月需求量与该种商品的价格的关系又如农作物的单位面积产量与降雨量、施肥量等的关系.这类关系不能用函数来表达变量之间的这种非确定性关系，称为相关关系,对于相关关系，虽然不能求出变量之间精确的函数关系式，但是通过大量的观测数据，可以发现它们之间存在着一定的统计规律性 由一个(或一组)非随机变量来估计或预测某一个随机变量的观测值时，所建立的数学模型和所进行的统计分析，称
2、为回归分析.如果这个模型是线性的，就称为线性回归分析.研究两个变量间的相关关系的回归分析，称为一元回归分析,2.一元线性回归,在一元回归分析里，我们要考察的是随机变量 与非随机变量 之间的相互关系虽然 和 之间没有确定的函数关系.但是我们可以借助函数关系来表达它们之间的统计规律性用以近似地描述具有相关关系的变量间的联系的函数，称为回归函数 由于 与 之间不存在完全确定的函数关系，因此必须把随机波动产生的影响考虑在内.于是我们的模型的一般形式为 其中 是随机项,进行 次独立试验，观测值如下表所示：,其中,、,分别表示,和,在第,次试验中的观测值，则有,通常把点,画在直角坐标平面上，,这样得到的图
3、就是散点图,的回归函数的类型为,如果所有的散点大体上散布在某一条直线 附近，就可以认为,对,直线型：,我们称这个方程为,如果所有的散点大体上散布在某一条直线 附近，就可以认为,如果随机变量,与非随机变量,之间存在着,来描述怎样确定该方程中未知参数,和,的值呢？,则可用回归直线方程,线性相关关系，,取一个容量为 的样本 ，则有 其中， 满足 (1) (2) 相互独立. 我们用 即 来描述点 与回归直线沿平行于纵轴方向的远近距离，则,定量地描述了回归直线与 个观测点的接近程度要找出一条总的看来最接近这 个观测点的直线，就是要找出使 达到最小值的 (记作 )由于平方又叫做二乘方因此把这种使“偏差平方
4、和为最小”的方法称为最小二乘法.这样求得的 称为 的最小二乘估计 的求法如下：,整理可得 解这个方程组，可得 其中,可以证明，所求得的 ，确实使 取得最小值. 于是，所求的回归直线方程为,例1 炼钢基本上是一个氧化脱碳过程，设某平 炉的熔毕碳(全部炉料熔化完毕时，钢液含碳量),与精炼时间,的生产纪录列表如下：,求,，,的关系式(经验公式),解 列表计算,因此，熔毕碳,与精炼时间,间的回归方程为,前面提到，只有当两个变量间存在线性相关关系时，才能用直线方程大致表示它们之间的关系.但是，对任意两个变量的一组观察数据 都可以用最小二乘法形式上求得对的回归直线.这样就需要考察与间是否确有线性相关关系，
5、能否用直线方程来表示，即判断回归方程是否有意义.这种问题一般称为回归方程的显著性检验,6.2.2 一元线性回归的统计分析,在 的假设下，如果 ，说 明 值的变化对 没有影响，因而变量 不能控制变量 ，用回归直线方程 不能描述两个变量 与 之间的关系，因此，要判明 与 是否确有线性相关关系，就是要检验假设 这和前面介绍的假设检验一样，首先要构造统计量,下 面我们先导出一个具有统计意义的分解 公式：,.,设 为变量 ， 间的一组容量为 的样本， 为由这组样本出发求得的变量 ， 间的回归直线方程，则 就表示了观测数据的总的变动情况，故称 为总变动平方和因为,而,所以,这里,公式,称为变动平方和的分解
6、公式.量,主要描述,离,的分散程度而由公式,看出,的分散性又由,的分散性通过,对于,的线性影响反映出来的，由此,称为回归平方和.量,表示观察值,与经验回归,所对应的纵坐标,它是扣除了,直线上,的偏离情况，,对 的线性影响后所剩余的平方和，因此称 为剩余平方和(或残差平方和)，它主要反映了试验误差的大小,不难想到，要分析样本值,是否显著地存在确定的线性相关关系，可以用,与,进行比较，如果比值,相当大(从几何上看就是,与,之间是否存在线性关系，即样本,是否近似地存在着线性关系，可以构造统计量,纵向偏差相对于横向来说要小的多)，就可以认为存 在着线性相关关系.由此，启示我们，要检验,数学上已经证明：
7、在 成立时， . 这样，我们得到显著性检验的步骤如下： (1) 选取统计量 ； (2)计算 和 的观察值 和 ,并按 计算 ； (3)对给定的显著水平 (一般 或 ),从 分布表中查出 ，使得 如果 ，则否定假设 ，即可以认为回归方程在 水平上显著，反之，不能断定变量 和 之间的线性关系，即回归方程意义不大,例2 在例1的条件下，检验 ， 之间的线性相关关系的显著性( ) 解 (1)选取统计量 (2)按 计算观察值 ； (3)对给定的显著水平 ， 查表求得 ； (4)判断：因 ，所以 与 之间的线性相关关系显著，回归方程有效( ),6.2.3 可线性化的一元非线性回归,对于经验公式的类型是线性
8、的情况下，从上 面的讨论可知，可直接用公式 ， 求得 .然而，大量的实际问题并不属于线性的类型，怎么办呢？看一个例子 例3 在彩色显影中，根据以往的经验，形成染料光学密度与吸出银的光学密度之间有下面类型的关系： 我们希望通过一组实验数据求出未知参数 与 虽然与之间的关系不是线性的，但对上面的等式 两边取自然对数后便得：,令 则两个新变量 之间的关系便是线性的了： 这样，从 组观察值 出发，按 ， ， 得 组新数据 再用式 得 、 ，最后，由 ， 就求得 了,这个例子说明，要把一个非线性回归问题化为线性回归问题，首先得确定(或近似确定)非线性函数的类型，然后看能否用变量置换使之线性化一般说来，确
9、定非线性函数的类型是不容易的，但有些问题可凭专业知识和经验确定，或者用数学方法估出为方便使用，下面把常用的一些非线性函数的线性化变换列出如果实测数据的散点图大致围绕下列的某一曲线散布，就可采用与之相应的变换化为线性回归问题处理,双曲线 型 令 ， 则得到 指数曲线 型 令 则得到 负指数曲线 型 令 ，则得到 幂函数 型 令 ，则得到 对数曲线 型 令 ,则得到 曲线 型 令 则得到 ,6.2.4多元线性回归举例,多元线性回归方程的确定与一元线性回归方程的确定类似，下面我们通过例题来体会. 例4 某种水泥在凝固时放出的热量 (卡/克)可能与下列四种化学成分有关： 的成分(%) ， 的成分(%)
10、， 的成分(%) ， 的成分(%) ， 求出 与 之间的关系式(经验公式)，并检验线性相关关系的显著( ) 今实际测得13组数据如下：,解 (1)建立数学模型 设 ， 将13组数据代入上式，得到： ， 用矩阵表示： ，,其中,是待估计的参数，,且,相互独立,(2) 用最小二乘法估计,的估计值,得,由,所以线性回归方程为,(3) 对方程进行显著性检验( ),查表,计算统计量：,否定,认为回归方程有意义,本章小结,本章主要介绍了方差分析与回归分析 1.方差分析的主要内容是如何利用方差来检验显著性假设，其核心的内容是假设检验的方法，采用统计量，假设各水平之间的差异不显著，用单边否定域来判断，其主要思想在于：同一水平下的差异是由很多微小随机误差总和作用的结果 2.回归分析主要介绍了一元线性回归方程的求法及回归假设的检验，这是本节重点.对于多元线性回归和非线性回归，会求多元线性回归方程，了解常见非线性回归的变换形式即可,
