《数值分析-回归分析》由会员分享，可在线阅读，更多相关《数值分析-回归分析（30页珍藏版）》请在金锄头文库上搜索。
1、回归分析,一、回归与相关关系,回归这个术语是由英国著名统计学家Francis Galton在19世纪末期研究孩子及他们的父母的身高时提出来的。Galton发现身材高的父母，他们的孩子也高。但这些孩子平均起来并不像他们的父母那样高。对于比较矮的父母情形也类似：他们的孩子比较矮，但这些孩子的平均身高要比他们的父母的平均身高高。 Galton把这种孩子的身高向中间值靠近的趋势称之为一种回归效应，而他发展的研究两个数值变量的方法称为回归分析。,在现实问题中，处于同一个过程中的一些变量，往往是相互依赖和相互制约的，它们之间的相互关系大致可分为两种：,（1）确定性关系函数关系；,（2）非确定性关系相关关系
2、；,相关关系表现为这些变量之间有一定的依赖关系，但这种关系并不完全确定，它们之间的关系不能精确地用函数表示出来。,比如，一斤桃子2元钱，买X斤桃子需要Y元钱，则Y=2X；,比如，人的血压 Y 与年龄 X 之间有一定的依赖关系，一般来说，年龄越大，血压越高，但年龄相同的两个人的血压不一定相等。年龄与血压之间的关系是相关关系。,函数关系与相关关系,因此，统计学上讨论两变量的相关关系时，是设法 确定：在给定自变量 的条件下，因变量 的 条件数学期望 ，记为 。回归分析的基本内容就是估计回归方程 。,随机变量之间不确定的关系，称为相关关系； 回归分析就是通过观察值，去寻找随机变量间的相关关系的一种数理
3、统计方法；,Regression Models 回归模型的分类,回归模型,2个以上自变量,1个自变量,1一元线性回归,例1：今有某品种大豆脂肪含量 X(%)与蛋白质含量Y(%),的测定结果如下表，试分析这些数据蕴含的关系。,将每一对观察值在同一 直角坐标系中描出，得 散点图如右：,从散点图看出， 与 具有线性相关关系。,一、一元线性回归分析(linear regression),一般地，设随机变量 Y 与变量 X 有相关关系，作 次 独立试验，得 对观测值：,用试验数据对作出散点图，若如下图，则显示 Y 与 X 有线性 关系的趋势。,这里，,对每一确定的 ，建立数学模型：,（一元线性回归模型）
4、,则有,记作,由此得出变量 Y 与 X 的近似表达式：,（一元线性回归方程、经验公式）,回归分析的任务是，找出回归方程式，检验方程有效与否， 当方程有效时对Y 的值作预测与控制。,二、未知参数的估计及统计性质 1.最小二乘法 (Least squares estimate),根据上面的分析，根据已知的散点 ， 我们可以得到一个回归函数 ，其中 待定。,令 ，这里 表示当 时， 的观测值 与 直线 上的对应纵坐标 的偏差。这样，各个散点与直线 的总的偏差的平方和为,我们希望选取适当的 使得 的值最小，由 此得到的估计 称为最小二乘估计，这种方法成为最小二乘法,令,注:一元线性经验回归方程是理论回归方程的无偏估计,称为残差平方和.,三、回归效果的显著性检验,F 检验（方差分析）,把 Y 的观测值的总离差平方和,分解成两部分：,即：,回归平方和,剩余平方和,SSR 反映了自变量 X 对随机变量 Y 的影响， SSE 反映了试验误差和其它因素对 Y 的影响。,中,，我们就来检验这个假设。,若假设 H0 ： 成立：则,从而统计量,对给定的检验水平 ，,H0 的拒绝域为：,这时认为回归方程很大程度上是成立的，是有效的.,若变量 X 与 Y 没有相关关系，即回归方程 中,找统计量,其中,
