《数理统计CH7回归分析ppt课件》由会员分享，可在线阅读，更多相关《数理统计CH7回归分析ppt课件（68页珍藏版）》请在金锄头文库上搜索。
1、第七章第七章 回归分析回归分析regression analysis 9/6/20241王玉顺：数理统计07_回归分析本章内容本章内容7.1 7.1 变量间的关系7.27.2 一元线性回归7.3 7.3 多元线性回归7.4 7.4 回归注意事项7 回归分析重点：一元线性回归和决定系数9/6/20242王玉顺：数理统计07_回归分析7.1 变量间的关系Correlation between Variables7 回归分析9/6/20243王玉顺：数理统计07_回归分析7.1 变量间的关系(1)函数关系9/6/20244王玉顺：数理统计07_回归分析7.1 变量间的关系(2)随机关系9/6/202
2、45王玉顺：数理统计07_回归分析(3)相关关系7.1 变量间的关系9/6/20246王玉顺：数理统计07_回归分析(4)回归分析解决的问题 考察响应变量与自变量之间的关系，存在如下三种类型：(1)确定性关系：响应=自变量的函数(2)不确定关系：响应=独立随机变量(3)相关关系：响应=函数+独立随机变量回归分析就是对相关关系相关关系中的函数部分进行估计和检验7.1 变量间的关系9/6/20247王玉顺：数理统计07_回归分析 生物学家FGalton和统计学家KPearson的种族身高研究(1889)。 高个父亲群体的平均身高高个父亲群体儿子们的平均身高整个种族的平均身高低个父亲群体儿子们的平均
3、身高低个父亲群体的平均身高(5)为什么称作“回归分析”7.1 变量间的关系9/6/20248王玉顺：数理统计07_回归分析(6)回归分析类型一元回归：只有一个自变量的回归多元回归：有两个以上自变量的回归线性回归：回归函数是自变量的线性组合非线性回归：回归函数是自变量的非线性组合7.1 变量间的关系9/6/20249王玉顺：数理统计07_回归分析7.2 一元线性回归Linear Regression 7 回归分析9/6/202410王玉顺：数理统计07_回归分析案例案例：某特种钢抗拉强度试验，控制某稀有金属含量x测得不同抗拉强度y，试验结果如表所示。问题问题：(1)估计y对x的回归函数；(2)检
4、验回归估计的显著性；(3)考察y与x的相关程度；(4)由x预测y。抗拉强度试验结果(1)案例和问题7.2 一元线性回归x(%) y(MPa)2.073.104.145.176.20128194273372454x称作自变量y称作响应变量9/6/202411王玉顺：数理统计07_回归分析(2)数据模式7.2 一元线性回归抗拉强度试验结果x(%)y(MPa)2.073.104.145.176.20128194273372454随机的试验响应非随机人工控制变量9/6/202412王玉顺：数理统计07_回归分析(3)回归模型7.2 一元线性回归回归模型指响应与自变量关系的数学表达回归模型描述响应y与自
5、变量x的关系模型对 的分布没有特别要求9/6/202413王玉顺：数理统计07_回归分析用线性回归模型描述第i次观测响应yi与自变量xi的关系：7.2 一元线性回归(3)回归模型回归模型指响应与自变量关系的数学表达一元线性回回模型9/6/202414王玉顺：数理统计07_回归分析以矩阵形式表达线性回归模型：7.2 一元线性回归(3)回归模型响应向量设计矩阵回归参数误差向量9/6/202415王玉顺：数理统计07_回归分析7.2 一元线性回归(3)回归模型n阶协差阵n阶单位阵以矩阵形式表达线性回归模型：9/6/202416王玉顺：数理统计07_回归分析(4)回归分析内容7.2 一元线性回归9/6
6、/202417王玉顺：数理统计07_回归分析7.2.1 回归最小二乘估计Least-Square Estimation on Linear Regression7.2 一元线性回归9/6/202418王玉顺：数理统计07_回归分析对于回归方程回归方程的估计记作 回归估计实际上是由样本数据求得回归方程的一个估计，回归方程的估计亦简称作回归方程。求一元回归方程等价于对回归系数和回归截距进行参数估计。(1)回归估计问题7.2.1 回归最小二乘估计回归方程估计的期望：9/6/202419王玉顺：数理统计07_回归分析(2)最小二乘思想7.2.1 回归最小二乘估计最小二乘几何描述9/6/202420王玉
7、顺：数理统计07_回归分析 求回归方程a+bx的估计，数学上就是用一个一元线性函数一元线性函数去拟合试验数据，几何上可看作为试验点拟合一条直线直线。可拟合的直线有无穷多条，哪一条直线在表达y对x的相关关系上更合理呢？自然想到与所有试验点总距离为最小总距离为最小的那条线较合理。(2)最小二乘思想7.2.1 回归最小二乘估计合理解决方案 9/6/202421王玉顺：数理统计07_回归分析回归方程的最小二乘估计可归结为求解下面的优化模型：用残差(误差)平方和代表试验点与回归直线的总距离残差计算：(2)最小二乘思想7.2.1 回归最小二乘估计9/6/202422王玉顺：数理统计07_回归分析步骤步骤1
8、：构建由观测数据表达的残差平方和回归最小二乘估计问题可表为：(3)回归最小二乘估计7.2.1 回归最小二乘估计残差平方和9/6/202423王玉顺：数理统计07_回归分析步骤步骤2：残差平方和分别对a,b求偏导7.2.1 回归最小二乘估计(3)回归最小二乘估计9/6/202424王玉顺：数理统计07_回归分析7.2.1 回归最小二乘估计(3)回归最小二乘估计9/6/202425王玉顺：数理统计07_回归分析符号简写：步骤步骤3：令偏导等于0整理出正规方程组7.2.1 回归最小二乘估计(3)回归最小二乘估计正规方程组9/6/202426王玉顺：数理统计07_回归分析则下面的正规方程组有唯一解(克
9、莱姆法则)：步骤步骤4：用克莱姆法则解方程组得回归估计7.2.1 回归最小二乘估计若有(3)回归最小二乘估计克莱姆法则9/6/202427王玉顺：数理统计07_回归分析克莱姆法则7.2.1 回归最小二乘估计(3)回归最小二乘估计9/6/202428王玉顺：数理统计07_回归分析7.2.1 回归最小二乘估计克莱姆法则(3)回归最小二乘估计9/6/202429王玉顺：数理统计07_回归分析(4)回归最小二乘估计概要7.2.1 回归最小二乘估计9/6/202430王玉顺：数理统计07_回归分析(5)回归最小二乘估计的性质7.2.1 回归最小二乘估计9/6/202431王玉顺：数理统计07_回归分析x
10、y2.073.104.145.176.20128194273372454数据乘积和Total xy=6734.62数据和数据平方和20.6896.203414214730497.2.1 回归最小二乘估计(6)回归最小二乘估计案例数据的表格算法9/6/202432王玉顺：数理统计07_回归分析7.2.1 回归最小二乘估计平方和计算(6)回归最小二乘估计案例9/6/202433王玉顺：数理统计07_回归分析回归方程：7.2.1 回归最小二乘估计参数估计(6)回归最小二乘估计案例9/6/202434王玉顺：数理统计07_回归分析7.2.1 回归最小二乘估计(6)回归最小二乘估计案例 求回归方程几何上
11、就是求一条能较好解释数据的最佳直线。 9/6/202435王玉顺：数理统计07_回归分析7.2.2 回归显著性检验Significance Testing on Linear Regression7.2 一元线性回归9/6/202436王玉顺：数理统计07_回归分析7.2.2 回归显著性检验(1)线性相关存在性线性相关存在但相关程度不同9/6/202437王玉顺：数理统计07_回归分析(1)线性相关存在性7.2.2 回归显著性检验0RFModelErrorSSRSSE1n-2SSR/1SSE/(n-2)MSR/MSEpTotalSSTn-1一元线性回归方差分析表7.2.2 回归显著性检验显著性
12、检验全部工作可归结于方差分析表SourceSSdfMSF valueF(dfR,dfE)ModelErrorSSRSSE1n-2SSR/1SSE/(n-2)MSR/MSETotalSST n-1或：(10)显著性检验9/6/202458王玉顺：数理统计07_回归分析相关系数取值范围决定系数7.2.2 回归显著性检验决定系数是对y与x线性相关程度的估计(11)线性相关程度9/6/202459王玉顺：数理统计07_回归分析7.2.2 回归显著性检验决定系数表征回归效应在响应总变异中的比重(11)线性相关程度9/6/202460王玉顺：数理统计07_回归分析xy2.073.104.145.176.2
13、0128194273372454数据乘积和Total xy=6734.62数据和数据平方和20.6896.20341421473049(12)回归分析案例7.2.2 回归显著性检验数据的表格算法9/6/202461王玉顺：数理统计07_回归分析7.2.2 回归显著性检验平方和计算(12)回归分析案例9/6/202462王玉顺：数理统计07_回归分析7.2.2 回归显著性检验(12)回归分析案例回归参数估计平方和计算9/6/202463王玉顺：数理统计07_回归分析SourceSSDFMSF valuePrFModelError68885.63315.171368885.63105.06655.
14、680.000131Total69200.84方差分析表计算决定系数：7.2.2 回归显著性检验(12)回归分析案例方差分析表和决定系数9/6/202464王玉顺：数理统计07_回归分析SourceSSDFMSF valueF0.05(1,3)ModelError68885.63315.171368885.63105.06655.6810.1280Total69200.84方差分析表计算决定系数：7.2.2 回归显著性检验(12)回归分析案例方差分析表和决定系数9/6/202465王玉顺：数理统计07_回归分析7.2.2 回归显著性检验(12)回归分析案例9/6/202466王玉顺：数理统计07_回归分析(13)回归分析小结一元线性回归分析可归结为：( (1) )利用样本对回归方程a+bx做最小二乘估计，即做回归参数a,b的最小二乘估计；( (2) )用右方F检验法和双侧t检验法分别检验回归方程和回归系数的显著性；( (3) )计算决定系数R2，对响应y与自变量x的线性相关程度做出评价。7.2.2 回归显著性检验9/6/202467王玉顺：数理统计07_回归分析结束结束7 回归分析9/6/202468王玉顺：数理统计07_回归分析
