《数学建模讲义统计模型》由会员分享,可在线阅读,更多相关《数学建模讲义统计模型(31页珍藏版)》请在金锄头文库上搜索。
1、数学建模讲义统计模型Stillwatersrundeep.流静水深流静水深,人静心深人静心深Wherethereislife,thereishope。有生命必有希望。有生命必有希望主要内容主要内容l0 引例引例l1 (多元多元)线性回归模型线性回归模型l2 参数的最小二乘估计参数的最小二乘估计l3 线性关系的显著性检验线性关系的显著性检验l4 区间预测区间预测l5 参数的区间估计参数的区间估计(假设检验假设检验)l6 matlab多元线性回归多元线性回归l7 matlab非线性回归非线性回归l8 非线性回归化为线性回归非线性回归化为线性回归l9 matlab逐步回归逐步回归l10 综合实例:牙
2、膏的销售量综合实例:牙膏的销售量l11 综合实例:投资额与国民生产总值和物价指数综合实例:投资额与国民生产总值和物价指数 例例1: 水泥凝固时放出的热量水泥凝固时放出的热量y与水泥中与水泥中4种化学成分种化学成分x1、x2、x3、 x4 有关,今测得一组数据如下,试确定一个有关,今测得一组数据如下,试确定一个 线性模型线性模型.1.线性关系是否显著?线性关系是否显著?2.当当x=(8,30,10,10)时,时,95%的可能的可能y落在哪个区间落在哪个区间?3.是否是否4种化学成分都对释放的热量有显著影响?种化学成分都对释放的热量有显著影响?4.y还受其他因素影响吗还受其他因素影响吗? 如如x1
3、*x2, yt-1,xt-10 引例引例l为了可以使用普通最小二乘法进行参数估计,需对为了可以使用普通最小二乘法进行参数估计,需对模型提出若干基本假设模型提出若干基本假设 :(1)随机误差项服从随机误差项服从0均值、同方差的正态分布均值、同方差的正态分布: (2)随机误差项在不同样本点之间是独立的随机误差项在不同样本点之间是独立的,不存在序列相不存在序列相关关: (3)随机误差项与解释变量之间不相关随机误差项与解释变量之间不相关: 1 1多元线性回归多元线性回归多元线性回归多元线性回归称为回归平面方程回归平面方程. 解得2 参数的最小二乘估计参数的最小二乘估计 ()F检验法检验法()r检验法检
4、验法(残差平方和)残差平方和)3 线性关系的显著性检验线性关系的显著性检验3 线性关系的显著性检验线性关系的显著性检验记:记:回归平方和:回归平方和:残差平方和:残差平方和:则线性关系不显著,反之显著。则线性关系不显著,反之显著。若若=2677.9=47.86(1)点预测)点预测(2)区间预测)区间预测4 预测预测残差平方和:残差平方和:4 预测预测在未知点在未知点 的点预测为:的点预测为: 而而y的置信水平的置信水平1- 的区间预测为:的区间预测为: 其中:其中: (7,40,10,30)y=89.70(89.70-18.32, 89.70+18.32)l经常听到这样的说法,经常听到这样的说
5、法,“如果给定解释变量值,根据如果给定解释变量值,根据模型就可以得到被解释变量的预测值为模型就可以得到被解释变量的预测值为值值”。这。这种说法是不科学的,也是统计模型无法达到的。如果种说法是不科学的,也是统计模型无法达到的。如果一定要给出一个具体的预测值,那么它的置信水平则一定要给出一个具体的预测值,那么它的置信水平则为为0;如果一定要回答以;如果一定要回答以100%的置信水平处在什么区的置信水平处在什么区间中,那么这个区间是间中,那么这个区间是。l在实际应用中,我们当然也希望置信水平越高越好,在实际应用中,我们当然也希望置信水平越高越好,置信区间越小越好。如何才能缩小置信区间?置信区间越小越
6、好。如何才能缩小置信区间?(1)置信水平与置信区间是矛盾的。但可增大样本容量)置信水平与置信区间是矛盾的。但可增大样本容量n,使临界值,使临界值t减小。减小。(2)更主要的是提高模型的拟合优度,以减小残差平方和。)更主要的是提高模型的拟合优度,以减小残差平方和。设想一种极端情况,如果模型完全拟合样本观测值,残差设想一种极端情况,如果模型完全拟合样本观测值,残差平方和为平方和为0,则置信区间也为,则置信区间也为0。(3)提高样本观测值的分散度。在一般情况下,样本观测)提高样本观测值的分散度。在一般情况下,样本观测值越分散,值越分散,(XX)-1越小。越小。5 参数的区间估计参数的区间估计(假设检
7、验假设检验)记:记:故故bi的区间估计为:的区间估计为:则有:则有:若因素若因素xi不重要,则有不重要,则有bi=0,即上述区间包含,即上述区间包含0。l -99.1786 223.9893l -0.1663 3.2685l -1.1589 2.1792l -1.6385 1.8423l -1.7791 1.49105 逐步回归逐步回归(4)“有进有出”的逐步回归分析。(1)从所有可能的因子(变量)组合的回归方程中选择最优者;(2)从包含全部变量的回归方程中逐次剔除不显著因子;(3)从一个变量开始,把变量逐个引入方程;选择“最优”的回归方程有以下几种方法: “最最优优”的的回回归归方方程程就是
8、包含所有对Y有影响的变量, 而不包含对Y影响不显著的变量回归方程。 以第四种方法,即逐步回归分析法逐步回归分析法在筛选变量方面较为理想. 这个过程反复进行,直至既无不显著的变量从回归方这个过程反复进行,直至既无不显著的变量从回归方程中剔除,又无显著变量可引入回归方程时为止。程中剔除,又无显著变量可引入回归方程时为止。“有进有出有进有出”的逐步回归分析的逐步回归分析(组合优组合优化化) 从一个自变量开始,视自变量从一个自变量开始,视自变量Y作用的显著程度,从大作用的显著程度,从大到小地依次逐个引入回归方程。到小地依次逐个引入回归方程。 但当引入的自变量由于但当引入的自变量由于后面变量后面变量的引
9、入而变得不显著时,的引入而变得不显著时,要将其剔除掉。要将其剔除掉。 引入一个自变量或从回归方程中剔除一个自变量,为引入一个自变量或从回归方程中剔除一个自变量,为逐步回归的一步。逐步回归的一步。 对于每一步都要进行对于每一步都要进行Y值检验,以确保每次引入新的显值检验,以确保每次引入新的显著性变量前回归方程中只包含对著性变量前回归方程中只包含对Y作用显著的变量。作用显著的变量。b, bint,r,rint,stats=regress(Y,X,alpha)回归系数的区间估计残差置信区间6 matlab多元线性回归多元线性回归引例引例1的解的解1、输入数据:输入数据: x=143 145 146
10、147 149 150 153 154 155 156 157 158 159 160 162 164; X=ones(16,1) x; Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102;2、回归分析及检验:回归分析及检验: b,bint,r,rint,stats=regress(Y,X) 得到结果: b = bint = -16.0730 -33.7071 1.5612 0.7194 0.6047 0.8340 stats = 0.9282 180.9531 0.0000 即 ; 的置信区间为-33.7017,1.5612, 的置信区间为
11、0.6047,0.834; r2=0.9282, F=180.9531, p=0.0000。p0.05, 可知回归模型 y=-16.073+0.7194x 成立。 3、残差分析,作残差图:、残差分析,作残差图: rcoplot(r,rint) 从残差图可以看出,除第二个数据外,其余数据的残从残差图可以看出,除第二个数据外,其余数据的残差离零点均较近,且残差的置信区间均包含零点,这说明差离零点均较近,且残差的置信区间均包含零点,这说明回归模型回归模型 y=-16.073+0.7194x能较好的符合原始数据,而能较好的符合原始数据,而第二个第二个数据可视为异常点数据可视为异常点. (可以去掉该点重
12、新回归)(可以去掉该点重新回归)4、预测及作图:、预测及作图:z=b(1)+b(2)*x plot(x,Y,k+,x,z,r)注意,注意,matlab没有线性回没有线性回归的区间预测函数,需要归的区间预测函数,需要自己根据公式计算。自己根据公式计算。逐步回归的命令是: stepwise(x,y,inmodel,alpha) 运行stepwise命令时产生三个图形窗口:Stepwise Plot,Stepwise Table,Stepwise History. 在Stepwise Plot窗口,显示出各项的回归系数及其置信区间. Stepwise Table 窗口中列出了一个统计表,包括回归系数
13、及其置信区间,以及模型的统计量剩余标准差(RMSE)、相关系数(R-square)、F值、与F对应的概率P.矩阵的列数的指标,给出初始模型中包括的子集(缺省时设定为全部自变量)显著性水平(缺省时为0.5)自变量数据, 阶矩阵因变量数据, 阶矩阵7 matlab逐步回归逐步回归引例引例2: 水泥凝固时放出的热量水泥凝固时放出的热量y与水泥中与水泥中4种化学成分种化学成分x1、x2、x3、 x4有关,今测得一组数据如下,试用逐步回归法确定一个有关,今测得一组数据如下,试用逐步回归法确定一个 线性模型线性模型.1、数据输入:、数据输入:x1=7 1 11 11 7 11 3 1 2 21 1 11
14、10;x2=26 29 56 31 52 55 71 31 54 47 40 66 68;x3=6 15 8 8 6 9 17 22 18 4 23 9 8;x4=60 52 20 47 33 22 6 44 22 26 34 12 12;y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4;x=x1 x2 x3 x4;2、逐步回归:、逐步回归:(1)先在初始模型中取全部自变量:)先在初始模型中取全部自变量: stepwise(x,y)得图Stepwise Plot 和表Stepwise Table图图
15、Stepwise Plot中四条直线都是虚中四条直线都是虚线,说明模型的显著性不好线,说明模型的显著性不好从表从表Stepwise Table中看出变中看出变量量x3和和x4的显著性最差的显著性最差.(2)在图)在图Stepwise Plot中点击直线中点击直线3和直线和直线4,移去变量,移去变量x3和和x4移去变量移去变量x3和和x4后模型具有显著性后模型具有显著性. 虽然剩余标准差(虽然剩余标准差(RMSE)没)没有太大的变化,但是统计量有太大的变化,但是统计量F的的值明显增大,因此新的回归模型值明显增大,因此新的回归模型更好更好.(3)对变量)对变量y和和x1、x2作线性回归:作线性回归
16、: X=ones(13,1) x1 x2; b=regress(y,X)得结果:b = 52.5773 1.4683 0.6623故最终模型为:y=52.5773+1.4683x1+0.6623x2注意,注意,matlab没有线性回归的区间预测没有线性回归的区间预测函数,需要自己根据公式计算。函数,需要自己根据公式计算。问问题题建立牙膏销售量与价格、广告投入之间的模型建立牙膏销售量与价格、广告投入之间的模型 预测在不同价格和广告费用下的牙膏销售量预测在不同价格和广告费用下的牙膏销售量 收集了收集了30个销售周期本公司牙膏销售量、价格、个销售周期本公司牙膏销售量、价格、广告费用,及同期其它厂家同
17、类牙膏的平均售价广告费用,及同期其它厂家同类牙膏的平均售价 9.260.556.804.253.70307.930.055.803.853.80298.510.256.754.003.7527.38-0.055.503.803.851销售量销售量(百万支百万支)价格差价格差(元)(元)广告费用广告费用(百万元百万元)其它厂家其它厂家价格价格(元元)本公司价本公司价格格(元元)销售销售周期周期8 综合实例:牙膏的销售量综合实例:牙膏的销售量基本模型基本模型y 公司牙膏销售量公司牙膏销售量x1其它厂家与本公司其它厂家与本公司价格差价格差x2公司广告费用公司广告费用x2yx1yx1, x2解释变量解
18、释变量(回归变量回归变量, 自变自变量量) y被解释变量(因变量)被解释变量(因变量) 0, 1 , 2 , 3 回归系数回归系数 随机随机误差(误差(均值为零的均值为零的正态分布随机变量)正态分布随机变量)MATLAB 统计工具箱统计工具箱 模型求解模型求解b,bint,r,rint,stats=regress(y,x,alpha) 输入输入 x= n 4数据矩阵数据矩阵, 第第1列为全列为全1向向量量alpha(置信置信水平水平,0.05) b 的的估计估计值值 bintb的置信区间的置信区间 r 残差向量残差向量y-xb rintr的置信区间的置信区间 yn维数据向量维数据向量输出输出
19、由数据由数据 y,x1,x2估计估计 结果分析结果分析y的的90.54%可由模型确定可由模型确定 参数参数参数估计值参数估计值置信区间置信区间17.32445.7282 28.92061.30700.6829 1.9311 -3.6956-7.4989 0.1077 0.34860.0379 0.6594 R2=0.9054 F=82.9409 p=0.0000 0 1 2 3F远超过远超过F检验的临界值检验的临界值 p远小于远小于 =0.05 2的置信区间包含零点的置信区间包含零点(右端点距零点很近右端点距零点很近) x2对因变量对因变量y 的的影响不太显著影响不太显著x22项显著项显著 可
20、将可将x2保留在模型中保留在模型中 模型从整体上看成立模型从整体上看成立销售量预测销售量预测 价格差价格差x1=其它厂家其它厂家价格价格x3-本公司本公司价格价格x4估计估计x3调整调整x4控制价格差控制价格差x1=0.2元,投入广告费元,投入广告费x2=650万元万元销售量预测区间为销售量预测区间为 7.8230,8.7636(置信度(置信度95%)上限用作库存管理的目标值上限用作库存管理的目标值 下限用来把握公司的现金流下限用来把握公司的现金流 若估计若估计x3=3.9,设定,设定x4=3.7,则可以,则可以95%的把握知的把握知道销售额在道销售额在 7.8320 3.7 29(百万元)以
21、上(百万元)以上控制控制x1通过通过x1, x2预测预测y(百万支百万支)模型改进模型改进x1和和x2对对y的的影响独立影响独立 参数参数参数估计值参数估计值置信区间置信区间17.32445.7282 28.92061.30700.6829 1.9311 -3.6956-7.4989 0.1077 0.34860.0379 0.6594 R2=0.9054 F=82.9409 p=0.0000 0 1 2 3参数参数参数估计值参数估计值置信区间置信区间29.113313.7013 44.525211.13421.9778 20.2906 -7.6080-12.6932 -2.5228 0.67
22、120.2538 1.0887 -1.4777-2.8518 -0.1037 R2=0.9209 F=72.7771 p=0.0000 3 0 1 2 4x1和和x2对对y的影响有的影响有交互作用交互作用两模型销售量预测两模型销售量预测比较比较(百万支百万支)区间区间 7.8230,8.7636区间区间 7.8953,8.7592 (百万支百万支)控制价格差控制价格差x1=0.2元,投入广告费元,投入广告费x2=6.5百万元百万元预测区间长度更短预测区间长度更短 略有增加略有增加 x2=6.5x1=0.2 x1x1x2x2两模型两模型 与与x1, ,x2关系的关系的比较比较交互作用影响的讨论交互作用影响的讨论价格差价格差 x1=0.1 价格差价格差 x1=0.3加大广告投入使销售量增加加大广告投入使销售量增加 ( x2大于大于6百万元)百万元)价格差较小时增加价格差较小时增加的速率更大的速率更大 x2价格优势会使销售量增加价格优势会使销售量增加 价格差较小时更需要靠广告价格差较小时更需要靠广告来吸引顾客的眼球来吸引顾客的眼球