《数据分析建模方法(上)建立数学模型是为了利用它有效地分析`演示课件》由会员分享,可在线阅读,更多相关《数据分析建模方法(上)建立数学模型是为了利用它有效地分析`演示课件(16页珍藏版)》请在金锄头文库上搜索。
1、1,第七章 数据分析建模方法(上),建立数学模型是为了利用它有效地分析、 解决现实问题, 真实世界的背景不容忽视.,通过观察、测量等手段收集的数据来自于现实世界, 带有我们关注的研究对象的大量信息.,数据作用于模型的形式:,建立数学模型的初始研究阶段,对数据的分析有助于寻求变量间的关系;,2,部分模型完全建立 在数据的基础上.,如数据拟合 以及经验模型,2.利用数据来估计模型中出现的参数值, 称 为模型参数估计.,3.利用数据进行模型检验,通常用实际数据 与模型运算出的相应理论值进行比较.,数据是建立数学模型的重要依据!,3,7.1 数据的收集与整理,各种类型的数据为我们认识事物的内在规律、研
2、 究事物之间的关系、预测事物今后的可能发展等一 系列问题, 提供了丰富的材料和科学依据.,如何收集、整理和分析数据,挖掘有用结果?,着手建立模型时, 关于数据需考虑以下问题:,4,1. 需要哪些以及何种形式的数据?,2.如何去获得数据? 怎样表达数据?,3. 如何对数据进行整理、分析?,获取方式,图书馆文件检索,网上资料检索,询问相关部门人员,试验、观察并记录,5,例1 开水房拥挤成因分析数据采集 有人想分析出一所大学开水房拥挤的原因, 并提出解决方案.,在连续一周的中午11:4012:20进行实地观 测,得到开水房人到达情况的数据,表1 每10秒到达人数及相应频数,猜测可能是管道阻塞造成拥挤
3、,记录下两组 数据,用于比较分析.,6,表2 管道通畅时顾客打水时间及相应频数,表3 管道阻塞时顾客打水时间及相应频数,7,*需要什么形式的数据, 与建模目的和所选择的模型的特点有关.,分析数据就初步可找到开水房拥挤的原因.,例2 渡口模型数据性质,船主收集到的有一组数据是:需要摆渡的车辆中“平均40的车为轿车,55的车为卡车,5的车为摩托车.”,8,*收集数据并非多多益善 ,要善于剔除冗余数据.,平均值更具有代表性,更如实地反映了渡口 的实际情况,其中“平均”两字至关重要,因一次摆渡 各类车所占百分比是无意义的.,需做较多次数的观察得到一大批数据,并求 相应的平均值得到上述数据.,9,用数学
4、模型描述现实问题,模型中参数的估计、模型的求解以及模型的合理性很大程度取决于数据的准确可信.,实验数据中总存在实验误差,在建模工作的各个环节,实验数据误差都可能造成失之毫厘, 谬之千里的失误.,10,实 验 误 差,随机误差,系统误差,过失误差,由一系列偶然因素引起的 一类不易控制的测量误差.,实验观察过程中服从确定性 规律的误差.,明显歪曲实验结果的误差.,无法避免, 可增加试验次数, 取算术平均 来减小.,不能通过增加实验次数求算术平均值来消除. 可用一定方法识别、消除.,可以识别、并加以处理.,11,* 在实验数据中, 三类实验误差常常同时 错综复杂的存在着.,控制实验数据的质量,整理实
5、验数据,消除实验误差,重要工作,方法:,1. 用统计检验方法检验出异常数据;,参见电子科大概率论与数理统计p192 “统计数据中异常值的检验”.,12,3. 根据经验和实际背景知识做出实验数据的检查修正, 异常数据的舍弃处理.,2. 尽可能寻找产生异常点的技术上或物理上的原因, 作为处理异常值的依据.,例3 施肥效果分析,某地区作物生长所需的营养素主要是氮(N)、钾(K)、磷(P).某作物研究所在某地区对土豆与生菜做了一定数量的实验,实验数据如下列表所示,其中ha表示公顷,13,t表示吨,kg表示公斤.当一个营养素的施肥量变化时,总将另两个营养素的施肥量保持在第七个水平上,如对土豆产量关于 N
6、的施肥量做实验时,P与 K的施肥量分别取为 196kgha与372kgha.,试分析施肥量与产量之间关系,并对所得 结果从应用价值与如何改进等方面做出估 价.,14,N P K,15,经查阅农业资料可知:,2)在一定范围的磷施肥量可以促使土豆产量增长,过多的施磷肥对土豆产量不起作用.,1)氮(N)的施肥量在一定范围内,土豆产量随施肥量的增加而增长,施肥量超过一定范围后,土豆产量反而会降低.对氮施肥量一土豆产量的实验数据进行分析,可认为其中没有明显的异常点.,16,可以认为y(0)、y(24)是病态数据,并可取y(0)与y(49)的一次线性插值,来取代.,记 x为磷施肥量,y(x)为土豆产量,磷施 肥量土豆产量实验数据中有,