数据分析及DPS数据处理系统

《数据分析及DPS数据处理系统》由会员分享，可在线阅读，更多相关《数据分析及DPS数据处理系统（128页珍藏版）》请在金锄头文库上搜索。

1、数据分析及DPS数据处理系统1 1主要参考资料 试验应用统计：设计、创新和发现 ，第2版，George E. P. Box等著， 张润楚等译，机械工业出版社， 2010 试验的设计与分析：王万中主编， 高等教育出版设，2004. 试验设计与分析及参数优化，吴建 福(美)等著(张润楚等译)，中国统计 出版社，2003DPS数据处理系统-实验设计、统计分析及数据挖掘, 第2版，唐启义著，科学出版社，20102 2实验设计优化与DPS3 3DPS开发背景开发背景上世纪80年代以来，很多单位都着手编写统计分 析程序，但随着时间的推移，绝大多数程序由于算法落 后、数据格式规范性差、输出格式零乱、缺乏完整

2、性而 被淘汰。目前，国外大型统计软件，如SAS、 SPSS等占 优势。这从短期效应来看，引进国外软件，有利国内科 研对数据处理需求。但从长期看，特别是从知识产权来 讲，依赖于国外软件需要昂贵的费用支持。如在SAS平 台上开发的程序，由于摆脱不了SAS的环境，难在国内 推广应用。因此，研制、推广适合国内需要的统计软件，是 势在必行的事；我们通过近20多年的努力，开发成功 了功能完整的DPS数据处理系统，其功能已接近 、SPSS的水平。4 4 1988年开始，历时10年，1997年推出DOS版本第1 版，同时出版配套专著第1版(4000册)； 1998年完成Window版(第2版)，2002年和2

3、007年分 别出版配套专著3000册；2010年再次出版配套专著 3500册（165万字)；目前软件版本12.01版。DPS数 据处理 系统开 发历程5 5出版教材：唐启义DPS数据处理系统实验设计、统计分析及 数据挖掘第2版， 科学出版社，2010年。 唐启义 冯明光DPS数据处理系统实验设计、统 计分析及数据挖掘 科学出版社，2007年。唐启义 冯明光实用统计分析及其DPS数据处理系 统 科学出版社，2002年。唐启义 冯明光实用统计分析及其计算机处理平台 中国农业出版社，1997年。6 6DPS数据处理系统实验设计、统计分析及数据挖掘7 7DPS用户界面与数据接口8 89 9DPS功能特

4、色实验设计：均匀设计混料实验设计 统计分析：动态聚类分析因子分析模型统计检验与评价1010DPS的应用 用户数已超过10000； 遍及国内各个省市，包括港、台，各个行 业和领域； 美国宾州大学林共进博士的实验室用于工 业实验设计（大样本实验设计）； 成为赴国外攻读博士、或访问学者的工具 。1111DPS使用(类似Excel电子标的操作)1212数据统计分析基本步骤 (1) 将数据输入到DPS的电子表格里。数据 一般是一行为一个记录(样本)，一列一个指 标（变量）。 (2) 用鼠标选中待分析的数据。 (3) 进入菜单选择相应的统计功能项。 (4) 系统对选中的数据进行分析，并将分析 结果返回到另

5、一电子表格。131314141515某县植保站，调查4个水稻品种上稻纵卷叶螟卷叶率(%) ,结果列于下表。水稻 品种卷叶率（%）合计 平均A131.927.931.828.435.9155.9 31.18 A224.825.726.827.926.2131.4 26.28 A322.123.627.324.925.8123.7 24.74 A427.030.829.024.528.5139.8 27.96 合计=550.81616数据转换：如数值相 差几个数量级，可用 对数转换;如许多小区 值为0，则可用平方根 转换;如指标是百分数, 且大部分数值大于70 或小于30，可用 反正弦平方根转换。

6、一般用Tukey法和 LSD法。但注意：目 前国内目前的农药实 验要求Duncan 法。17171818学会思考 在您目前从事或涉及到的研究领域，在实验设 计或进行数据分析时，您最有可能碰到哪些统 计学方面的问题？ 在试验设计与数据处理分析中，您有可能用到 工具软件（如DPS）中的哪些功能、或数据分 析方法来解决您的问题，以及使用这些方法时 的注意事项。 1919实验设计与统计分析202021211 实 验 设 计 实验设计特点 实验设计基本原则 实验设计基本内容和步骤 常用实验设计方法22221、实验设计Experiment Design 的特点 试验研究和调查研究主要区别：对研究对象 是否

7、进行干预。 试验研究特点：根据研究目的(或假设)主动 加以干预措施，观察结果，回答研究假设所 提出的问题。2323实验研究(例子) 新农药防治某作物害虫的效果 首先假设该农药可以杀死害虫。 在田间划分几个随机区组，区组内随机设置小区， 必要时各个小区接入害虫卵块。 将农药配制成不同的浓度，再加一个空白(清水)对 照。在害虫防治适期施药、处理。 处理(施药)后24小时、72小时、，调查各个小区 的虫量(观察指标)，并对数据进行方差分析，看各 处理间有无显著差异，进而得出该农药是否具有对 该害虫防治效果的结论。从该例中可以看出研究者施加了干预措施 ，即施用不同浓度的农药。再经过观察总结 ，验证提出

8、的假设是否正确。 24242、实验设计基本原则随 机 对 照 重 复目的是为有效控制非处理因素25252.1 随机化原则 目的：研究者在实验设计时，并不完全知道实验过 程中的许多非实验因素，随机误差干扰在所难免， 因此有必要采用随机化的办法抵消这些干扰因素的 影响。 随机化原则包括两方面 随机分配：把实验处理对象随机分到各个区组 内，以增强可比性(区组内小区随机设置)。 随机抽样：总体中的每一个观察单位都有同等 的机会被选入到样本中来(如实验结果的调查)。26262.2 对照原则设置对照小区，除实验处理不同外 ，实验过程中的实验条件和辅助措施 都应相同，以便比较所研究对象存在 的真实差异。 抵

9、消害虫、病害自身消长趋势的影 响 抵消实验环境的其它因素的干扰 2727常见的对照空白对照(如农药药效实验中用清水处理，重金属元素检测的空白处理) 标准对照(如农药药效实验中的标准农药品种)2828例子: 复配农药防治一代 二化螟的单因素随机区组设计单因素随机区组设计29292.3 重复的原则 是指各处理组及对照组的重复要有一定数 量。 重复数太少的话，很可能把某些偶然现象 当作客观规律。 重复数太多的？人力物力浪费。 在保证实验结果具有一定可靠性的条件下 ，确定合适的重复(区组)数量。30303 实验设计的基本内容和步骤 建立研究假设（提出要解决的问题 ） 明确研究范围（受试对象） 确立处理

10、因素（处理因素） 明确观察指标（实验效应） 控制误差和偏倚(区组设计)31313.1 建立研究假设科研选题：研究的题目要有科 学性和新颖性、社会效益和经济 效益、最后要考虑可行性。32323.2 明确研究范围 实验中的三个基本要素为：处理因素、实验效 应和受试对象。明确研究范围即： 受试对象所组成的研究总体 规定本次研究的总体范围 如研究病虫为害对作物产量影响，首先确定作 物产量的考察标准以及计量方法，然后根据研 究需要，选定实验田块安排实验，确定实验处 理因素(不同的害虫密度梯度设置)，使得实验 效果清晰、明了。3333实验设计的基本要素例如： 用某种 杀虫剂 防治 作物害虫，观察其 虫口数

11、量下降情况。 基本要素： 处理因素（杀虫剂）受试对象（作物害虫）实验效应（虫口数量下降）34343.3 确定处理因素 处理因素是根据研究目的而施加的特定实验 措施(如农药药效实验种的不同农药浓度)。 为了增强可比性，实验通常设立对照，如空 白或者标准。对照也是一种处理措施。 35353.4 明确观察指标 实验中的实验效应主要指处理因素作用于 实验对象的反应，这种效应将通过实验中 观察指标显示出来。选用的指标应该是：客观性强（易观察，可量可测，操作性强） 灵敏度高（对各个处理的反应要灵敏） 精确性强（要反应研究对象的实质，不受或少 受其它因素的影响）36363.5 控制误差和偏倚误差（error

12、）：测量值与真值之差1，5，9 = 5 (真正均值5) 偏倚（bias）：在实验中由于某些非实验因素的干扰 所形成的系统误差4，5，9 = 6 (真正均值5)3737 完全随机实验 随机区组设计 裂区实验设计 正交设计 二次正交回归组合设计 均匀实验设计4 常用实验设计方法3838常用 试验设计完全随机 设计随机区组 设计裂区设计样本容量 估计随机分组方差分析多重比较局部控制随机分 处理方差分析多重比较主区裂区方差分析正交设计水平数5正交表 安排方差分析均匀设计均匀表 安排线性回归 分析多项式逐 步回归模型优化正交回归 组合Mc+Mr+M0二次多 项式回归模型优化水平数539394.1 完全随

13、机实验概念：首先将受试对象随机分配到实验(处理) 组和对照组，通过比较分析回答研究假设。 统计方法 成组设计的两样本均数比较(t检验)，相应的秩 和检验(非参数检验) 成组设计的多个样本均数比较(方差分析),相应 的秩和检验(非参数Kruskal Wallis检验) 两样本率(卡方检验)或多样本率比较(Logistic 回 归)4040完全随机设计的 随机分配方法 使用随机数字表 DPS生成：如3个处理，5次重复，共 15个实验处理(样品)的实验：4141分配结果分组对象编号甲组1791014乙组58111315丙组2346124242实验结果分析：方差分析 假定该实验是甲组是对照，乙组和丙组

14、 是不同微量元素处理的盆栽实验，实验 指标是植株鲜重，问不同处理的植株鲜 重是否不同？13 3 . 812 5 . 314 3 . 112 8 . 913 5 . 7 15 1 . 214 916 2 . 714 3 . 815 3 . 5 19 3 . 418 5 . 318 2 . 818 8 . 519 8 . 64343完全随机设计实验结果 方差分析数据格式在菜单下执行“实验统计”-“完全随机 设计”下面的“单因素实验统计分析”。4444数据转换：如数值相差几 个数量级，可用对数转换; 如许多小区值为0，则可用 平方根转换;如指标是百分 数,且大部分数值大于70 或小于30，可用反正弦

15、 平方根转换。一般用Tukey法和LSD 法。国内目前的农药实验 要求Duncan 法。45454646 数据描述：均值和标准差是必须的， 处理样本数也要说明。 方差分析：F值、自由度和P值；如 P“随机区组 设计”下面的“单因素实验统计分析”。5858数据转换：如数值相差几 个数量级，可用对数转换 ;如许多小区值为0，则可 用平方根转换;如指标是 百分数,且大部分数值大 于70或小于30，可 用反正弦平方根转换。一般用Tukey法和LSD 法。但注意：目前国内目 前的农药实验要求 Duncan 法。5959结果描述及数据分析与完全随 机实验设计相同，就当是区组间那 一行不存在6060基数的调整？ 原始观察值：协方差分析 相对防治效果6161实验中缺掉12个处理小区怎么办？ 一般线性模型在方差分析中的应用。6262实际例子6363执行“实验统计”-“一般线性模型GLM”分析在“可供分析变异来源”列表框中先选“B”,点击”,再选“A”,点击 ”,将这两项加入到右边。并选I型平方和分解。多重比较方 法，这里选”Duncan”法，然后点击”OK”即可输出结果。646465654.3 两因素随机区组设计 问题提出：不同农药或某农药不同浓度，在不 同时期或不同施药技术情况下对病虫的防治效 果。 一般情况:两因素随机区组设计。 特殊情况:植保农药实验，加上施药时期、施药 技术