回归实验设计课件

《回归实验设计课件》由会员分享，可在线阅读，更多相关《回归实验设计课件（123页珍藏版）》请在金锄头文库上搜索。

1、第四章 回归设计,4.1 回归设计的基本概念 4.2 一次回归正交设计 4.3 二次回归的中心组合设计 4.4 二次回归正交设计 4.5 二次回归旋转设计,4.1 回归设计的基本概念 回归设计（也称为响应曲面设计） 目的是寻找试验指标与各因子间的定量规律， 考察的因子都是定量的 。 它是在多元线性回归的基础上用主动收集数据的方法获得具有较好性质的回归方程的一种试验设计方法。 本章主要介绍Box的回归设计方法及其应用，并假定读者已具有多元线性回归分析的基础知识。为了符号上的统一 ，在7.1.2中列出了回归分析中的主要公式。,4.1.1 多项式回归模型 在一些试验中希望建立指标y与各定量因子 （又

2、称变量） 间相关关系的定量表达式，即回归方程，以便通过该回归方程找出使指标满足要求的各因子的范围 。 可以假定 y与 间有如下关系： 这里 是 的一个函数，常称为响应函数，其图形也称为响应曲面； 是随机误差，通常假定它服从均值为0，方差为 的正态分布。 在上述假定下， 可以看作为在给定 后指标的均值，即,称z 的可能取值的空间为因子空间。我们的任务便是从因子空间中寻找一个点z0 使E(y)满足质量要求。 当f的函数形式已知时，可以通过最优化的方法去寻找z0 。在许多情况下f的形式并不知道，这时常常用一个多项式去逼近它，即假定：,这里各 为未知参数，也称为回归系数，通常需要通过收集到的数据对它们

3、进行估计。 若用 表示相应的估计，则称,为y关于 的多项式回归方程。,在实际中常用的是如下的一次与二次回归方程（也称一阶与二阶模型）：,一般p个自变量的d次回归方程的系数个数为,4.1.2 多元线性回归 (7.1.1)是一个多项式回归模型，在对变量作了变换并重新命名后也可以看成是一个多元线性回归模型。 1回归模型 设所收集到的n组数据为 假定回归模型为：,记随机变量的观察向量为 未知参数向量为 不可观察的随机误差向量为 结构矩阵 那么上述模型可以表示为：,或,2回归系数的最小二乘估计 估计回归模型中回归系数的方法是最小二乘法。 记回归系数的最小二乘估计（LSE）为 ，应满足如下正规方程组： 当

4、 存在时，最小二乘估计为 在求得了最小二乘估计后，可以写出回归方程： 今后称 为正规方程组的系数矩阵， 为正规方程组的常数项向量， 为相关矩阵。 在模型（7.1.5）下，有,若记 ，那么,在通常的回归分析中，由于C非对角阵，所以各回归系数间是相关的：,3对回归方程的显著性检验 对回归方程的显著性检验是指检验如下假设： H0： H1： 不全为0 检验方法是作方差分析。 记 则有平方和分解式 其中 为残差平方和，自由度为 为回归平方和，自由度为 当H0为真时，有 对于给定的显著性水平 ，拒绝域为 。,若记p+1维向量 ，那么,4失拟检验 当在某些点有重复试验数据的话，可以在检验回归方程显著性之前，

5、先对y 的期望是否是 的线性函数进行检验，这种检验称为失拟检验，它要检验如下假设： H0： H1： 当在 上有重复试验或观察时，将数据记为 其中至少有一个 ，记 。此时残差平方和可进一步分解为组内平方和与组间平方和，其中组内平方和就是误差平方和，记为 ，组间平方和称为失拟平方和，记为 ，即：,，,，,，,，,检验统计量为 在H0为真时， ，对于给定的显著性水平 ，拒绝域为 当拒绝H0时，需要寻找原因，改变模型，否则认为线性回归模型合适，可以将Se与SLf合并作为SE检验方程是否显著。,其中,5对回归系数的显著性检验 当回归方程显著时，可进一步检验某个回归系数是否为0，也即检验如下假设： 此种检

6、验应对j=1,2, p逐一进行。 常用的检验方法是t检验或等价的F检验，F检验统计量为： 其中 是 中的第j+1个对角元。 记分子为 ，即 ，它是因子 的偏回归平方和 分母是模型中 的无偏估计。 ， 也称为 的标准误，即其标准差的估计。,当H0j为真时，有 。 给定的显著性水平 ，当 时拒绝假设H0j，即认为 显著不为零，否则可以将对应的变量从回归方程中删除。 注：当有不显著的系数时，一般情况下一次只能删除一个F值最小的变量，重新计算回归系数，再重新检验。通常要到余下的系数都显著时为止。,4.1.3 回归分析对数据的处理由被动变主动 古典的回归分析方法只是被动地处理已有的试验数据，对试验的安排

7、不提任何要求，对如何提高回归方程的精度研究很少。 后果： （1）盲目增加试验次数，而这些试验结果还不能提供充分的信息，以致在许多多因子试验问题中达不到试验目的。 （2）对模型的合适性有时无法检验，因为在被动处理数据时在同一试验点上不一定存在重复试验数据。 为了适应寻求最佳工艺、最佳配方、建立生产过程的数学模型等的需要，人们就要求以较少的试验次数建立精度较高的回归方程。,为此，要求摆脱古典回归分析的被动局面，主动把试验的安排、数据的处理和回归方程的精度统一起来考虑，即根据试验目的和数据分析的要求来选择试验点，不仅使得在每一个试验点上获得的数据含有最大的信息，从而减少试验次数，而且使数据的统计分析

8、具有一些较好的性质。 这就是二十世纪五十年代发展起来的“回归设计”所研究的问题。 回归设计的分类： 根据建立的回归方程的次数不同，回归设计有一次回归设计、二次回归设计、三次回归设计等； 根据设计的性质又有正交设计、旋转设计等。 本章仅介绍一次回归的正交设计与二次回归的组合设计（包括正交设计与旋转设计）。,4.1.4 因子水平的编码 在回归问题中各因子的量纲不同，其取值的范围也不同，为了数据处理的方便，对所有的因子作一个线性变换，使所有因子的取值范围都转化为中心在原点的一个“立方体”中，这一变换称为对因子水平的编码。 方法如下： 设因子 的取值范围为： ， 与 分别称为因子 的下水平与上水平。

9、其中心也称为零水平： ， 因子的变化半径为 ， 令 ， 此变换式就称为“编码式”。,例4.1.1 为提高某橡胶制品的撕裂强度，考察橡胶中某成分的百分比、树脂成分的百分比及改良剂的百分比三个因子对其的影响，这三个因子的取值范围分别为： 对其作编码，令 通过上述变换后，编码空间为中心在原点的立方体，其边长为2。 在后面我们将会看到，在编码时，有时立方体的边长可以大于2。,今后称x 的可能取值的空间为编码空间。我们可以先在编码空间中寻找一个点x0使E(y)满足质量要求，然后通过编码式寻找到z0。,4.2 一次回归正交设计 4.2.1 一次回归正交设计 建立一次回归方程的回归设计方法有多种，这里介绍一

10、种常用的方法，它是利用二水平正交表来安排试验的设计方法。 其主要步骤如下： 1确定因子水平的变化范围 设影响指标y的因子有p个 ，希望通过试验建立y关于 的一次回归方程，那么首先要确定每个因子的变化范围，设因子 的取值范围为： ， 这里 与 分别是因子 的下水平与上水平。,2对每一因子的水平进行编码 记因子 的零水平为 其变化半径为 那么采用如下编码式，即 ， 对因子的水平进行编码，常列成如下的因子水平编码表：,3选择适当的二水平正交表安排试验 在用二水平正交安排试验时，要用“-1”代换通常二水平正交表中的“2”，以适应因子水平编码的需要。这样一来，正交表中的“1”与“-1”不仅表示因子水平的

11、不同状态，也表示了因子水平的数量大小。经过这样的代换后，正交表的交互作用列可以由表中相应列的对应元素相乘得到，从而交互作用列表也不需要了。 表4.2.2就是一张代换后的L8(27)，与原来的正交表没有本质区别，仍然用L8(27)表示。,表的选择仍然同正交设计一样，既要考虑因子的个数，有时还要考虑交互作用的个数。,在改造后的正交表中，若用 表示第i号试验第j个因子xj的取值，那么 称具有上述性质的设计称为正交设计。,4.2.2 数据分析 在一次回归的正交设计中记第i号试验结果为yi，i=1,2,n，此时我们假定的模型是 我们要建立y关于 的一次回归方程 可采用回归分析中的最小二乘估计去估计各个回

12、归系数，并对回归方程及回归系数进行显著性检验，最后给出回归方程。在一次回归的正交设计中有关计算十分简单，可以用列表的方法完成。,1.求回归系数的估计 用最小二乘估计求回归系数的估计。 结构矩阵,由于X中的元素不是1就是-1，所以每列元素的平方和为n，又考虑到此为正交设计，故正规方程组的系数矩阵为对角阵：,从而,又记 ，其中,那么回归系数的最小二乘估计为,即,由于C是对角阵，所以各回归系数间不相关。这将为回归方程与系数的检验带来方便，并且在删除变量后回归系数不需重新计算。具体计算可以列表进行（见表7.2.2）。,2回归方程的显著性检验 对回归方程的显著性检验的统计量是 其中 考虑到 ，故 具体计

13、算与检验见表7.2.3与表7.2.4。,3回归系数的显著性检验 可以采用统计量 检验 是否为零。 其分母是 的无偏估计 分子是 的偏回归平方和，记为 那么 注意到回归平方和的计算公式，有 具体计算与检验见表7.2.3与表7.2.4。,例4.2.1 硝基蒽醌中某物质的含量y与以下三个因子有关： z1：亚硝酸钠（单位：克） z2：大苏打（单位：克） z3：反应时间（单位：小时） 为提高该物质的含量，需建立y关于变量z1，z2，z3的回归方程。 1试验设计 （1）确定因子取值范围，并对它们的水平进行编码 本例的因子水平编码见表4.2.5。 表4.2.5 因子水平编码表 因子 水平 编码值 z1 z2

14、 z3 上水平 +1 9.0 4.5 3 下水平 -1 5.0 2.5 1 零水平 0 7.0 3.5 2 变化半径j 2 1 1,（2）利用二水平正交表安排试验 本例有三个因子，即p=3，为今后可能需要考察因子间的交互作用方便起见，因此选用L8(27)，将三个因子分别置于第一、二、四列上，从而可得试验计划，并按计划进行试验。试验计划及试验结果见表7.2.6。,2数据分析 本例的计算见表4.2.7，有关方程与系数的检验见表4.2.8。在本例中n=8。,根据表4.2.7，可以写出y关于x1,x2,x3的回归方程为： 若取显著性水平为0.05，有 ，由于F6.59，所以上述求得的回归方程是有意义的。 在显著性水平为0.05时， ，由表4.2.8知因子x2不显著，其它因子显著。,在正交回归设计中，当某一变量不显著时，可以直接将它删去，此时不会改变其它的回归系数，也不会改变这些变量的偏回归平方和，这是正交回归设计的一个优点。 现在将x2从回归方