数据处理与试验设计

《数据处理与试验设计》由会员分享，可在线阅读，更多相关《数据处理与试验设计（101页珍藏版）》请在金锄头文库上搜索。

1、经验模型用于拟合实验数据时，由于函数上的任意性，必然给经验模型的应用带来局限性。,3. 非线性模型参数估计方法,在化学工程的许多领域中，研究者总是希望对系统的物理和化学现象进行深入的研究，在认识了过程的本质以后，通过合理简化，应用化学工程的一般原理，结合具体对象，可以推导出能够描述各变量之间关系数学表达式，即机理性数学模型。,机理性数学模型在函数形式上常常不再是线性的代数模型，而是非线性的代数模型、常微分模型或积分模型。,模型的参数代表明确的物理含义。这些物理参数数值的大小和正负符号，可以反映过程机理的一部分性质，这些参数本身也有一定的应用价值。,机理模型中的回归参数与经验模型中的回归参数有明

2、显的不同,经验模型中的回归参数一般无明确的物理含义，本身不单独起作用。,机理模型中的回归参数有明显的物理含义,利用机理模型与实验数据拟合，可以求得过程真实参数的估计值。在得到模型参数的估计值以后，便可利用模型预计各种条件下的观察变量值。作为模型化工作，常常需要研究参数的灵敏度或利用参数值考察某些特定问题，等等，这时就不仅要知道参数的估计值，而且还要知道参数估计值的置信区间。,例如在放热固定床反应器设计中要考虑热稳定性问题，需要通过动力学模型建立，得到活化能E的参数估计值，估计T=E/RT2，此时就不仅需要知道活化能E的估计值，而且应进一步研究它的置信区间，以便取得一个满意的设计。,本章着重介绍

3、非线性代数模型和常微分模型参数的估计，以及参数估计值的置信区域的计算方法。,当所得的机理模型是线性代数模型时，则可用第二章经验模型的处理方法进行。然而大部分机理模型是非线性的，因此，在用最小二乘方法估计模型参数时，所得到的模型对参数的一阶偏导数等于零的方程组并不是线性代数方程组，不能得到解析解。,第一步，根据误差等实际情况制定待定参数具有某种最佳性质的目标函数。 第二步，求这类目标函数取得极值(极大值或极小值)时的待定参数值。由于模型参数含有特定的物理意义，所以还要求出参数的置信区域。,3.2 模型的通式,例如在等温的恒容间歇反应器中进行动力学实验，反应系统是反应级数为一级的串联反应。,3.2

4、.1 代数模型的通式,在化学工程领域，有相当大的一类数学模型是由常微分方程组所构成的，它们同时描述了多个变量随时间(自变量的通称)的变化关系。,3.2.2 微分模型,C6H5C2H5 C6H5C2H3+H2 C6H5C2H5 C6H6+ C2H4 C6H5C2H5 + H2 C6H5CH3+CH4,例如，乙苯(EB)脱氢反应动力学模型的建立，实验是在一等温管式反应器内进行。在不同的乙苯进料流速下，实验测定苯乙烯(Sty)、苯(BZ)、甲苯(Tol)的摩尔浓度乙苯脱氢在惰性组分水蒸气存在下有如下三个主要反应：,其动力学模型方程为：,在活塞流模型假设下，根据物料恒算，则：,又例如，在一恒温恒容间歇

5、反应器中进行下列反应：,其反应动力学方程为：,3.3 参数估计的目标函数,参数估计就是寻求目标函数 最优时的一组具有某种最佳性质的参数值。,(1 ) 最小二乘估计准则 (2) 最大似然估计准则,多变量最小二乘估计取观察变量各实验点的残差加权平方和作为目标函数。代数模型和常微分模型的残差定义为观察变量实验值与计算值之差，即：,3.3.1 最小二乘法,直观上即可以看出，当模型正确时，残差j的大小不仅依赖于参数 的值，而且还取决于观察变量实验值本身的误差。因此，当模型正确，并且参数也是模型的真值时，则残差等于实验误差。总之，最佳的一种参数估计值不仅应该使残差小，而且应该使残差的分布与实验误差的分布相

6、当。,多维观察变量的目标函数应该是残差的加权平方和最小：,在同时处理m维观察变量时，由于实验设备、测定仪器和方法的不同，各物理量的测定质量也不同，即各物理量测定值的随机误差的方差是不相等的。,引入加权矩阵,例如： 在反应器性能测定中，同时测定温度T和转化率x 如果 T=2OC，x=0.03，,目标函数的值主要受温度产生的残差的影响。转化率一项产生的残差对目标函数的影响很不显著，其结果必然造成转化率一项参数变化十分不敏感。为了解决这一问题，可以采取加权的方法，并使权的值与实验误差方差成反比。,上一章已证明，当观察变量y的测定值相互独立，无系统误差存在，而且当参数 在模型中以线性形式出现时，由最小

7、二乘估计准则求得的参数估计值具有良好的统计性质，即具有无偏性和有效性(无偏性是指参数估计值的数学期望值等于参数真值，有效性是指参数的最小二乘估计值的方差比其它一切估计值的方差都小)。按这种方法得到的参数估计值 的数学期望值等于参数真值，并且具有最大的精密度。,但是，当参数在模型中以非线性形式出现，模型经过线性变换而成为线性模型，此时用线性最小二乘估计准则得到的参数值不再具有这种性质。,当实验误差较小时，两者得到的参数估计值相近，但当实验误差较大时，变换前后所得到的参数估计值会有明显不同。j是服从正态分布的，而变换后的j不再是正态分布了。,最大似然估计法是一种比较有效的参数估计准则，它可以从理论

8、上说明参数估计值的意义是什么，通过推导也可以了解它与最小二乘法之间的关系。,3.3.2 最大似然估计法,单个实验观察变量y，其误差方差为2：,当模型正确时，观察变量y的数学期望 ，因而模型参数 可以看作随机变量yj概率分布中的参数。如果各次测定互相独立进行，并且各观察变量y围绕模型值作正态分布，则对应于一组观察值(yl，y2，yM)，可以把它们看作一个随机样本。这一随机样本各个量共同出现的联合概率密度函数是：,联合概率密度是它们各自的概率密度的乘积，L称作似然函数,当 值和i值已知时，可以通过似然函数L的计算知道不同的样本(yl，y2，yM) 和(yl，y2，yM)中哪个样本有较大的概率。 当

9、已知，而 未知时，由于观察变量yi具有正态分布，它出现在它的期望值 附近时的概率最大，因此，可以求实测样本的似然函数最大值时的参数值 作为参数的估计值。,也就是说，当参数 取 时，样本(yl，y2，yM)共同出现时的概率为最大，即似然函数最大。由这种方法得到的参数估计法称最大似然估计方法， 也叫做最大似然估计值。,数学上可以证明最大似然估计值具有有效性，尽管最大似然估计一般不是无偏的，但它仍然被认为是参数估计方法中较优惠的种方法。应用最大似然估计方法需要知道观察的概率密度函数的形式，通常可认为观察变量y是服从正态分布的。,最大似然估计法,最小二乘法,当用最大似然估计法估计参数时，只要观测变量的

10、误差分布形式确定后，分布函数中的参数期望值即 中的模型参数 和误差方差可以同时被估计，而且可以不通过重复实验求得误差方差。当观测变量服从正态分布时，最大似然估计和最小二乘估计方法都是指使各观测值同时出现的概率最大，因此，两个方法是一致的。而对线性模型，不论观测值 服从何种分布，由最小二乘估计法得到的参数具有良好的性质，即无偏性和有效性。,多元函数求极值问题,3.4 非线性代数模型的最小二乘估计方法,一元函数f(x)求得极小的,充分条件,必要条件,满足上式 的记作 *，是函数 的一驻点。 称为函数 的梯度向量，因此可以说极小点的必要条件是梯度向量 =0。,多元函数取得极小的必要条件是对各自变量的

11、一阶偏导数等于零，即：,多元函数取极小的充分条件是多元函数 的二阶偏导数矩阵(Hessian矩阵)正定,根据多元函数 的梯度向量 可得到驻点，但驻点并不是极小点。要证明 其是极小点，必须证明Hessian矩阵正定，但这是一个很麻烦的问题。实际上在参数估计问题中，目标函数都是特殊的平方和形式，如果驻点存在，则驻点便是一个极小点。,高斯-牛顿法：基本思想是把非线性模型在初值点附近进行Taylor一阶展开，使原非线性模型线性化。将线性化模型代入目标函数便成为线性最小二乘问题，存在解析解，求出近似的非线性模型的最小值作为下一次线性近似的出发点。如此采用同样方法逐次线性化迭代求解。,(i=1,2,3,p

12、，和均是一个很小的正数),或,注：如果函数与线性函数差别不大，则上述迭代过程容易收敛到参数的最小二乘解。但如果与线性函数相差相当大，且远离极小，则迭代过程往往不能收敛到它的最小二乘解。,非线性问题的难点，并不是需要大量的反复计算，而是迭代过程发散。即当初值选择得不好时，Taylor展开的高阶项不能忽略，因而线性近似完全失真，用上述方法得到的新值可能比原来的更远离极小值，而且越迭代越糟糕。,迭代的收敛与发散，关键在于初值。而对于不少问题，要选取一个较好的初值又是困难的。,为了放宽对初值的依赖程度，D. W. Marquardt提出了一个改进方案。当线性方程组的系数矩阵呈病态时，矩阵求逆发生困难时

13、或不能实现时，D.W.Marquardt提出在矩阵的对角元上加上一阻尼因子d，可以取得良好效果。其迭代公式如下：,阻尼因子d 在迭代过程中能自动调节，当沿着高斯-牛顿方向迭代时，即目标函数 时，d可以取零或者很小的值得。仅当 时，才选取较大的d值以保证矩阵正定，使目标函数值下降。,Marquardt方法又称阻尼最小二乘法，在几何上的意义就是加上阻尼因子d以后，使迭代方向在高斯-牛顿方向和-g方向找到一个新的下降方向,d,d=d1,d=d2,d=0,阻尼因子d的几何意义,两种方法对初值的要求,3.5 常微分模型参数估计方法,采用类似于非线性代数模型最小二乘法同样的办法，解决常微分模型的参数估值问

14、题。取常微分模型参数估值的目标函数为：,3.5.1 高斯-牛顿法,.2 2 拟线性化法,3.6 用最优化方法解决参数估计问题,当参数估计的目标函数确定后，求取参数估计值的问题便转化为求相应目标函数最小值的问题。,当模型中的参数以非线性形式出现，或模型本身是常微分方程组时，参数的最小二乘估计值无解析解。除了用非线性最小二乘法外，也以用最优化方法在电子计算机上实现。,最优化方法中的迭代思想为：,沿着一系列一目标函数下降的方向,进行一维搜索,、,(1) 目标函数的下降量充分小，即：,或,实际计算时不能求得真正的极小点 ，常常是计算到符合下列判别准则之一即停止迭代计算。判别准则如下：,(2) 参数的改

15、变量充分小，即 和的 距离充分小:,(3) 梯度充分接近于零，即：,概括下降算法为以下四步： (1)估计初值；(2)选择方向；(3)一维搜索；(4)检验结果,在初始点确定后，只要知道方向和步长，下一点的 值就可求得。有的方法中步长是任意给定的，有的则要求最优步长。当下降方向公式确定后，从 点出发，在 方向上求极小值 问题的迭代公式可写作：,在 方向上找极小点称一维搜索，式中t为一维搜索的步长。常用的一维搜索法有进退法、对分法、黄金分割法、二次插值法、三次插值法等。,采用不同的下降方向产生各种最优化方法。根据加速收敛的下降方向求取方法的不同，可将最优化方法分为二大类。,直接法：直接法常是直接通过

16、比较目标函数值的大小来决定下降方向，不需要计算方向导数。 导数法：导数法中的下降方向的选择与该点方向导数的信息有关。,这种区分并不是十分严格的，因为在导数法中用微商来代替导数的近似值，也可以看作可求导数的直接法。,3.6.1 最速下降法,从直观看，负梯度方向是一种理想的搜索方向，最速下降法是一种理想的最优化方法，但这仅是一种假象。仅仅是在初始 处才具有这种局部的最速下降性质，而对整个极小化过程来说，它却是以较慢的收敛速度进行的。,最速下降法收敛示意图,梯度法下降途径呈锯齿形前进，仅第一，二步较快，以后就很慢。当等高线为椭圆形时，长轴与短轴之间比较大，则收敛速度就更慢。因此，最速下降法常不单独使用，而与其它