过程回归建模综述摘要：工业生产中常常需要对某些难以直接测得或者测量成本很高的变量进行软测量建模目前已经有许多软测量建模方法，包括机理，数据驱动以及这两者的结合本文则从其中一种软测量建模方法——回归建模出发，介绍了几种常见的回归建模方法，简单分析其原理并简要简绍它们的一些应用关键字：软测量，建模，回归引言在过程控制中，若要使生产装置处于最佳运行工况、实现卡边控制、多产高价值产品，从而提高装置的经济效益，就必须要对产品质量或与产品质量密切相关的重要过程变量进行严格控制[1]由于工业生产中装置是不断运行的，生产产品的浓度、质量等指标是动态变化的，利用一些传感器，不仅成本较高，并且由于一定的滞后性，导致最后不能精确监测生产过程中的一些指标，难以满足生产需求除此之外，许多复杂的化工过程中往往不能使用传感器来对某一变量进行直接测量例如化工生产过程中，精馏塔产品组成成分，塔板效率，干点、闪点等；一些反应器中不断变化的产品浓度，转化率以及催化剂活性等等[1]这就使得软测量技术被提出并不断发展起来回归分析是建模的一种基本方法，在软测量建模中应用相当广泛[2-9]常用的方法有部分最小二乘回归法(PLSR)、多元线性回归(MLR)、多元逐步回归法(MSR)、主元回归法(PCR)等。
本文将简略介绍以上几种回归建模的方法以及它们的应用，并进行各自方法的特点、优势进行简单分析1 软测量和回归分析的关系所谓软测量技术，就是将不可测变量（称为主导变量）进行间接测量，通过建立与之相关系的其他变量（辅助变量）之间的数学关系模型，进行的估计这类方法响应迅速，实时性好，可靠性高它可以很好的解决变量不可测量的问题，也为对生产过程的监测控制节省了大量成本软测量的应用范围很广，它最原始和最主要的应用都是有关对过程变量的预测，而这些变量可以通过低频率采样或者离线分析确定同时，这些变量经常涉及到过程输出的品质，对于过程的分析和控制显得尤为重要由于这些原因，如何在高采样频率或者低成本的情况下利用适当的软测量建模方法来获得过程变量的信息是非常重要的目前软测量建模也发展出多种方法[10]，各自都有其优缺点，选择适当的软测量建模方法，对工业生产具有很大意义回归分析是统计数学的一个重要分支，在实验数据处理中又称为“曲线拟和”回归分析有多种形式，按因变量和自变量是否存性关系可分为线性回归(Linear Regression)和非线性回归(Nonlinear Regression)；按自变量的个数又可分为一元回归(Single Regression)和多元回归(Multiple Regression)。
同时，回归分析也是一种建模方法，是数据驱动类软测量的一种2 多元回归分析2.1 基本原理MLR(Multiple Linear Regression)多元线性回归问题能够阐述为m个变量与一个变量之间的线性关系它的数学表示为： （2-1） （2-2） （2-3）上式中，为自变量，为自变量和分别为回归系数和残差数以上式子只描述了存在一个样本的情况，如果有n个样本，那么可以写成一个列向量，b不变，向量能写成矩阵的形式 （2-4）当自变量的个数大于样本的个数，式中的b有无穷多个解当变量的个数等于样本的个数，这种情况在现实中很少见尽管如此，在X满秩的前提下，b有唯一解此时，可以把公式写成：，其中e称为残差向量，此时它为零向量当变量的个数小于样本的个数，此时，得不到b的准确解最常用的方法是采用最小二乘法，获得的解为：，但有可能会遇到逆不存在的情况2.2 MLR的应用用MLR建立的线性回归模型物理意义明确，计算简单。
因此它广泛应用于处理多因变量或多指标的回归分析、方差分析等统计分析问题文献[11]采用MLR的方法建模，对蒸馏装置常压塔的分子筛料干点的软测量进行了仿真试验文献[12]则利用多元线性回归获得系统的预估马尔科夫参数，用来进行状态空间辨识，提出一种辨识算法SSARX-MLRMLR的缺点是仅限于解决操作点变化范围较小的线性问题或非线性不太严重的问题3 多元逐步回归3.1 基本原理当应用回归分析去处理实际问题时，一个重要问题就是选择回归自变量一般说来，根据问题本身的专业理论及有关经验，研究人员往往尽可能多地罗列出可能与因变量有关的自变量，避免遗漏重要变量其中有一些变量对因变量实质上根本没有影响或影响很小如果回归模型把这样一些变量都包含进来，不但计算量大，而且估计和预测的精度也会下降在有些情况，获得某些自变量的观测数据所花的代价较大，如果这些自变量本身与因变量的关系很小或根本就没有关系，但错误地选进模型，会使模型应用的费用不必要地升高正是由于这些原因，在应用回归分析时，有必要对进入模型的自变量作一定的筛选筛选自变量的方法有很多，其中多元逐步回归（Multiple Stepwise Regression，简记MSR）是目前使用较为广泛的选择最优回归方程的方法。
具体做法是，事先给定一个剔选变量的标准按自变量对因变量的贡献大小由大到小依次挑选进入方程：每选入一个变量进入方程，则重新计算各自变量对因变量的贡献并考察已在方程中的变量是否由于新变量的引入，其作用被新变量代替或部分代替了，抑制了它的作用并退化为不显著如果有，则将它剔除并重新计算各自变量对因变量的贡献如仍有变量低于入选标准，则继续考虑剔除，直到方程内变量均符合入选标准，没有自变量可被剔除，再考虑选变量直到方程内没有变量可被剔除，方程外没有变量可被引进为止剔选变量的过程结束3.2 算法分析MSR方法的基本步骤是依次拟合一系列回归方程，后一个回归方程是在前一个的基础上增加或删除一个变量，其增加或删除某个自变量的准则是用残差平方和的增加和减少量来衡量，一般采用如下的偏F检验统计量设模型中已有个自变量，记这个自变量的集合为A，当不在A中一个自变量加入到这个模型中时，偏统计量的一般形式为： （3-1）它是MSR方法中增加一个或删除一个自变量时所用的基本统计量式(3-1)中的SSE为残差平方和，SSR为回归平方和，MSE为均方误差，n为样本数量首先，根据一定显著水平，给出偏检验统计量[13]的两个临界值，一个用作选取自变量，记为；另一个用作剔除自变量，记为。
一般地，取=(关于与的具体选择见后面说明)然后按下列步骤进行：第一步，对每个（），M为变量的个数，拟合仅包含的一元线性回归模型 （3-2）其中，为因变量，为未知参数，为误差项这时，相应于统计量F中集合A为空集，因此SSE(A)=SST，SSR()=SST-SSE()，MSE()=MSE()，SST为总的离差平方和对每个k，计算 （3-3）它度量了将引入模型后，残差平方和的相对减少量设，若，则选择含的回归模型为当前模型否则，没有自变量进入模型，选择过程结束这时认为所有自变量对Y的影响均不显著第二步，在第一步选出的模型的基础上，再将其余M-1个自变量个加入到此模型中，拟合模型并计算 （3-4）设，若，则选取过程结束在第1步选择的模型(即仅含的线性回归模型)为最优模型若，则将加入到的第1步所选的模型中，即有 （3-5）进一步考察，当进入模型后，对的影响是否仍显著为此计算 （3-6）若，则剔除，这时仅含的回归模型为当前模型。
否则(3-5)为当前模型第3步在第2步所选模型的基础上，再将未在模型中的自变量逐个加入，拟合各模型并计算相应的偏F检验统计量的值，于疋比较以决定是否有其它变量可进入模型若有新的自变量进入模型，再检验原模型中的自变量是否因这个新变量的进入而被删除重复以上步骤，直到没有自变量能进入模型，同时己在模型中的自变量均不能被剔除，在选择过程结束，最后一个模型即认为是最优的3.3 MSR的应用MSR的基本思想是将变量逐一引入回归方程建模过程中，直到所有的老变量均不能剔除，新变量也不能加入时回归过程才结束MSR可以剔除输入信息中的不重要部分文献[14]采用MSR建立软测量模型，实现催化裂化装置柴油闪点的软测量文献[15]则采用逐步回归思想应用到动态参数估计中，并举了3个化工过程的例子来验证其提出方法的有效性4 偏最小二乘回归4.1 基本原理偏最小二乘回归(PartialLeast-SquaresRegression，PLS)是由Wold于1983年提出的一种新型的多元统计分析方法[16]它集多元线性回归、主成分分析和典型相关分析的基本功能为一体，可以较好地解决自变量之间多重相关性和样本点容量不宜太少的问题。
近20年以来，偏最小二乘回归在理论、方法和应用方面都得到了迅速发展下面介绍偏最小二乘回归是如何提取成分来达到有效建模目的的设有包含P个自变量行个样本点的数据和包含q个因变量n个样本点的数据偏最小二乘回归分别在与中提取出成分和．在提取这两个成分时，和必须满足下面两个条件1)和应尽可能多地携带它们各自数据表中的信息；(2)和的相关程度能够达到最大在第一个成分和被提取后，偏最小二乘回归分别实施对的回归以及对的回归如果回归归方程已经达到满意的精度，则算法终止否则，将利用被解释后的残余信息以及被解释后的残余信息进行第二轮的成分提取如此反复，直到能达到一个较满意的精度为止若最终对共提取了m个成分，偏最小二乘回归将通过施行 对的回归，然后表达成关于原变量的回归方程4.2 主要步骤设经过标准化处理之后的数据矩阵为，经过比标准化处理之后的数据矩阵为1） 记是的第一个成分，，，记是的第一个成分，，要求和能分别很好地代表与中的信息，应该有和均取得最大值另一方面，又要求对有最大的解释能力，即与的相关程度应达到最大值因此在偏最小二乘回归中体现为与的协方差达到最大数学表述为求解下列优化问题，即 （4-1） 利用拉格朗日法可得 （4-2）对s分别求关于的偏导数并令其等于0，则可以得到下式 （4-3）记，所以，正是优化问题的目标函数值，经推导可得 （4-4） （4-5）可见，是矩阵的特征向量，对应的特征值为，要取最大值，所以是对应于矩阵最大特征值的单位特征向量。
同理，是对应于矩阵最大特征值的单位特征向量由和，即可得到成分，然后，即可得到和对的回归方程 （4-6）其中，，为回归系数向量，和分别是两个回归方程的残差矩阵2） 用残差矩阵和取代和，然后，求第二个轴和以及第二个成分和，有，，是对应于矩阵应最大特征值的单位特征向量，是对应于矩阵最大特征值的单位特征向量如此计算下去，如果的秩是A，则有 （4-7） （4-8）由于均可表示成的的线性组合因此，上式可以还原关于的回归方程形式。