《02多变量统计建模方法及其在软测量中的应用》由会员分享，可在线阅读，更多相关《02多变量统计建模方法及其在软测量中的应用（62页珍藏版）》请在金锄头文库上搜索。
1、第二章 多变量统计建模方法 及其在软测量中的应用黄福珍 H本章主要内容 相关分析 多元线性回归（Multiple Linear Regression） 多元逐步回归分析（Multiple Stepwise Regression） 主元分析和主元回归（Principal Component Regression） 部分最小二乘法（Partial Least Square） 四种建模方法比较2.1 相关分析 相关分析是研究两个或两个以上变量之间相关程度的 大小以及用一定的函数来表达对象相关关系的方法。 相关关系：当一个或几个相互联系的变量取一定数值 时，与之相对应的另一个变量的值虽然不确定，但它
2、仍然按某种规律在一定范围内变化，变量间的这种关 系，被称为相关关系。2.1 相关分析 相关的种类： 按相关的程度分：- 完全相关：两个随机变量，其中一个变量的数值变化由另一个变量的数值变化所确定，则称完全相关 ，也称函数关系- 不相关：两个变量彼此互不影响，其数值变化各自独立，称为不相关- 不完全相关：两个变量之间的关系，介乎完全相关与不相关之间称不完全相关2.1 相关分析 相关的种类： 按相关的方向分：- 正相关：两个变量中，一个变量增大，另一个变量对应值也随之增大；或一个变量值减小，另一个变 量对应值也随之减小，两列变量变化方向相同。- 负相关：两个变量中，一个变量增大，另一个变量对应值也
3、随之减少；或一个变量值减小，另一个变 量对应值也随之增大，两列变量变化方向相反。- 零相关：两变量值的变化方向无规律2.1 相关分析 相关的种类： 按相关的形式分：- 线性相关：两个相关变量之间的关系近似为线性关系- 非线性相关：两个相关变量之间的关系近似为某种曲线方程的关系 按变量相互关系的程度分：- 高度相关：两个变量相互联系非常密切- 低度相关：两变量存在相互联系，但其关系并不密切2.1 相关分析 相关的种类： 按影响因素的多少分：- 单相关：两个变量之间的相关关系- 复相关：一个变量与两个或两个以上变量间的相关关系- 偏相关：在某一个变量与多个变量相关的场合， 假定其他变量不变，其中两
4、个变量之间的相关关系2.1 相关分析 相关散点图：利用直角坐标系将两变量相对应的变 量值用坐标点形式描绘出来，用以表明相关点分布状 况的图形 相关散点图的用途： 判断是否线性相关 判断相关变化方向 判断相关密切程度2.1 相关分析 相关散点图的用途：非线性相关线性相关正相关负相关零相关高度相关低度 相关2.1 相关分析 相关系数（着重研究线性的单相关系数）： 通过相关散布图的形状，我们大概可以判断变量之 间相关程度的强弱、方向和性质，但并不能得知其相 关的确切程度。为精确了解变量间的相关程度，还需 作进一步统计分析，求出描述变量间相关程度与变化 方向的量数，即相关系数 计算公式：2.1 相关分
5、析 相关系数的性质： 当|r|=1时，x与y为完全线性相关，它们之间存在确定的函数关系。 当 085%）或通过交叉校验决定主元个数。如选择 前k个主元，对X进行正交分解：其中T是主元矩阵（或评分矩阵、投影矩阵），其元素称 为主元向量；P是负载矩阵，其元素称为负载向量 2.4 主元分析和主元回归 根据上式，可得主元回归方程：基于最小二乘估计可得B的估计值为：由于可得采用原多元线性回归方程形式的回归系数估计为： 2.4 主元分析和主元回归 说明：对矩阵X进行主元分解，本质上是对矩阵进行特征向量分析。矩阵X的负载向量pi实际上就是矩阵A 的特征向量，将矩阵A的特征值按从大到小顺序排列，这些特征值对应
6、的特征向量即为矩阵X 的负载向量pi 。若原自变量间存在复共线性，则矩阵A的 第k个以后的特征值 已接近于0，第k个以后的 主元向量 的取值也几乎为0，去掉这些向量对信息的损失很小，并同时消除了复共线性的影响。由于一 般k远小于m，主元回归实际上实现了 的线性变换2.4 主元分析和主元回归 算法步骤：（1）数据预处理，对X、Y按列标准化（2）求相关矩阵R（3）求R的特征值和特征向量P（4）根据特征值从大到小重新排列特征值和特征向量P（5）计算主元贡献率（6）计算累积主元贡献率，当其大于85%，记录主元个 数k（7）计算主元矩阵（8）计算回归系数2.5 部分最小二乘法 PLS是化学计量专家为了解
7、决预测建模的问题，根据启 发式推理和直觉提出来的。PLS方法将高维数据空间投影到低维特征空间，得到相互正交的特征向量，再建立 特征向量之间的一元线性回归关系。正交特征投影使 PLS有效地克服了普通最小二乘回归的共线性问题。同 时PLS方法将多元回归问题转化为若干个一元回归，适用于样本数较少且变量数较多的过程建模。与主元回归 相比，PLS在选取特征向量时强调输入对输出的预测作用，去除了对回归无益的噪声，使模型包含最少的变量 数，因此PLS具有更好的鲁棒性和预测稳定性。2.5 部分最小二乘法 PLS是化学计量专家为了解决预测建模的问题，根据启 发式推理和直觉提出来的。PLS方法将高维数据空间投影到
8、低维特征空间，得到相互正交的特征向量，再建立 特征向量之间的一元线性回归关系。正交特征投影使 PLS有效地克服了普通最小二乘回归的共线性问题。同 时PLS方法将多元回归问题转化为若干个一元回归，适用于样本数较少且变量数较多的过程建模。与主元回归 相比，PLS在选取特征向量时强调输入对输出的预测作用，去除了对回归无益的噪声，使模型包含最少的变量 数，因此PLS具有更好的鲁棒性和预测稳定性。2.5 部分最小二乘法 PLS在统计应用中的重要性： PLS是一种多因变量对多自变量的回归建模方法 PLS可以较好地解决许多以往普通多元回归解决不了的问题- 更好地解决多重相关性在系统建模中的不良影响- 不用受
9、到样本点数太少的限制 PLS实现了多种数据分析方法的综合应用2.5 部分最小二乘法 PLS的基本原理： 设有两组变量X和Y。X由p个分量(x1, x2, x3, , xp)构成，Y由q个分量(y1, y2, y3, , yq)构成 。若现在有n个数据和相应的影响因素值，可以获得两个 矩阵X=(x1, x2, x3, xp)np和Y=(y1, y2, y3, , yq)nq。部分最 小二乘回归分析首先在X与Y中提出成分t1和u1，t1是(x1, x2, x3, xp)的线性组合，u1是(y1, y2, y3, yq)的线性组合。在 成分提取时要满足下列两个要求： t1和u1尽可能大地携带它们各自
10、数据表中的变异信息； t1和u1的相关程度能够达到最大。2.5 部分最小二乘法 PLS的基本原理： 在第一个成分t1和u1被提取后，部分最小二乘回归分别实 施X对t1以及Y对u1的回归。如果回归方程已经达到了满意 的精度，则算法结束；否则，将利用X被t1解释后的残余 信息以及Y被 u1解释后的残余信息进行第二轮的成分提取。如此往复，直到达到一个比较满意的精度为止。若最终 X共提取了m个成分t1, t2, t3, , tm，部分最小二乘回归将通 过实行yk对t1, t2, t3, , tm回归，然后再表达成yk关于原变量 x1, x2, x3, , xp的回归方程，k=1,2,q。2.5 部分最
11、小二乘法 PLS的计算方法推导： PLS在PCA的基础上同时考虑了输入输出数据集，对X和Y 同时进行正交分解，使PLS能从较少的早和矢量中得到尽可能多的信息。令其中n维向量t1和u1分别称为X和Y的第一主元的评分向量（ Score Vector），m维向量p1和q1分别是与之对应的载荷向 量（Loading Vector），正交分解的目的是使 和 最小化。函数f1的选择目标使 最小化。2.5 部分最小二乘法 PLS的计算方法推导： 计算残差：再对E1和F1进行正交分解，直到第k个主元，此时残差矩 阵Ek和Fk已几乎不含有有用的信息。经过以上迭代计算可以得到X和Y的外部关系和内部关系：2.5 部
12、分最小二乘法 PLS的计算步骤：（1）对输入输出变量X和Y按列标准化（2）令E=X，F=Y，u等于Y的某一列，通常取方差最大的列向量（3）（4）（5）如果Y中只有一个变量，则令q=1，转（10），否则2.5 部分最小二乘法 PLS的计算步骤：（6）（7）（8）如果满足收敛条件，则转（9），否则转（2）（9）（10）计算X载荷：（11）计算残差矩阵：（12）如果满足收敛条件，则停止计算，否则转（2）2.6 四种建模方法比较较 用Matlab实现MLR、MSR、PCR和PLS算法，仿真研究数据来自某炼油厂催化裂化装置主分馏塔的现场采集数 据，有10个自变量，1个因变量，共155组数据。其中105
13、组数据用来建立数学模型，其余50组数据用来检验模型的泛化能力。下图为多元线性拟合和预测模型：2.6 四种建模方法比较较 用MLR建立的模型物理意义明确，计算简单，但随自变量个数的增加，计算复杂度也增加，且由于回归系数间 存在相关性，剔除一个变量后必须重新计算回归系数， 因此对回归系数的显著性进行检验以消去对方程无影响 或影响极小的变量时，通常一次只能去掉一个变量，再 进行回归得到新的拟合方程，对系数逐一进行检验，直 到所有系数均显著不为0。 下表分别列出了线性回归的各步偏相关系数和回归系数 ，后一步是删去前一步偏相关系数最小的变量后重新进 行回归。2.6 四种建模方法比较较 考虑到对这10个自
14、变量都进行非线性变换并无必要，通 过观察各自变量和因变量的散点关系图，认为仅x3，x10 与y具有非线性关系，因此采用它们的二次项，用LS方法得到非线性回归模型如下： 该模型拟合的MSE=3.3841，模型预测的MSE=8.5204。 尽管只对2个变量进行了非线性变换，仍可由模型拟合和 模型预测的MSE看出非线性回归模型确实优于MLR。2.6 四种建模方法比较较 利用逐步回归方法，得到如下逐步回归模型： 该模型的相关系数R=0.5656，模型拟合的MSE=3.7281， 模型预测的MSE=9.6754。与MLR相比，逐步回归计算 时间稍长，模型拟合和预测的MSE较大，但通过筛选得到的模型变量应
15、该说更具有代表意义。2.6 四种建模方法比较较 下表列出了PCR计算得到的特征值、主元方差贡献率和累计主元方差贡献率：2.6 四种建模方法比较较 图2.2是按从大到小顺序排列的特征值，图2.3表现了主元方差贡献率和累计主元方差贡献率随主元个数递增而变 化的情况：2.6 四种建模方法比较较下表是选取不同主元数时模型的系数：当选取的主元数等于输入数据集的维数时，PCR和MLR得到的模型 系数完全相同，并不能体现PCR的优越性；当选取的主元数小于输 入数据集的维数时，采用PCR可能在模型拟合或模型预测方面取得 比MLR好的效果。2.6 四种建模方法比较较下图为不同主元数时PCR模型拟合和预测精度：由图可以看出，随主元个数的增加，模型拟合精度逐渐提高，而预 测精度先是降低，达到一定主元数后，随主元个数增加预测精度又 将提高。因此需要通过交叉检验选取合适的主元数，才能得到最优 模型。通常主元数应小于输入数据集的维数，以删去不重要或含噪 声的主元，但也不能太小，以免遗漏有用的系统信息。2.6 四种建模方法比较较采用不同主元数的PLS方法得到的模型拟合和预测结果如下表所示：从表中可以看出，PLS方法模型拟合效果比PCA更好。但与经典方 法相比，PLS计算速度慢，而且由于PLS得到的模型是抽象的，难以理解和解释2.7 本章小结 多元线性回归: 多元逐步回归: 将自变量逐个引入 主元
