《专题6偏最小二乘回归ppt课件》由会员分享，可在线阅读，更多相关《专题6偏最小二乘回归ppt课件（43页珍藏版）》请在金锄头文库上搜索。
1、卖参谦虚梦皋筋哺镰黄饺乃忆俄滩劲蛹潍寻定乃习辑堪认翰掣芝口锐闸步专题6偏最小二乘回归ppt课件多元统计分析专题专题专题6 偏最小二乘回归偏最小二乘回归Partial Least-Squares Regression荡膝产篮执芋闪靛肌复员攒藉投平迪课豹玖崔楚隔鲸溃卖砒序窥划炭覆锑专题6偏最小二乘回归ppt课件多元统计分析专题1 1主要内容主要内容一、一、偏最小二乘回归概述偏最小二乘回归概述二、二、偏最小二乘回归的建模步骤偏最小二乘回归的建模步骤三、三、偏最小二乘回归的辅助分析技术偏最小二乘回归的辅助分析技术四、四、偏最小二乘回归的研究前沿偏最小二乘回归的研究前沿五、五、文献研读文献研读财寞迹军诱
2、调郑焊笺芜未搜穿械呻刘河宣歉淌闹狈吞赘犹把力则听泊腐姜专题6偏最小二乘回归ppt课件多元统计分析专题2 2一、偏最小二乘回归概述一、偏最小二乘回归概述偏最小二乘回归方法的产生背景偏最小二乘回归方法的产生背景偏最小二乘回归的基本思想偏最小二乘回归的基本思想偏最小二乘回归的特点偏最小二乘回归的特点刀扇附帅捉党端陷凑讲霄麓甥贺费该国葱姓沧嚣奴糟谈盖尺携嫉问细暴姨专题6偏最小二乘回归ppt课件多元统计分析专题3 3偏最小二乘回归方法的产生背景偏最小二乘回归方法的产生背景 PLS最先产生于化学领域最先产生于化学领域,在利用分光在利用分光镜来预测化学样本的组成时镜来预测化学样本的组成时,作为解释变量作为解
3、释变量的红外区反射光谱的波长常有几百个的红外区反射光谱的波长常有几百个,往往往往超过化学样本的个数超过化学样本的个数,所造成的多重相关性所造成的多重相关性使得人们很难利用传统的最小二乘法。使得人们很难利用传统的最小二乘法。 基于这个应用的需要基于这个应用的需要,S.Wold和和C.Albano等人于等人于1983年首次提出了年首次提出了PLS回回归方法并首先在化工领域取得了广泛的应归方法并首先在化工领域取得了广泛的应用。用。一、偏最小二乘回归概述一、偏最小二乘回归概述抽执胶言蔫筐韭圾孩筷勒浓婶湍雾赔厂隘托赠窃鼎翁亚雕祝台币铬扑潘厢专题6偏最小二乘回归ppt课件多元统计分析专题4 4 在国内在国
4、内,最早对此进行系统研究的学者最早对此进行系统研究的学者是北京航空航天大学的王惠文教授。是北京航空航天大学的王惠文教授。一、偏最小二乘回归概述一、偏最小二乘回归概述偏最小二乘回归方法的产生背景偏最小二乘回归方法的产生背景偏最小二乘回归方法的产生背景偏最小二乘回归方法的产生背景( (续续续续) )搞谓江风词敷牢急笨个醒座拔震账拉瓮靴嗽尝矢院颖靛婆赖跪意烷火噶休专题6偏最小二乘回归ppt课件多元统计分析专题5 5偏最小二乘回归的基本思想偏最小二乘回归的基本思想 设有设有p个自变量个自变量 和和q因变量因变量 。为了研究因变量和自变量的统计关系。为了研究因变量和自变量的统计关系,我们观测了我们观测了
5、n个样本点个样本点,由此构成了自变量由此构成了自变量与因变量的数据表与因变量的数据表X= np和和Y= nqq。 偏最小二乘回归分别在偏最小二乘回归分别在X与与Y中提取出中提取出成分成分t1和和u1(也就是说也就是说, t1是是 的线性的线性组合组合, u1是是 的线性组合的线性组合)。 一、偏最小二乘回归概述一、偏最小二乘回归概述抱带珊梦勾怪倾答境赫辈怎钳槛悍锌梁鬼渤辰曾症山储噬谩掣瑞兜轿终羹专题6偏最小二乘回归ppt课件多元统计分析专题6 6 在提取这两个成分时在提取这两个成分时,为了回归分析的为了回归分析的需要需要,有下列两个要求有下列两个要求:(1)t1和和u1应尽可能大地携带它们各自
6、数据表应尽可能大地携带它们各自数据表中的变异信息中的变异信息;(2)t1和和u1的相关程度能够达到最大。的相关程度能够达到最大。 这两个要求表明：这两个要求表明：t1和和u1应尽可能好地应尽可能好地代表数据表代表数据表X和和Y,同时同时,自变量的成分自变量的成分t1对因对因变量的成分变量的成分u1又有很强的解释能力。又有很强的解释能力。一、偏最小二乘回归概述一、偏最小二乘回归概述偏最小二乘回归的基本思想偏最小二乘回归的基本思想偏最小二乘回归的基本思想偏最小二乘回归的基本思想( (续续续续) )杉婪赫春熙干援潜闻语封擦庭狈堤豌鼻镁称捌园悠俄室就礁碧鉴功牡聂导专题6偏最小二乘回归ppt课件多元统计
7、分析专题7 7 在第一个成分在第一个成分在第一个成分在第一个成分t t1 1和和和和u u1 1被提取后被提取后被提取后被提取后, ,偏最小二乘回偏最小二乘回偏最小二乘回偏最小二乘回归分别实施归分别实施归分别实施归分别实施X X对对对对t t1 1的回归以及的回归以及的回归以及的回归以及Y Y对对对对t t1 1的回归。如果的回归。如果的回归。如果的回归。如果回归方程已经达到满意的精度回归方程已经达到满意的精度回归方程已经达到满意的精度回归方程已经达到满意的精度, ,则算法终止则算法终止则算法终止则算法终止; ;否则否则否则否则, ,将利用将利用将利用将利用 X X被被被被t t1 1解释后的
8、解释后的解释后的解释后的残余信息残余信息残余信息残余信息以及以及以及以及Y Y被被被被t t1 1解释后解释后解释后解释后的的的的残余信息残余信息残余信息残余信息进行第二轮的成分提取。如此往复进行第二轮的成分提取。如此往复进行第二轮的成分提取。如此往复进行第二轮的成分提取。如此往复, ,直直直直到能达到一个较满意的精度为止。到能达到一个较满意的精度为止。到能达到一个较满意的精度为止。到能达到一个较满意的精度为止。 若最终对若最终对若最终对若最终对 X X共提取了共提取了共提取了共提取了mm个成分个成分个成分个成分t t1 1、t t2 2、t tmm, ,偏最小二乘回归将通过实施偏最小二乘回归
9、将通过实施偏最小二乘回归将通过实施偏最小二乘回归将通过实施y yk k(k=1(k=1、2 2、q)q)对对对对t t1 1、t t2 2、t tmm的回归的回归的回归的回归, ,然后表达成然后表达成然后表达成然后表达成y yk k关于原关于原关于原关于原变量变量变量变量x x1 1、x x2 2、x xp p的回归方程。的回归方程。的回归方程。的回归方程。一、偏最小二乘回归概述一、偏最小二乘回归概述偏最小二乘回归的基本思想偏最小二乘回归的基本思想偏最小二乘回归的基本思想偏最小二乘回归的基本思想( (续续续续) )缎垦使陈啃浴羞拂垦舆低首秤常与婴辟罐蜡药军佑啪嫡幼瑶巴垛秧垃锭伦专题6偏最小二乘
10、回归ppt课件多元统计分析专题8 8偏最小二乘回归的特点偏最小二乘回归的特点1.PLS是一种可以处理是一种可以处理多个因变量对多个自变多个因变量对多个自变量量的回归建模方法。特别当各变量集合内的回归建模方法。特别当各变量集合内部存在较高程度的相关性时部存在较高程度的相关性时,用用PLS进行回进行回归建模分析归建模分析,比对逐个因变量做多元回归更比对逐个因变量做多元回归更加有效加有效,其结论更加可靠其结论更加可靠,整体性更强。整体性更强。2.PLS可以较好地解决许多以往用普通多元回可以较好地解决许多以往用普通多元回归分析方法无法解决的重要问题。例如自归分析方法无法解决的重要问题。例如自变量之间的
11、多重相关性问题和样本点容量变量之间的多重相关性问题和样本点容量不宜太少等问题。不宜太少等问题。一、偏最小二乘回归概述一、偏最小二乘回归概述亏悼录席袋色隔杭苯吼雾共逝署亿铰厅茹蛾琶煽营认珊栅赁幻棺戍扫声幌专题6偏最小二乘回归ppt课件多元统计分析专题9 9偏最小二乘回归的特点偏最小二乘回归的特点1.PLS是一种可以处理多个因变量对多个自变是一种可以处理多个因变量对多个自变量的回归建模方法。特别当各变量集合内量的回归建模方法。特别当各变量集合内部存在较高程度的相关性时部存在较高程度的相关性时,用用PLS进行回进行回归建模分析归建模分析,比对逐个因变量做多元回归更比对逐个因变量做多元回归更加有效加有
12、效,其结论更加可靠其结论更加可靠,整体性更强。整体性更强。2.PLS可以较好地解决许多以往用普通多元回可以较好地解决许多以往用普通多元回归分析方法无法解决的重要问题。例如自归分析方法无法解决的重要问题。例如自变量之间的多重相关性问题和样本点容量变量之间的多重相关性问题和样本点容量不宜太少等问题。不宜太少等问题。一、偏最小二乘回归概述一、偏最小二乘回归概述润执烈亩孰话乾标烙稻拄闭劣匈湾越募赃进绰糙降服充陷誊寨涉仪析迢镍专题6偏最小二乘回归ppt课件多元统计分析专题10103.PLS可以实现多种数据分析方法的综合应用。可以实现多种数据分析方法的综合应用。它可以集它可以集多元线性回归方法多元线性回归
13、方法、主成分分析主成分分析法法和和典型相关分析典型相关分析的基本功能为一体。在的基本功能为一体。在一次一次PLS计算后计算后,不但可以得到多因变量对不但可以得到多因变量对多自变量的回归模型多自变量的回归模型,而且可以分析而且可以分析2组变组变量之间的相关关系量之间的相关关系,以及观察样本点间的相以及观察样本点间的相似性结构。这使得数据系统的分析内容更似性结构。这使得数据系统的分析内容更加丰富加丰富,同时还可以对所建立的回归模型给同时还可以对所建立的回归模型给予许多更详细深入的实际解释。予许多更详细深入的实际解释。一、偏最小二乘回归概述一、偏最小二乘回归概述偏最小二乘回归的特点偏最小二乘回归的特
14、点偏最小二乘回归的特点偏最小二乘回归的特点( (续续续续) )引式该廖狸沽澎渴联楔盎玖时绪洞莎辞境诫萌付府曰伐笨纶慈宰染丧叛即专题6偏最小二乘回归ppt课件多元统计分析专题11114.PLS允许在最终模型中包含原来全部自变量允许在最终模型中包含原来全部自变量,最大限度地利用数据信息最大限度地利用数据信息,使得使得PLS在相同在相同的数据信息情况下比普通多元二乘回归模的数据信息情况下比普通多元二乘回归模型具有更高的有效性。型具有更高的有效性。5.在建模的同时实现了数据结构的简化在建模的同时实现了数据结构的简化,可以可以在二维平面上对多维数据的特性进行观察在二维平面上对多维数据的特性进行观察,图形
15、功能强大。图形功能强大。 因此因此,许多统计分析专家称许多统计分析专家称PLS为为第二第二代回归分析方法代回归分析方法。一、偏最小二乘回归概述一、偏最小二乘回归概述偏最小二乘回归的特点偏最小二乘回归的特点偏最小二乘回归的特点偏最小二乘回归的特点( (续续续续) )旦弓卤摧扰与驳僚珠语亭侧拈洽邓俞寓绊宝邱割颁努钠夜查晌漏闭舍仟茂专题6偏最小二乘回归ppt课件多元统计分析专题1212二二、偏最小二乘回归的建模步骤偏最小二乘回归的建模步骤Step1.将将X与与Y进行标准化处理进行标准化处理,得到标准化得到标准化后的自变量矩阵后的自变量矩阵E0=(E01,E02,E0P)np和和因变量矩阵因变量矩阵
16、F0= (F01,F02,F0q)nq 。 标准化处理的目的是为了公式表达上的标准化处理的目的是为了公式表达上的方便和减少运算误差。方便和减少运算误差。某鹰港仅筏慎崩蹬共掉开踩器贤刘邯捡噶刮犯辕琴言测练寥仲纹堤眉羊眉专题6偏最小二乘回归ppt课件多元统计分析专题1313Step2.记记记记t t1是是是是E E0的第的第的第的第1 1个成分个成分个成分个成分,t ,t1=E=E01, , 1是是是是E E0的的的的第第第第1 1个轴个轴个轴个轴, ,它是一个单位向量，既它是一个单位向量，既它是一个单位向量，既它是一个单位向量，既|1|=1|=1。 记记记记u u1是是是是F F0的第的第的第的
17、第1 1个成分个成分个成分个成分, u, u1 = F = F0 c c1。c c1是是是是F F0的第的第的第的第1 1个轴个轴个轴个轴, ,并且并且并且并且|c|c1|=1|=1。 如果要如果要如果要如果要t t1和和和和u u1能分别很好地代表能分别很好地代表能分别很好地代表能分别很好地代表X X与与与与Y Y中的数中的数中的数中的数据变异信息据变异信息据变异信息据变异信息, ,根据主成分分析原理，应该有：根据主成分分析原理，应该有：根据主成分分析原理，应该有：根据主成分分析原理，应该有： Var(t Var(t1) )maxmax Var(u Var(u1) )maxmax二、偏最小二
18、乘回归的建模步骤二、偏最小二乘回归的建模步骤嫌遣搓惰尊状乃啤舀辈嘛典稠搁遵昆私薪烛禽赤困仍逾游黎谢样荔淳悄为专题6偏最小二乘回归ppt课件多元统计分析专题1414 另一方面另一方面另一方面另一方面, ,由于回归建模的需要由于回归建模的需要由于回归建模的需要由于回归建模的需要, ,又要求又要求又要求又要求t t1对对对对u u1有很大的解释能力有很大的解释能力有很大的解释能力有很大的解释能力, ,由典型相关分析的思路由典型相关分析的思路由典型相关分析的思路由典型相关分析的思路,t ,t1与与与与u u1的相关度应达到最大值的相关度应达到最大值的相关度应达到最大值的相关度应达到最大值, ,即即即即
19、: : r(t r(t1,u,u1) )maxmax 因此因此因此因此, ,综合起来综合起来综合起来综合起来, ,在偏最小二乘回归中在偏最小二乘回归中在偏最小二乘回归中在偏最小二乘回归中, ,我们要我们要我们要我们要求求求求t t1与与与与u u1的协方差达到最大的协方差达到最大的协方差达到最大的协方差达到最大, ,即即即即: : Cov(t Cov(t1,u,u1)= r(t)= r(t1,u,u1) )maxmax二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤鸣诺晒猖钠抽捆骋匝有螺钙麦莹喂层钥轻班曹辽喝乏牧献咖霉瑞坍丸军狗专题6偏最小二乘回归ppt课件多元统计分析专题1515 正
20、规的数学表述应该是求解下列优化问题正规的数学表述应该是求解下列优化问题正规的数学表述应该是求解下列优化问题正规的数学表述应该是求解下列优化问题: : 因此，将在因此，将在因此，将在因此，将在|1| |2 2=1=1和和和和|c|c1| |2 2=1=1的约束条件的约束条件的约束条件的约束条件下下下下, ,去求去求去求去求 的最大值。的最大值。的最大值。的最大值。 s.t 二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤脚要们母赂偿侩盖菊徊摇篙替烛越核浮踌啡夷伯雀纷流绽宽摔究范跨凛蒋专题6偏最小二乘回归ppt课件多元统计分析专题1616 采用拉格朗日算法采用拉格朗日算法采用拉格朗日算法采
21、用拉格朗日算法( (过程略过程略过程略过程略), ),可得可得可得可得: : 1是矩阵是矩阵是矩阵是矩阵 的特征向量的特征向量的特征向量的特征向量, ,对应的特对应的特对应的特对应的特征值为征值为征值为征值为 , , 是目标函数值是目标函数值是目标函数值是目标函数值, ,它要求取最大值它要求取最大值它要求取最大值它要求取最大值, ,所所所所以以以以, , 1是对应于是对应于是对应于是对应于 矩阵最大特征值的单位矩阵最大特征值的单位矩阵最大特征值的单位矩阵最大特征值的单位特征向量。特征向量。特征向量。特征向量。 而另一方面而另一方面而另一方面而另一方面, c, c1是对应于矩阵是对应于矩阵是对应
22、于矩阵是对应于矩阵 最大最大最大最大特征值特征值特征值特征值 的单位特征向量。的单位特征向量。的单位特征向量。的单位特征向量。二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤踪雅糖根索村葵卢互兆运伟砷鳃矮涨兴涸挺敢刺磋暂沾匣缕替河亦矽瞎载专题6偏最小二乘回归ppt课件多元统计分析专题1717 求得求得1和和c1后后,即可得到成分即可得到成分: 然后然后,分别求分别求E0和和F0对对t1的回归方程的回归方程:二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤奏赠条慷哑率健过亚风捎栓蜂帅蓟婉乓未妄尿臃凭喉蛤灵茨嘲仗帮妄妇赵专题6偏最小二乘回归ppt课件多元统计分析专题1818Step
23、3.用残差矩阵用残差矩阵E1和和F1取代取代E0和和F0。然后。然后,求第求第2个轴个轴2和和c2以及第以及第2个成分个成分t2和和u2,有有:同理同理,有有: 2是对应于矩阵是对应于矩阵 最大特征值最大特征值 的特征向量的特征向量, c2是对应于矩阵是对应于矩阵 最大最大特征值的特征向量。特征值的特征向量。二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤授屿工吼越仪帜信念捎访文蔷孵挂首饥兽云膳母玛加密甭缕逝炯岩各崖扰专题6偏最小二乘回归ppt课件多元统计分析专题1919 从而从而,有回归方程有回归方程:二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤屎锄彤矛饭傍轧播姓音补憎擅
24、信朵虐扫触劣贼依溉渴狂卤郴勉计颈济僵滞专题6偏最小二乘回归ppt课件多元统计分析专题2020Step4.如此计算下去如此计算下去,如果如果X的秩是的秩是A,则会有则会有: 由于由于t1,t2,tA均可以表示成均可以表示成E01,E02,E0p的线性组合的线性组合,因此上式可还原因此上式可还原成成yk*=F0k关于关于yk*=E0j的回归方程形式的回归方程形式,即即:二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤恬豁摇然庶板毕懦助轧筛戍五斯褂脐挎艘吨咨旗梢速津色颗尔淹妨伯剂铂专题6偏最小二乘回归ppt课件多元统计分析专题2121Step5.确定抽取成分的个数确定抽取成分的个数交叉有效性
25、交叉有效性 下面要讨论的问题是在现有的数据表下下面要讨论的问题是在现有的数据表下,如何确定更好的回归方程。在许多情形下如何确定更好的回归方程。在许多情形下,偏最小二乘回归方程并不需要选用全部的偏最小二乘回归方程并不需要选用全部的成分成分t1,t2,tA进行回归建模进行回归建模,而是可以像而是可以像在主成分分析时一样在主成分分析时一样,采用截尾的方式选择采用截尾的方式选择前前m 个成分个成分(mA,A=秩秩(X),仅用这仅用这m 个后个后续的成分就可以得到一个预测性能较好的续的成分就可以得到一个预测性能较好的模型。模型。二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤婪浇息逼痔另拳拱匡痊
26、蛋热拥筋鸟档涡此氦槽除菱牛姚初挝网址慎雷舜营专题6偏最小二乘回归ppt课件多元统计分析专题2222 在多元回归分析中在多元回归分析中,经常采用抽样测试经常采用抽样测试法来确定回归模型是否适于预测应用。该法来确定回归模型是否适于预测应用。该方法是把观测到的样本点分成方法是把观测到的样本点分成2部分部分:第第1部部分数据用于建立回归方程分数据用于建立回归方程,求出回归系数估求出回归系数估计量计量 ,拟合值拟合值 以及残差均方和以及残差均方和 ;再再用第用第2部分数据作为试验点部分数据作为试验点,代入所求得的代入所求得的回归方程回归方程,由此求出由此求出 。一般地。一般地,若有若有 ,则回归方程会有
27、更好的预测效果则回归方程会有更好的预测效果;若若 ,则回归方程不宜用于预测。则回归方程不宜用于预测。二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤即搏半岳牺卑亡芋竞哇尺妙膨牙晌镇蠢靠宙苯灼体禹匿庇溉霉斑谈钱种袒专题6偏最小二乘回归ppt课件多元统计分析专题2323 在在在在PLSPLS建模中建模中建模中建模中, ,究竟该选取多少个成分为宜究竟该选取多少个成分为宜究竟该选取多少个成分为宜究竟该选取多少个成分为宜, ,这可通过考察增加一个新的成分后这可通过考察增加一个新的成分后这可通过考察增加一个新的成分后这可通过考察增加一个新的成分后, ,能否对模型的能否对模型的能否对模型的能否对模型
28、的预测功能有明显改进来考虑。预测功能有明显改进来考虑。预测功能有明显改进来考虑。预测功能有明显改进来考虑。 采用类似于抽样测试法的工作方式采用类似于抽样测试法的工作方式采用类似于抽样测试法的工作方式采用类似于抽样测试法的工作方式, ,把所有把所有把所有把所有n n个样本点分成个样本点分成个样本点分成个样本点分成2 2部分部分部分部分: :第第第第1 1部分除去某个样本点部分除去某个样本点部分除去某个样本点部分除去某个样本点i i的的的的所有样本点集合所有样本点集合所有样本点集合所有样本点集合( (共含共含共含共含n-1n-1个样本点个样本点个样本点个样本点), ),用这部分样用这部分样用这部分
29、样用这部分样本点并使用本点并使用本点并使用本点并使用h h个成分拟合一个回归方程个成分拟合一个回归方程个成分拟合一个回归方程个成分拟合一个回归方程; ;第二部分第二部分第二部分第二部分是把刚才被排除的样本点是把刚才被排除的样本点是把刚才被排除的样本点是把刚才被排除的样本点i i代入前面拟合的回归方代入前面拟合的回归方代入前面拟合的回归方代入前面拟合的回归方程程程程, ,得到得到得到得到 在样本点在样本点在样本点在样本点i i上的拟合值上的拟合值上的拟合值上的拟合值 。二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤脖睬耪咱谷舌砧珍精华貉筐戒蠕遏饺躺输为吠蓉乏瓤铁简像黑霸洗稠殖吕专题6偏
30、最小二乘回归ppt课件多元统计分析专题2424 对于每一个对于每一个i=1,2,n,重复上述测试重复上述测试,则可以定义则可以定义 的的预测误差平方和预测误差平方和为为 ,有有: 定义定义Y的的预测误差平方和预测误差平方和为为 ,有有:二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤 显然然,如果回如果回归方程的方程的稳健性不好健性不好,误差就很大差就很大,它它对样本点的本点的变动就会十分敏感就会十分敏感,这种种扰动误差的作差的作用就会加大用就会加大SPRESS,h的的值。车盅车止诊锣嚼浮斑考聪氮垃赵澳娜答啄境要匝帐道杆拽屑喜关瞅滁磺乖专题6偏最小二乘回归ppt课件多元统计分析专题25
31、25 另外另外,再采用所有的样本点再采用所有的样本点,拟合含拟合含h 个成分的回归方程。这时个成分的回归方程。这时,记第记第i个样本点的个样本点的预测值为预测值为 ,则可以定义则可以定义 的的误差平方和误差平方和为为 ,有有: 定义定义Y的的误差平方和误差平方和为为 ,有有:二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤讥莆绢伸薪控柒吱晕弃贫渗扰轿大邢荒旦捂嘲痢孟熊澳寓察鸭专儡饮茂眺专题6偏最小二乘回归ppt课件多元统计分析专题2626 一般说来一般说来,总是有总是有(WHY?): 下面下面,比较比较二、偏最小二乘回归的建模步骤二、偏最小二乘回归的建模步骤 是用全部是用全部样本点本点
32、拟合的具有合的具有h-1个成分的个成分的方程的方程的拟合合误差差; 增加了增加了1个成分个成分 ,但却含有但却含有样本点的本点的扰动误差。差。 如果如果h个成分的回归方程的含扰动误差个成分的回归方程的含扰动误差SPRESS,h能在一定程度上小于能在一定程度上小于(h-1)个成分回归方程的拟合误个成分回归方程的拟合误差差SSS,h-1,则认为增加则认为增加1个成分个成分 ,会使预测的精度明会使预测的精度明显提高。显提高。 敏疾企及壳闹铜谍菌迁孝漱骏十迎驶徽镑硷肖迢郎先郊捏窃欺赐缚幸赴还专题6偏最小二乘回归ppt课件多元统计分析专题2727三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分
33、析技术与典型相关分析对应的研究内容与典型相关分析对应的研究内容与主成分分析对应的研究内容与主成分分析对应的研究内容头罕创视翟爵嵌耕堂伞努锑烈恕被性莎擞栋督甫浚憾誉达叙呕腾刨拓霓尿专题6偏最小二乘回归ppt课件多元统计分析专题2828与典型相关分析对应的研究内容与典型相关分析对应的研究内容1.精度分析精度分析(1)th对某自变量对某自变量xj的解释能力为的解释能力为(2)th对对X的解释能力为的解释能力为(3) t1,t2,tm对对X的累计解释能力为的累计解释能力为三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术晚菏培幸防贤歪赖摄硬慢奥璃罢磷险埔凰质辽奔沙梅羽沸侦尉犁霄资矢弛专题
34、6偏最小二乘回归ppt课件多元统计分析专题2929(4) t1,t2,tm对某自变量对某自变量xj的累计解释能力的累计解释能力为为(5)th对某因变量对某因变量yk的解释能力为的解释能力为(6)th对对Y的解释能力为的解释能力为三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容 ( (续续续续) )欧粘窥撼禾栋巾页繁绝升卸丛圣慢伍筏矢坚炼烘萍陡例彪晃影种菱仇即魏专题6偏最小二乘回归ppt课件多元统计分析专题3030(7) t1,t2,tm对对Y的累计解释能力为的累计解释
35、能力为(8) t1,t2,tm对某因变量对某因变量yk的解释能力为的解释能力为三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容 ( (续续续续) )伺纸钝酉汰缩列丑掂稗袒樱博雄荣榨坠乳猾腥躁午猫跌瘸疼藩魄鸣龚瞎荧专题6偏最小二乘回归ppt课件多元统计分析专题31312.判断判断X与与Y之间的相关关系之间的相关关系 由于在由于在PLS分析中分析中,自变量的成分自变量的成分t1与与因变量的成分因变量的成分u1明显具备典型成分的特征明显具备典型成分的特征,因此类似地因此类似
36、地,也可以绘制也可以绘制t1/u1平面图平面图,在其在其上标出每个样本点上标出每个样本点(t1(i),u1(i)的位置。的位置。 如果在图中明显观察到如果在图中明显观察到t1与与u1之间存在之间存在线性关系线性关系,则说明则说明X与与Y有显著的相关关系有显著的相关关系,这时采用这时采用PLS建立建立Y对对X的线性模型才会是的线性模型才会是比较合理的。比较合理的。三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容 ( (续续续续) )杠援越牵邑亡漠琵蒸扒咏阳坛涣益绒赞膨二
37、熬柔乌巨恿拦钓禾铬息龄案东专题6偏最小二乘回归ppt课件多元统计分析专题32323.自变量自变量xj在解释因变量集合在解释因变量集合Y时的作用时的作用 xj在解释在解释Y时作用的重要性时作用的重要性,可以用变量可以用变量投影重要性指标投影重要性指标(Variable Importance in Projection,VIP),即即:三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容 ( (续续续续) )蜘膀揉喧裔械欧钮圾遮蠕渴凛朝平宦呸晒桑湾帘敝省驹门扩加母酥聋寝恐专题
38、6偏最小二乘回归ppt课件多元统计分析专题3333需要注意的是：需要注意的是：需要注意的是：需要注意的是： 在上述分析自变量在上述分析自变量在上述分析自变量在上述分析自变量xjxj对因变量的解释能力过程对因变量的解释能力过程对因变量的解释能力过程对因变量的解释能力过程中中中中, ,虽然定义了虽然定义了虽然定义了虽然定义了VIPjVIPj指标指标指标指标, ,但其分析结论还基本是但其分析结论还基本是但其分析结论还基本是但其分析结论还基本是定性的。定性的。定性的。定性的。 我们只能说明相对而言我们只能说明相对而言我们只能说明相对而言我们只能说明相对而言, ,哪些自变量的作用更哪些自变量的作用更哪些
39、自变量的作用更哪些自变量的作用更大一些大一些大一些大一些, ,但却不能决定哪些自变量几乎没有作用但却不能决定哪些自变量几乎没有作用但却不能决定哪些自变量几乎没有作用但却不能决定哪些自变量几乎没有作用, ,因此，可以从自变量集合中被删除。因此，可以从自变量集合中被删除。因此，可以从自变量集合中被删除。因此，可以从自变量集合中被删除。 要解决这一问题要解决这一问题要解决这一问题要解决这一问题, ,还需要发展进一步的统计检还需要发展进一步的统计检还需要发展进一步的统计检还需要发展进一步的统计检验技术验技术验技术验技术, ,如如如如:Bootstrap:Bootstrap。三、偏最小二乘回归的辅助分析
40、技术三、偏最小二乘回归的辅助分析技术与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容 ( (续续续续) )克唆呛篮反渡孙先挥税哟炳灯屁顷惦贤冻嘉执篆营晶乞稀甩侄瞬棱统炭饲专题6偏最小二乘回归ppt课件多元统计分析专题34344.对成分的解释或命名对成分的解释或命名 我们从我们从th的构造方式来对其做一大致的的构造方式来对其做一大致的解释：解释： 其中其中,E0j是是xj的标准化后的变量的标准化后的变量; 可见可见,E0j的权重的权重hj*越大越大,xj在构造在构造th时的边际贡献就越为重要。因此在实际应时的边际贡献就越为重要。因此
41、在实际应用中用中,可根据可根据hj*(j=1,2,p)的取值情况的取值情况来大致判断成分来大致判断成分th的物理含义。的物理含义。三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容与典型相关分析对应的研究内容 ( (续续续续) )材蚀首措俏风鉴权雁蛔敞性淆羡丸倪孪饼烂赋贼梦缠游厕峻暴件篇类贤差专题6偏最小二乘回归ppt课件多元统计分析专题3535与主成分分析对应的研究内容与主成分分析对应的研究内容1.1.对样本点分布结构的观察对样本点分布结构的观察对样本点分布结构的观察对样本点分布结构的观察 从从
42、从从PLSPLS对成分提取的过程来看对成分提取的过程来看对成分提取的过程来看对成分提取的过程来看,t ,th h虽然并不是虽然并不是虽然并不是虽然并不是主成分分析中的主成分主成分分析中的主成分主成分分析中的主成分主成分分析中的主成分, ,但它却带有很明显的主成但它却带有很明显的主成但它却带有很明显的主成但它却带有很明显的主成分特征。例如分特征。例如分特征。例如分特征。例如t t1 1, ,它是在能很大程度解释它是在能很大程度解释它是在能很大程度解释它是在能很大程度解释Y Y的同时的同时的同时的同时, ,又尽可能多地反映又尽可能多地反映又尽可能多地反映又尽可能多地反映X X中的变异信息。中的变异
43、信息。中的变异信息。中的变异信息。 所以所以所以所以, ,在在在在PLSPLS分析后分析后分析后分析后, ,可以直接利用成分可以直接利用成分可以直接利用成分可以直接利用成分t t1 1、t t2 2, ,做做做做t t1 1/t /t2 2平面图。在这个图上平面图。在这个图上平面图。在这个图上平面图。在这个图上, ,以以以以(t (t1 1(i),t(i),t2 2(i)(i)作作作作为样本点为样本点为样本点为样本点i i的坐标点的坐标点的坐标点的坐标点, ,绘出所有样本点的位置绘出所有样本点的位置绘出所有样本点的位置绘出所有样本点的位置, ,从而从而从而从而观察样本点在高维空间的分布特征和相
44、似性结构。观察样本点在高维空间的分布特征和相似性结构。观察样本点在高维空间的分布特征和相似性结构。观察样本点在高维空间的分布特征和相似性结构。三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术孜豁虞侍锚顺抢民唇譬啃擅顶辆忠可艳脑搔巧遵螟垃慷日葡喳镣姻绅嘎狞专题6偏最小二乘回归ppt课件多元统计分析专题36362.特异点的发现特异点的发现 样本中特异点的存在会对回归线产生明样本中特异点的存在会对回归线产生明显的拉动作用显的拉动作用,使模型偏离原统计规律。使模型偏离原统计规律。 类似于主成分分析类似于主成分分析,定义第定义第i个样本点对个样本点对第第h成分成分th的贡献率的贡献率:三
45、、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术与主成分分析对应的研究内容与主成分分析对应的研究内容与主成分分析对应的研究内容与主成分分析对应的研究内容 ( (续续续续) )烁均喧袱态澄般枝食唐瞩捏工舒厘篙恳拱嗡肋揭坞寅炉重发色半臀剃煌升专题6偏最小二乘回归ppt课件多元统计分析专题3737从而从而,样本点样本点i对成分对成分t1,t2,tm的累计贡献的累计贡献率率: 一般说来一般说来,Ti2值不宜过大。一个点若对成值不宜过大。一个点若对成分构成的贡献过大分构成的贡献过大,它的存在有可能使分析它的存在有可能使分析发生偏离。发生偏离。Tracy给出了一个统计量用以检给出了一个统计量
46、用以检验验:三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术与主成分分析对应的研究内容与主成分分析对应的研究内容与主成分分析对应的研究内容与主成分分析对应的研究内容 ( (续续续续) )运澄秒淮悉踩典盎蒲项糯缀氖梁哇矿躁忧引吮积岗藏盛檬歌遂裸码芝荆帽专题6偏最小二乘回归ppt课件多元统计分析专题3838 所以所以,当当 时时,可以认为在可以认为在95%的检验水平下的检验水平下,样本点样本点对成分对成分t1、t2、tm的贡献过大的贡献过大,这时称样这时称样本点本点i为一个特异点。为一个特异点。三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术与主成分分析对应的研究内
47、容与主成分分析对应的研究内容与主成分分析对应的研究内容与主成分分析对应的研究内容 ( (续续续续) )时牧沿雷奄旁茁棍吻霞累藩讲乍败泄磨阵簿孵避诈乎泰匹胡共韦叭稗闪拼专题6偏最小二乘回归ppt课件多元统计分析专题3939 当当m=2时时,这个判别条件为这个判别条件为 则有则有: 上式是一个椭圆。上式是一个椭圆。三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术与主成分分析对应的研究内容与主成分分析对应的研究内容与主成分分析对应的研究内容与主成分分析对应的研究内容 ( (续续续续) )虾兵亮阉刽洪拴焉埋名掘翱祸愚家灌蹭箕译识疙搪轧谨亲逢屹养轰梢鲁碘专题6偏最小二乘回归ppt课件多元
48、统计分析专题4040 所以所以,在在t1/t2平面图上平面图上,可以做出这个可以做出这个椭圆图。如果所有的样本点都落在椭圆内椭圆图。如果所有的样本点都落在椭圆内,则认为所有的样本点的分布是均匀的则认为所有的样本点的分布是均匀的;否则否则,若有若干样本点落在椭圆之外若有若干样本点落在椭圆之外,则可以认为则可以认为这些点是特异点这些点是特异点,它们的取值远离所有样本它们的取值远离所有样本点的平均水平。点的平均水平。三、偏最小二乘回归的辅助分析技术三、偏最小二乘回归的辅助分析技术与主成分分析对应的研究内容与主成分分析对应的研究内容与主成分分析对应的研究内容与主成分分析对应的研究内容 ( (续续续续)
49、 )韶厅巷沁负卧缔阑汽冲教烟用铜淡巍剩炭荒存紫亲呀腺悸中辞颈味成乘魔专题6偏最小二乘回归ppt课件多元统计分析专题4141四、偏最小二乘回归的研究前沿四、偏最小二乘回归的研究前沿Partial Least-Squares Path ModelingPartial Least-Squares Hierarchical ModelingNonlinear Partial Least-Squares Regression顺忻队钓轮琅仟乾攻麻燕曰软疙够褪右惩网涧均莽佳疏本堤卢虎谎温祭瞬专题6偏最小二乘回归ppt课件多元统计分析专题4242五、文献研读五、文献研读 The PLS Procedure.SAS OnlineDocTM:Version8溺耀炸妆牙晚臃勺钱须陡庸试僻烩稍靶博拎史娟赎试谎妊邀慑愿亿僚镊赢专题6偏最小二乘回归ppt课件多元统计分析专题4343
