第十五章供应链管理

《第十五章供应链管理》由会员分享，可在线阅读，更多相关《第十五章供应链管理（57页珍藏版）》请在金锄头文库上搜索。

1、 第十一章第十一章 盲信号与独立分量分析盲信号与独立分量分析11.1 盲信号处理导论11.2 独立分量分析概述11.3 基本概念11.4 ICA的优化判据11.5 ICA的优化算法 11.1 盲信号处理导论盲信号处理导论（一）盲信号处理（BSP，Blind Signal Processing） 问题：当传输信道特性未知时，从一个传感器或转换器 的输出信号分离或估计原信号的波形。 注：不确定性是指被估计信号任意比例伸缩，排序和 时滞。依然保留了原信号的波形，是可以被BSP 接收的，对于BSP不是最关键的。 11.1 盲信号处理导论盲信号处理导论三个主要方向： 盲信号分离与提取（BSS：Blind

2、 Signal Separation） 确定一个或几个具有特殊统计或性质的子分量，舍弃不感兴趣的信号或噪声。 用二阶统计量可以完成。 独立分量分析（ICA：Independent Component Analysis) 得到相互独立的输出分量。在实际应用中应作一定的处理。 用高阶统计量来进行分析。 多通道盲解卷积和均衡（MBD） 11.1 盲信号处理导论盲信号处理导论（二）处理方法和思路（四个） （1）HOS：高阶统计量衡量信号的独立性和高斯性， 或稀疏性（ICA）。 （2）SOS：有时序结构用二阶统计量（SOS）即可， 不能分离具有相同功率谱形状或独立同分布信号。 （3）NS+SOS：利用非

3、平稳信息和SOS结合，能够分 开功率谱形状相同的源信号。但若非平稳性也相但若非平稳性也相 同就不可以分离。同就不可以分离。 （4）STF多样：多样：运用信号不同多样性：时域多样性， 频域多样性，空域多样性。 TDMA， FDMA， SDMA 11.1 盲信号处理导论盲信号处理导论（三）应用：医学，语音增强，无线通信 （1）生物医学处理：非侵入式评估人体器官不同生 理变化。 典型：胎儿心电图信号提取。 测量方法：在母体腹部放置若干体表电极，测 量电位差信号ECG：包括MECG，FECG。 母体心电图信号=胎儿心电图信N（N=1.5100） 自适应滤波；胎儿的心率与母体心率不同的，可看作 是独立的

4、。测量 11.1 盲信号处理导论盲信号处理导论（2）声音提取： 典型例子：“鸡尾酒会”的问题。 人的大脑可以很快辨出或集中听某种需要关注声音。麦克风1麦克风2麦克风3的设计，声音识别，可以识别微弱声音信号。的设计，声音识别，可以识别微弱声音信号。归结为归结为 11.1 盲信号处理导论盲信号处理导论（3）数字通信系统：M1M0均衡器，滤波器。符合盲信号处理对多通道的要求，不需要有干扰信号的训练样本。 11.1 盲信号处理导论盲信号处理导论 （4）图像处理：建立一系列具有独立特征的组合，去 掉高阶关联性。 降噪，识别，压缩。 11.2 独立分量分析概述独立分量分析概述（一）前提：一般假设S中各分量

5、相互独立；零均值， 且方差为1。 以多导信号处理为基础，即：必须借助于一组把信源 按不同比例组合起来的多通道信号同步观察。 多导 信号包括：主分量分析（PCA）； 奇异值分解（SVD）。SXH 11.2 独立分量分析概述独立分量分析概述（二）多导信号处理基础 对于M通道的观察值（每通道N点采样数据）组成数 据阵X其中是正交归一阵，是准对角阵，N 不失一般性；通常设 为奇异值。 M 11.2 独立分量分析概述独立分量分析概述 11.2 独立分量分析概述独立分量分析概述 列向量u反应在不同通道的分量，空间模式； 列向量v反应在不同时刻的贡献，时间模式。 在均值为0时，其协方差阵可表示为：为特征值，

6、是对的主分量分解 。分解出的分量是按能量大小排序的主分量分解:是按能量大小进行排序，反映信号主要分量。 11.2 独立分量分析概述独立分量分析概述（三）ICA的简单思路 ICA的任务明确为：在S，A均未知的情况下，求B，使Y=BX是 S的最优逼迫。 基本原则: (1)非线性去相关。求B，使任意两输出yi, yj(ij)不相 关; 且经非线性变换g(yi), h(yi)也不相关（高阶统计量）。 (2) 使输出尽可能非高斯化。Y的非高斯性的每个局部极 大值都给了一个独立分量。（四）ICA研究机构SX=ASY=BX混合矩阵混合矩阵解混矩阵解混矩阵 AB 11.2 独立分量分析概述独立分量分析概述 对

7、X求协方差阵（假设各导记录的均值皆为0），则有： 为特征值，上式是对Cx的主分量分解。 分解出的分量按能量大小排序 。如果原始数据的 秩小于M，则某些奇异值，特征值将等于0。 SVD，PCA分解, 保证分解出来的各分量不相关，不能保证分量 相互独立。 ICA最早是针对最早是针对“鸡尾酒会问题鸡尾酒会问题”，从酒会嘈杂人声中提取所关，从酒会嘈杂人声中提取所关心心 对象的语音，针对对象的语音，针对CDMA把各用户码分解开来。把各用户码分解开来。 11.2 独立分量分析概述独立分量分析概述（三）ICA最简单框图说明 ICA任务：S，A均未知，求B，使Y=BX是S的最优逼迫。 分解基本原则： （1）非

8、线性去相关。求B，使任意两输出yi, yj(ij)不相 关；且经非线性变换g(yi), h(yj)也不相关（高阶统计 量）。 （2） 使输出尽可能非高斯化,Y方差恒定， Y的非高斯性的每一个局部极大值给出了一个独立分量。SY=BX混合矩阵混合矩阵解混矩阵解混矩阵X=ASBA 11.2 独立分量分析概述独立分量分析概述主要研究结构: (1)美国加州大学生物系，计算神经生物实验室，提出 信息极大化( infomax )。 http:/l.salk.edu. (2)日本Riken的数量神经科学实验室，互信息极小化 （minimization of mutual information MMI)采用人

9、 工神经网络优化。 http:/www.brain.riken.jp/lab/mns/amari 11.2 独立分量分析概述独立分量分析概述（3）芬兰赫尔辛基工业大学神经网络研究中心 www.cis.hut.fi/oja www.cs.helsinki.fi/aapo.hyvarinen 高阶统计量引入PCA，提出了立足于逐次提取独立分 量的固定点算 法（fixed point algorithm) 。fast ICA :使提取信号 非高斯性极大化。 计算量小，收敛速度快。 （4）法国学者：J.F.Cardoso http:/tsi.enst.fr/cardoso. JADE 算法 批数据处理

10、算法批数据处理算法 近年来引人注意的稀疏分量分析。 优化判据 优化算法 应用 11.3 基本概念（与基本概念（与ICA相关）相关）（一）n阶矩： 一阶均值 三阶偏斜度 二阶均方 四阶峰度 统计估计时，偏斜度，峰度是对标准化了的数据x (均值 为0，方差为1）进行的。（二）n阶累计量： 第二特征函数第二特征函数特征函数特征函数 均值 方差 Taylor展开展开 （moment）（cumulant）单变单变量量 11.3 基本概念（与基本概念（与ICA相关）相关）说明：说明： (1)对单变量高斯型信号，二阶以上的矩和累计量或为 0，或可由一，二阶推导，是冗余的，因此，高斯型随 机变量可由一，二阶统

11、计特征来完整描述。 (2)当pdf关于原点偶对称，m3=k3=0。 (3) k40 超高斯, k40 亚高斯, k4 常用于对非高斯，但 对称的pdf分类。 用k4大小作为衡量信号距离高斯型程度的度量。 11.3 基本概念（与基本概念（与ICA相关）相关）（三）联合矩，联合累计量 性质：（1）当x各分量相互独立，互累计量必为0。 （2）比例性： cum(w1x1,w2x2,w3x3,w4x4)=w1w2w3w4cum(x1,x2,x3,x4) 联合矩： 11.3 基本概念（与基本概念（与ICA相关）相关）（四）熵： 反映平均信息量。 （1）当随机变量取值一定范围时，其取值作均匀分布将具有最大熵

12、值。 （2）当随机变量的功率一定时，高斯分布具有最大熵值 （五）KL散度: 描述的是两个概率密度函数间相似程度（kullback-leibler 散度） 单变量： 多变量： KL0；p(x)=q(x), KL=0. 反映了p(x),q(x) 在某种意义下的距离。KLp,q KLq,p 与距离对 称性不同，不宜称为距离。 重要应用：用来度量任意多变量概率密度函数中各分量相互独立程度。X代表矩阵代表矩阵干扰最佳形式 11.3 基本概念（与基本概念（与ICA相关）相关）（六）互信息：定义当p(X)为多变量x1,x2,xN的联合 pdf，p(xi)为各分 量边际pdf. 称为互信息I（mutual i

13、nformation). 性质：（1）I(x) 0，I(x)=0，x 中各分量相互独立。 可作为独立程度度量。 （2）与信息熵的关系：与信息熵的关系： 各分量信息熵的总和各分量信息熵的总和联合熵联合熵 （3）反映了每个分量携带另一分量信息的含量。def 11.3 基本概念（与基本概念（与ICA相关）相关）（七）负熵：任意pdf p(x)和具有相同协方差阵的高斯分布pG(x)的KL散 度，作为该pdf 非高斯程度的度量。 负熵（negentropy) 单变量： 多变量： 性质：（1）Jp(x) 0，p(x)=pG(x)：当且仅当Jp(x)=0代表高斯分布。 （2） Cx是行列式 互信息与负熵的关

14、系。 11.4 ICA的优化判据解混系统解混系统B球化球化W正交系统正交系统UZ(t)混合系统混合系统Ax(t)y(t)s(t)系统简图系统简图一、概述一、概述 独立分量分析的实质是优化，即在某一衡量独立性判独立分量分析的实质是优化，即在某一衡量独立性判据最有意义下寻求近似解。解是近似解，且排列次序据最有意义下寻求近似解。解是近似解，且排列次序 上，幅度上允许不同上，幅度上允许不同11.4 ICA的优化判据步骤步骤：两步法解混：两步法解混（1 1）球化：）球化：确定线性变换确定线性变换W W使使z(tz(t) )的各分量的各分量z zi i(t(t) )的方差为的方差为1 1，且不，且不相关（

15、相关（未必相互独立未必相互独立）11.4 ICA的优化判据（2 2）正交变换：）正交变换：y yi i的方差保持为的方差保持为1 1，且尽可能相互独立，且尽可能相互独立第一步已经满足独立性对二阶统计量的要求，因此第二第一步已经满足独立性对二阶统计量的要求，因此第二步只考虑三阶以上的统计量步只考虑三阶以上的统计量 ICAICA：各分量在方差相等的情况下尽可能独立，：各分量在方差相等的情况下尽可能独立，“对任意多变量数据寻求某种非正交坐标系的分解对任意多变量数据寻求某种非正交坐标系的分解” PCAPCA：按能量大小排序进行分解，分解出的分量相：按能量大小排序进行分解，分解出的分量相互正交互正交11

16、.4 ICA的优化判据11.4 ICA的优化判据ICA最优判据最优判据最优算法最优算法独立性判据统计学意义：联合独立性判据统计学意义：联合pdfpdf是否可以表示称各是否可以表示称各边际边际pdfpdf的乘积？的乘积？11.4 ICA的优化判据最直接的判据：互信息I(y)由于由于 ， 未知，需要对其估计，实际做法是将未知，需要对其估计，实际做法是将pdfpdf变成高阶统计量的技术，或在输出端引入某种非线变成高阶统计量的技术，或在输出端引入某种非线性环节，来自动引入高阶统计量性环节，来自动引入高阶统计量一、统计独立性与互信息测度间的关系一、统计独立性与互信息测度间的关系11.4 ICA的优化判据

17、y中分量独立时中分量独立时互信息极小化判据互信息极小化判据判据：选择判据：选择B，由由x求求 达到达到 极小极小判据的优点：判据的优点：y y中各分量的排序和幅度比例变化具中各分量的排序和幅度比例变化具有不变性有不变性仍涉及仍涉及pdf，需要用高阶统计量近似，需要用高阶统计量近似11.4 ICA的优化判据最简单的逼近思路最简单的逼近思路输入信号的熵与B无关等效于等效于极小极小表示为高阶统计量表示为高阶统计量的组合的组合若若 不等于不等于1，则，则 应除以应除以二、信息极大化判据（二、信息极大化判据（Informax）11.4 ICA的优化判据By(t)x(t)y1(t)y2(t)yM(t)g1

18、(*)g2(*)gM(*)r1(t)r2(t)rM(t)用非线性函数用非线性函数 来代替高级统计量的估计来代替高级统计量的估计由于由于 是单调可是单调可逆，变换前后互逆，变换前后互信息具有不变性信息具有不变性 接近信源接近信源的累计分布的累计分布 判据：给定合适的 后，使输出的 总熵量极大，或 极小，或 极大11.4 ICA的优化判据 是接近信源的累积分布函数， 单增， 极小， 极大可以用sigmoid，tanh等11.4 ICA的优化判据通过非线性环节送出去的信息量最大， 最大由于非线性环节确定，y一定下，r也确定0极大，极小极大，极小，各分量互信息极小极大，三、极大似然判据三、极大似然判据

19、11.4 ICA的优化判据，定义 最大为极大似然估计目标函数极大似然估计含义：选择A，使 极大，B给定，y分量独立ICA中中：x的对数极大似然函数在独立的条件下，可以证明11.4 ICA的优化判据使使L(B)极大极大11.4 ICA的优化判据 与B B无关，可见 极大，意味着互信息 极小11.4 ICA的优化判据四、高阶统计量独立性判据四、高阶统计量独立性判据在多变量情况下，y中个分量相互独立时，全部累计量=0，y的维数高时，计算量大，不太实用11.4 ICA的优化判据五、判据近似逼近五、判据近似逼近判据涉及pdfpdf未知pdf级数展开适当选取非线性函数简化，逼近如：Informax，逐分量

20、引入 使 极大gi的选择，单增， 之间，常用sigmod，tanh， 等11.5 ICA的优化算法批处理法：JADE对一批已取得的数据进行优化自适应算法： 对输入信号自适应处理逐次提取Joint Cumulant and Correlation based signal seperationwith application to EEG data analysis11.5 ICA的优化算法一、逐次提取法一、逐次提取法 投影跟踪投影跟踪1 1、思路：从、思路：从“最独立的方向投影最独立的方向投影”实际工作中，以“投影后数据的pdf（概率密度函数）距离高斯分布最远”，将各独立分量逐个提取出来，每提

21、取一个，把该分量从原始数据中剔除理由：理由：对y中的某个元素 有11.5 ICA的优化算法若si非高斯的， 比yj更接近高斯分布当vij其中只有一个为1，其余为0， yj=sk，距离高斯分布最远最接近信源实际上，A A未知，只能通过改变B B中的元素，使yj的分布最非高斯11.5 ICA的优化算法度量非高斯程度-负熵当 分布是高斯分布越大，说明离高斯变量越远11.5 ICA的优化算法2 2、方法：、方法：（1）负熵可以表示称高阶统计量的函数较小，偶对称较小，偶对称结论：结论：与独立分量间的关系：与独立分量间的关系：调节调节v使使 达到最大达到最大/极大，就能得到独立分量极大，就能得到独立分量在

22、一定约束条件下，在一定约束条件下， 的极值对应与权重矢量的极值对应与权重矢量v中只有一个元素为中只有一个元素为1，其余，其余皆为皆为0的情况，此时的情况，此时y的独立分量为某一独立分量的独立分量为某一独立分量s11.5 ICA的优化算法设有两个独立源设有两个独立源 ，经混合阵，经混合阵A，B得得由于由于s1，s2独立，有独立，有或或由于由于s1，s2，y是零均值，方差为是零均值，方差为111.5 ICA的优化算法任务：使任务：使 极大极大为便于讨论，设为便于讨论，设上式极大发生在上式极大发生在此时此时极大能得到独立分量极大能得到独立分量s1，s211.5 ICA的优化算法（2）为消除数据中的野

23、点造成估计结果不够稳健的现象，可采用非多项式函数逼近概率密度函数 与 标准高斯分布（方差为1，均值为0）相差不太大时， 可用若干非多项式函数 的加权和来逼近：满足：满足： 正交归一性正交归一性矩消失性矩消失性11.5 ICA的优化算法可以证明可以证明同时还可证明同时还可证明负熵负熵极大极大只要选定合适的 ，求各 的统计均值就可以近似估计得11.5 ICA的优化算法问题：如何选择 统计特性统计特性 不难求不难求 的增长速度不能快于的增长速度不能快于 对野点不敏感对野点不敏感实验中，N常取1，2 和 ， 奇函数，用来表示概率密度的非对称性； 偶函数，表现原点左右的双峰性 正常数， 是与 同样方差的

24、零均值高斯变量11.5 ICA的优化算法可用形式11.5 ICA的优化算法11.5 ICA的优化算法Z是一个分量相互正交，能量=1过程：输入x 方差x，cov(x) 特征向量，特征值白化阵11.5 ICA的优化算法三、固定点算法三、固定点算法由牛顿迭代中固定点映射而来，是一种递推算法求方程 的根 ，可将 写为 ，则称为固定点映射如 则可收敛 迭代11.5 ICA的优化算法1、四阶累计量的固定点算法（、四阶累计量的固定点算法（1997）U（ui是其第是其第i行）行）Zyi=uizx取均值，加以球化即得（1）取任意初始矢量）取任意初始矢量 满足满足（2）求）求 ， 是迭代序号，是迭代序号， 可通过

25、对可通过对Z的各时的各时刻的采样值求均值来估计刻的采样值求均值来估计（3） 归一化归一化 ： （4） 若若 不接近不接近1， 加加1，返回步骤（，返回步骤（2），否则迭代结束），否则迭代结束（5）提取独立分量）提取独立分量 11.5 ICA的优化算法2、负熵的固定点算法（、负熵的固定点算法（2001）（1）x去均值，加以球化得去均值，加以球化得Z（2）任选）任选ui的初值，使的初值，使（3）令）令 ， 为为 的的一阶，二阶导数，总集均值用时间代替一阶，二阶导数，总集均值用时间代替（4）归一化）归一化（5）若）若 不接近不接近1， 返回步骤（返回步骤（3），否则迭代结），否则迭代结束束（6）提取

26、分量）提取分量该方法收敛具有三阶收敛速度该方法收敛具有三阶收敛速度11.5 ICA的优化算法3、多个分量逐次提取、多个分量逐次提取若已提取若已提取p-1个矢量，个矢量， 若采用上述方法提取了若采用上述方法提取了p个矢量，在个矢量，在进行下轮迭代前，将进行下轮迭代前，将 按下式正交化按下式正交化步骤：步骤：（1）原始数据）原始数据x去均值，再球化，得去均值，再球化，得Z（2）m为待提取独立分量数目，为待提取独立分量数目，p=1再将所得的再将所得的 归一化归一化为初始值为初始值11.5 ICA的优化算法（3）任取）任取 ， （4）迭代）迭代（5）正交化）正交化（6）归一化）归一化（7）若）若 为收敛，回步骤（为收敛，回步骤（4）（8）p+1，若，若pm，回步骤（，回步骤（3）