《独立分量分析的非参数方法》由会员分享，可在线阅读，更多相关《独立分量分析的非参数方法（63页珍藏版）》请在金锄头文库上搜索。
1、南开大学 博士学位论文 独立分量分析的非参数方法 姓名：李长国 申请学位级别：博士 专业：概率论与数理统计 指导教师：张润楚 20040401 摘要 独立分量分析( I n d e p e n d e n tC o m p o n e n tA n a l y s i s ，I C A ，C o m o n ( 1 9 9 4 ) ) 是近年来 发展起来的一种信号处理技术。起源于解决盲源分离问题( B l i n dS o u s eS e p a r a t i o n ， B S S ，J u t t e na n dH e r a u k ( 1 9 9 1 ) ) ，即从混合信号中分离
2、出独立分量( 如不同声音，音 乐或者噪音) 具体地讲，除了已有混合信号的记录外，源信号( S o u r c eS i g n a l ) 和混合 方式都是未知的，在这个条件下，设法分离出独立源信号的问题就是盲源分离问题 根据源信号混合形式的不同，独立分量分析可分为线性独立分量分析( L i n e a r I C A ) 和非线性独立分析( N o n - l i n e a rI C A ) ，本文主要研究线陛情况设可观察的 m 维随机变量为x = ( X v 一，x 。) ，未知的具有独立分量的n 维源向量为s = ( 8 H 一，) 它们之间的混合方式为 x = A s 其中A 未知m
3、 礼阶矩阵，称为混合矩阵I C A 的基本问题是利用观测到的信 号X ，估计出源信号s 的一个版本，或者等价地。估计出混合矩阵A 解决这个问 题的经典方法是信息最大方法( 1 n f o m a x ，B e l la n dS e j n o w s k i ( 1 9 9 5 ) ) ，可以证明这类 方法和统计学中的极大似然法( M a x i m u mL i k e l i h o o d ，C a r d o s o ( 1 9 9 7 ) ) 是等价的 独立分量分析的其他方法有非线性主分量分析方法( N o n - l i n e a rP r i n c i p a lC o m
4、 p o - n e n tA n a l y s i s ，o j a ( 1 9 9 9 ) ) 累积量法( C u m u l a n t ，C a r d o s o ( 1 9 9 0 ) ) ，B u s s g a n g 算法( C i r o I a m ia n dF y f e ( 1 9 9 7 b ) ) 以及快速定点算法( 飚tF i x e d - p o i n t ，H y v a e r i n e na n d O j a ( 1 9 9 7 ) ) 等，所有这些方法的共同问题是在处理未知独立分量的密度上，采取有 限阶矩近似或者参数办法，限制了方法的应用范
5、围比如信息最大化办法就无法分 离含有重尾( H i g hK u r t o s i s ) 分布的信号正式基于这个原因我们考虑非参数方 法一核密度估计( K e r n e lD e n s i t yE s t i m a t e ( K D E ) ，S i l v e r m a n ( 1 9 8 6 ) ) 方法估 j I I 摘要 一 计来知信号的密度，但问题是没有现成的样本数据我们的处理思路是利用观测到 的混合信号x ( t ) R N , t = 1 ，2 ，r 经过投影得到的拟样本( Q u a s j s a n lp 】e k s = 叫? x ( 牝= 1 ，2 ，丁
6、，i = 1 2 ，s ( 亡) = W 丁x ( t ) ，t = 1 川2 一，丁做联 合密度和边缘密度函数的非参数密度核估计量： ( 8 ，= 嘉喜( 掣) 舶扣去砉凰( 华) 其中K N ，K 1 分别为N 维和维标准正态分布密度函数： 爿k ( x ) = ( 2 “ ) - N e x p 一；x T x ，K 1 ( 算) 一( 2 7 r ) 一l e x p 一；茁2 ) 定义 rrN12 G ( w ) = f ，) 一z 瓴) J 作为独立性的定量指标( 日标函数) ，最小化这个目标函数得到参数就是要求的混合 矩阵的元素本文采用随机寻找( R a n d o m S e
7、a r c h i n g ) 的办法得到该参数的估计随 机模拟表明，效果很理想该方法在使用范围上对信源分布没有限制，可用于一般的 独立分量分离| 可题 整个文章安撒H 下； 第一章介绍了独立分量分析的基本背景和应用领域。给出几个I C A 的基本模型 以及假设条件 第二章给出必要的预_ 备知识主要包括梯度概念。因为独立分量分析问题，基本 是算法问题- 所以我们给出了梯度的基本内容另个塞本概念就是独立性结合独立 分量分析的环境，我们给出它和相关性关系的个很好的例子，而这个例子在一般的 文献中都提到，但没有很细致的数学解释，在本章本人给出较全面的分析独立分量 摘要I 分析的第三个明显特征是非线性
8、分析方法，这里的非线性是指高阶方法( H i g h o r d e r M e t h o d s ) ，即研究随机变量的高阶矩有关信息而经典的多元分析方法基本是线性方 法，或二阶方法( S e c o n d o r d e rM e t h o d s ) 。即仅限于研究随机变量的二阶信息所以 本章花了一定精力在两种方法的比较上最后个预备知识是神经网络因为作为一 种重要的非线性算法- 神经网络一在统计学上的应用越来越受到重视，而且在献中， 独立分量分析和神经网络几乎是无法分离的所以我们在这里给了个最经典的后 传网络( B a c k - P r o p a g a t e dD e l
9、t a R u l eN e t w o r k s ) 及其应用 第三章把独立分量分析放在统计学习的角度来分析，指出它是一种无师( U n s u p e r v i s e dL e a r n i n g ) 的学习方法 第四章把独立分量分析和多元分析进行的比较，独立分量分析是一种高阶方法， 其主要目的不是。降维”，这是和其他经典多元分析方法的不同之处 第五章把独立分量分析与信息理论结合起来在介绍几个基本概念后，给出I n f o m a x 原则的起源极其处理I C A 问题的不足；目标函数和独立的关系不是一一对应 的，以及处理源信号密度时参数采用手段的缺陷和这个方法本质榷同的极大似然
10、方 法由于也是参数方法，同榉存在类似的同题， 第六章给出独立分量分析和主分量分析的比较，结论是尽管独立分量分析可以 在一定条件下可以非线性主分量分析方法得到但由于其目标函数并不是独立性，而 是最小二乘意义上的拟合误差，独立结果有偶然味道 第七章给出了作者关于独立分量分析的研究一非参数密度估计方法在独立分量 分析中应用，是本论文的重点由于独立在统计上就是密度函数的可因子分解。我们 紧紧围绕这这个定义，井把联合密度和各分量密度乘积的差作为该问题的目标函数 从而得出基I C A 的非参数研究办法本质是对源信号密度的估计，我们用的方法是 非参数”核密度“估计方法，而不是I C A 文献中的各种参数方法
11、这样我们不但有了 联合密度函数。同样也得到各边缘密度函数( 仅用到投影) ，其优点文中给出说明 I v 摘要 第八章简单介绍非线性独立分量分析这里的非线性是指独立分量和观测变量 的非线性函数关系，目前这个领域的研究不多，主要方法是贝叶斯方法，本章简单给 出此方法的说明，并指出我们的方法很容易移植到非线性I C A 问题中 A b s t r a c t I n d e p e n d e n tc o m p o n e n ta n a l y s i s ( I C A ，o rb l i n dS O u r c es e p a r a t i o n ) r e f e r s t
12、ot h e p r o b l e mo fr e c o v e r i n gs t a t i s t i c a l l yi n d e p e n d e n ts i g n a l sf r o ma l i n e a rm i x t u r ew h i c h h a sr e c e i v e dc o n s i d e r a b l ea t t e n t i o ni nt h em a c h i n el e a r n i n gc o m m u n i t yd u r i n gt h e l a s tf e wy e a r s T h
13、e r ei sa v a r i e t yo fs i t u a t i o n sw h e r ew eo b s e r v es i g n a l st h a to r i g i n a t e d a s c o m b i n a t i o no fi n d e p e n d e n tp r o c e s s e so rs o u r c e s A ne x a m p l ei s C o c k t a i l - P a r t y - P r o b l e m ，S o u n da m p l i t u d e si naa c o u s
14、t i ce n v i r o n m e n ta d du pl i n e a r l y M u l t i p l e s o u n ds o u r c e ss u c h 船s p e a k e r s m u s i co rn p i s es o u r c e sa r em e a s u r e db yt h em i c r o p h o n e sa sam i x t u r e T h eq u e s t i o ni s ，h o wc a r lo n er e c o v e rt h ei n d i v i d u a ls p e a
15、 k e r s ? E f f e c t i v e l yw ef i n dt h ep r o b l e mo fr e c o v e r i n g s o u r c e sf r o mal i n e a rm i x t u r e w h e n e v e rt h e r ei s i n d e p e n d e n t l yg e n e r a t e ds i g n a l s ，S = ( s l ，a m ) ? ，al i n e a r m e d i u mA a n dan u m b e ro fs e n s o r st od e
16、t e c tt h em i x t u r e sx = A s I nt h ec o c k t a i l - p a r t yp r o b l e mt h et i m ed e p e n d e n t s o u r c e ss ( t ) c o r r e s p o n dt om m u l t i p l es p e a k e r s ， w h i l et h em i x t u r e sp a r a m e t e r sA c o r r e s p o n dt ot h er o o mr e s p o n s ec h a r a c t e r i s t i c N o t et h a ta n yp e r m u t a t i o na n ds c a l i n go fi
