盲信号分离及其应用

《盲信号分离及其应用》由会员分享，可在线阅读，更多相关《盲信号分离及其应用（139页珍藏版）》请在金锄头文库上搜索。

1、盲信号分离及其应用曹薇合肥工业大学 图像信息处理研究室Tel:2901393 Email: http:/ Party Effect 在某个聚会上，我们正在相互交谈，当然 同一时刻同一场景下其他人的交谈也在同时进 行着，可能还有乐队的音乐伴奏，这时整个会 场上是一片嘈杂。但是非常奇妙的是，作为交 谈对象的双方，我们能够在这混乱的众多声音 中很清晰的听到对方的话语，当然，如果我们 偶尔走神，将精力放在乐队奏出的音乐时，我 们也同样可以听清楚音乐的主旋律，或许还可 以记起它的名字呢。 这种可以从由许多声音所构成的混 合声音中选取自己需要的声音而忽视其 他声音的现象就是鸡尾酒会效应。信号处理领域中其他

2、类似的应用n在阵列信号处理技术中仅仅凭借传感器 的观测信号估计未知信号源的波形 n在生物医学信号中提取有效信号 n在无线通信中利用一个信道实现多用户 通信服务 n在语音识别中达到“鸡尾酒会效应” 如何在这种从观察到的混合信号 中分离出源信号的问题就是所谓的盲 分离（Blind Signal Separation, BSS） 问题，有时也被称为盲源分离（ Blind Source Separation）问题12 盲的含义n源信号的形式是未知的 n源信号的混合方式也是未知 的 盲信号分离简介n盲信号分离的基本分类n盲信号分离的发展状况分类n线性瞬时混合n线性卷积混合n非线性混合n单通道信号盲分 离

3、 n多通道信号盲分 离 返回发展状况n盲信号分离是一种功能强大的信号处理方 法 n对其研究始于二十世纪八十年代中后期 n有关的理论和算法都已经取得了较大的发 展 n对于线性瞬时混合信号的分离问题、卷积 混合信号的分离问题以及非线性混合信号 的分离问题都做了深入的研究，提出了许 多经典算法 n用于语音信号分离、图像特征提取和医学 脑电信号的分离等方面 本次讲座的主要内容n盲分离的基本理论 n解决盲分离问题的典型算法 n盲分离的应用、研究现状和发展趋 势 基本理论n盲信号分离的数学建模n盲信号分离的可解性与独立性分析 n盲信号分离的目标函数 n盲信号分离的优化算法 数学建模n线性瞬时混合盲信号分离

4、的数学建 模 n线性卷积混合盲信号分离的数学建 模n非线性（Post-Nonlinear, PNL）混合 盲信号分离的数学建模 返回线性瞬时混合盲信号分离的数学建模nS1(t)，S2(t) Sn(t)是一个随机的 时间序列，用m个话筒表示接收到 的混合信号，用X1(t)，X2(t) Xm(t)来表示。它们有如下关系：其中aij是混合系数， aij也是未知 的，在线性瞬时混合中，一般假定aij是未 知的常数矩阵 盲分离问题需要解决的问题就是如 何从接收到的观察信号中，估计出源信号 S1(t)，S2(t) Sn(t)和混合矩阵的过程。 实际上式还应该存在一个干扰存项，如果 考虑到噪声的迅在，那么上

5、式可以推广到 更一般的情况，即为：X(t) = (X1(t)，X2(t) Xm(t)T为接收到的m维随机 向量，又称为观察向量，也是唯一可以利用的条 件，S(t) = (S1(t)，S2(t) Sn(t)T是n维独立的源信号组 成的向量，又称为隐含向量，因为它们是未知的 观察不到的向量，有时也称为独立分量，n(t)为噪声向量，A是aij系数组成的混合矩阵。盲分离问题就是求得一个分离矩阵 W，通过W就可以仅从观察信号X(t)中 恢复出源信号S(t)。设y(t)是源信号的估 计矢量，则分离系统可由下式表示： 返回卷积混合盲信号分离的数学建模 更为一般的情况考虑到延迟和 滤波的混迭信号的线性混合。这

6、 通常被称为卷积混合。 x(t) = 这里x(t)和s(t)分别代表观 察信号和源信号。A(k)为混叠 矩阵，又称为冲激响应。 盲反卷积（Blind Deconvolusion, BD）的数学模型y(t) = 盲反卷积又被称为盲均衡(Blind Equalization) ，其中W(k)被称为均衡器系数矩阵。 因为传输的延时以及接收系统频响 的差异，瞬时混合系统盲分离算法一般 不能够处理卷积混合问题。一类很有研 究前景的方法就是频域盲源分离算法 116，利用频域算法可以提高BSS方法 的收敛速度和学习速度，另外时域卷积 问题可以变换为频域相乘问题。 返回非线性混合盲信号分离的数学建模 主要介绍

7、一种研究最为广泛 的非线性混合模型后非线性 混合信号的盲分离。 即将源信号线性混合后再通过一个非 线性函数得到观察信号 求解分两个步骤：1.寻找一个非线性函数g()，使得g()=f 1()， 即非线性的校正阶段。2.与线性瞬时混合的盲分离求解一样寻找一 个分离矩阵，求得源信号的近似。返回可解性与独立性分析n可解性分析n独立性分析为了简单起见，我们考虑无噪（noise free）情况，即n(t)很小，可以忽略不计 n方程的个数小于未知量的个数，因此以 数学观点看来，这是个无解的问题。 n已经证明了在满足一定假设的条件下， 仍然可以通过某些方法来求解上述问题 盲分离问题的假设条件： n源信号S1(

8、t)，S2(t) Sn(t)在统计上是 相互独立的 nA是列满秩的常数矩阵n源信号是非高斯信号且至多有一个是高 斯信号 即若能够找到分离矩阵W，使 得输出信号 且Y(t)的各个分量之间也满足相互 独立，则Y(t)就是原始信号矢量S(t)的完 好恢复，此时矩阵乘积WA与某一广义 交换矩阵G相等，盲分离问题的框图如 图6.1所示。 盲信号分离的框图 Tong指出，当参数化盲信号分离问 题的满秩矩阵可以分解为一个满秩的对 角矩阵和排列矩阵（即初等矩阵）的乘 积时，此时源信号的波形可以得到恢复 ，并由此定义了盲信号分离问题的可解 性。 事实上，在盲分离过程中，源信号 的分离还具有模糊性，混合矩阵的辨识

9、 是有关病态（ill-posed）的问题。 主要表现n尽管可以正确的将源信号分离开来，但 是我们并不知道它们的排列顺序，这就 相当于同时交换输入信号和混合矩阵与 之对应的列的位置后，所得到的观察信 号仍然是相同的。n一个信号和与之对应的混合矩阵的列之 间互换一个固定的比例因子，对观察向 量不产生任何影响。 即盲信号分离的模糊性表现为分 离信号排列的不确定性和波形振幅的 不确定性。n但是源信号中几乎所有的信息都已经包 含在我们分离出来的波形中，它能够满 足我们进行下一步的分析研究。所以这 两种不确定性并不影响盲分离技术应用 。返回独立性分析如果能够找到矩阵W使得其输出 Y(t)=WX(t)的各个

10、分量之间也两两独 立，则Y(t)就是原始信号S(t)的完好的 恢复，此时矩阵乘积WA与某一广义交 换矩阵G相等。 独立性的定义 设p(y1,y2)是y1(t), y2(t)的联合概率 密度，假设y1(t)与 y2(t)的边缘概率密度 分别p1(y1)和p2(y2)，如果有以下关系： p2(y2)也有上述相似的关系式成 立，那么称y1(t)与 y2(t)为相互独立。 由于随机变量的概率密度一般都 是未知的，另外一个角度来理解独立 的概念对于两个随机变量y1(t)和y2(t)，如 果Cov(y1,y2)=Ey1y2-Ey1Ey2=0，那么 y1和y2不相关；如果Ey1py2q-Ey1pEy2q=0

11、，p和q 对任何整数都成立，则y1和y2统计独立 衡量独立性的测度在BSS问题中，用某一个目标函数来 测定，通常的ICA算法就是选定某个目标 函数，然后用某种方法来进行优化9。即独立分量分析目标函数优化算法 n算法的一致性、鲁棒性等依赖于目 标函数的选择 n算法特性如收敛性、数值稳定性则 依赖于优化算法 盲信号分离的目标函数n负熵n高阶累积量n互信息nKullback-Leibler（K-L）散度 返回在信号的平均功率受限时，具有高斯 分布信号的熵最大所以为了描述同高斯信 号有相同的功率的非高斯信号的熵的情况 ，定义负熵这样的概念。任意信号y的负熵J(y)可以表示为： 其中ygauss为高斯分

12、布函数，它同变量y有相 同的期望和方差，即负熵表示两个具有相同均 值和方差的随机向量的差熵的差值。在方差恒 定的情况下，高斯分布的随机变量的差熵最大 ，用高斯分布的随机向量的差熵作为上式的第 一项，所以负熵总是非负的，而且负熵具有在 正交变换下的不变性。同时由于负熵是两个熵的差，因 而能够满足尺度不变原理。负熵的最 大化，相当于Y的差熵是最远离高斯分 布的差熵。注意负熵是在随机向量的 方差一定的情况下推倒出来的，所以 在计算负熵时必须先固定方差。负熵的近似：利用标准化的累积量去近似表示这些概率密度 nGram-Charlier展开nEdgeworth展开返回高阶累积量的定义高阶累积量是非高斯性

13、测量的一个重 要方法。设随机变量x的概率密度函数为f(x)， 则x的特征函数为： 累积量的物理意义 n一阶累积量是随机变量的数学期望，大 致地描述了概率分布的中心 n二阶累积量是方差，它反映的是概率分 布的离散程度 n三阶累积量是三阶中心矩，描述的是概 率分布的非对称性 n四阶累积量描述的是概率函数同高斯分 布的偏离程度 非高斯性的测量可以用4 阶累积量的绝对值或平方值 为零的是高斯变量，大于零 的为非高斯变量 返回在信息论中假设一个随机系统中 输入为X，输出为Y，当X和Y为离散随 机变量时，X和Y之间的互信息I(X;Y) 被定义为：I(X;Y)=H(X)-H(X|Y) 互信息与熵之间的关系

14、互信息的最小化和熵的最大化即可获得最 大的独立性 返回如果Y中各个元素相互独立，那么 也就是满足联合概率密度函数是各个 边缘概率密度函数积的形式，那么要 衡量联合概率密度函数和各个边缘概 率密度函数积之间的差，就是要考虑 系统整个空间的关系，我们利用 Kullback-Leibler（K-L）散度来表示 定义设两个随机变量的概率密度函数分 别为fx (x)和fy (y)， 返回优化算法大致分为两类n批处理成对旋转法 ；MAXKURT法、JADE法、 SHIBBS法等n自适应处理自然梯度算法返回解决BSS问题的经典算法nH-J算法n最大熵算法n最小互信息算法n最大似然算法n定点算法n非线性PCA

15、算法n其他模型的算法概述H-J算法Herault 和Jutten可能是最早 对盲信号分离问题进行研究的 30，他们引进了仿神经的方法 61 。他们的算法为逐步调整权 重的神经网络 运用梯度下降法，Herault and Jutten提出 了如下的学习规则：和是非线性奇函数，是学习率 H-J算法中使用了非线性函数，这 里一般将f()和g()用以下的函数表示：或者算法的实质就是引入了信号的 高阶统计信息，其学习规则是Hebb 学习规则在高阶意义下的推广，不 过由于学习每一步过程中都要对矩 阵（I+W）求逆，导致运算量增加 。 H-J算法中非线形函数的选取 具有随意性，在理论上没有给出令 人满意的收

16、敛性证明，但是在实际 应用中的收敛性相当不错。不过需 要注意的是H-J算法仅用于观察信 号数目与源信号数目相同的情况下 ，仍然具有一定的局限性。 返回最大熵算法从信息理论角度来考虑，盲信 号分离问题就是一个以分离系统最 大熵为准则，利用神经网络或自适 应算法，通过非线性函数来间接获 得高阶累积量的过程。 这种方法的思想就是当神经元 输出Z的各个分量zi相互独立时，其 熵最大，所以这种方法又称为最大 熵(Maximum Entropy, ME)方法。Bell和Sejnowski的这种方法25是将 Linskers的信息传输最大化理论1762推 广到非线性单元来处理任意分布的输入信 号。这一原理具体内容如下：假设信号 通过S型函数传输时，如果该S型函数的 斜率部分与信号的高密部分保持一致时 ，则可以实现信息的最大化传输。这一原理可以使