《学科前沿系列讲座盲信源分离》由会员分享，可在线阅读，更多相关《学科前沿系列讲座盲信源分离（85页珍藏版）》请在金锄头文库上搜索。
1、盲信源分离方法研究盲信源分离方法研究楼楼 顺顺 天天学科前沿系列讲座学科前沿系列讲座2024/7/191q 问题形成问题形成 q 信号源确定信号源确定 q 信源数动态变化信源数动态变化 q 模糊技术应用模糊技术应用盲信源分离方法研究盲信源分离方法研究 2024/7/192问题形成问题形成2024/7/193鸡尾酒会问题鸡尾酒会问题2024/7/194雷达目标分辨问题雷达目标分辨问题2024/7/195信号混合问题2024/7/196qn个信号源，用个信号源，用m个传感器收集数据个传感器收集数据 （m=n）。）。混合模型可表示成混合模型可表示成q盲信源分离的任务是在没有混合矩阵先验知识盲信源分离
2、的任务是在没有混合矩阵先验知识的前提下，从混合信号的前提下，从混合信号x(t)x(t)中恢复出源信号中恢复出源信号s(t)s(t)。 问题形成 2024/7/197信源数确定信源数确定2024/7/198能够利用的信息能够利用的信息p 信源之间相互独立信源之间相互独立2024/7/199（1）信源个数已知；）信源个数已知；（2）信源个数）信源个数 n n 与输出通道数与输出通道数 l l 相等。相等。但通常情况下，这两种假设并不总是成立但通常情况下，这两种假设并不总是成立的。的。 BSS中的两种假定2024/7/1910q采用前向线性神经网络作为线性分离系统采用前向线性神经网络作为线性分离系统
3、 其中其中 为为 的一种估计，的一种估计， 为为nmnm的分离（去混合）矩阵，自适应的分离（去混合）矩阵，自适应BSS的关的关键在于找出键在于找出 ， 使使 是信源矢是信源矢量量 的估计。的估计。 NN分离系统2024/7/1911q互信息最小方法是：选择互信息最小方法是：选择w(t)w(t)使输出分量使输出分量y(t)y(t)之间的相依性最小。之间的相依性最小。为测量非高斯输出分量之间的相依性，必为测量非高斯输出分量之间的相依性，必须引入输出分量的高阶累积量，也即要考须引入输出分量的高阶累积量，也即要考虑输出的某种非线性变换虑输出的某种非线性变换 BSS要点2024/7/1912q业已证明业
4、已证明29：使联合熵：使联合熵 最大或最大或使使z(t)z(t)的互信息最小，利用自然梯度，可的互信息最小，利用自然梯度，可以得到学习规则：以得到学习规则： 自然梯度学习规则2024/7/1913q其中其中“。”表示两个矢量的表示两个矢量的Hadamard乘乘积积 的计算2024/7/1914q 分别为分别为3阶、阶、4阶累积量阶累积量q其中其中 为输出分量累积量更新时的学习速率为输出分量累积量更新时的学习速率 累积量自适应估计 2024/7/1915q只有当输出个数只有当输出个数l等于信源个数等于信源个数n n时，使输时，使输出出y(t)y(t)各分量的互信息最小，可得到所有各分量的互信息最
5、小，可得到所有的输出分量是独立的；的输出分量是独立的；q而当而当ln时，使输出时，使输出y(t)y(t)各分量的互信息各分量的互信息最小，只能使其中的最小，只能使其中的n n个分量为独立，而个分量为独立，而剩余的剩余的l-n个分量将与某些源信号相干。个分量将与某些源信号相干。 ICAICA分离定理分离定理的修正2024/7/1916qNN的分离系统在线学习，使输出分量的的分离系统在线学习，使输出分量的互信息最小；互信息最小；q检测出相干的输出信号分量；检测出相干的输出信号分量；q改变改变NN结构，删除冗余的输出信号分量结构，删除冗余的输出信号分量q重复重复在线确定信源数方法2024/7/191
6、7输出分量的相关系数 2024/7/1918相关系数的在线递推2024/7/1919q在在NN收敛后，如果两个输出分量的相关收敛后，如果两个输出分量的相关系数接近于系数接近于1，则表示它们是相干信号；，则表示它们是相干信号；q如果某个输出分量的相关性测度非常小，如果某个输出分量的相关性测度非常小，则表示它是一个分离的源信号，并且与其则表示它是一个分离的源信号，并且与其它的输出分量几乎独立。它的输出分量几乎独立。 相关性测度定义 2024/7/1920q学习速率具有对角形式学习速率具有对角形式 q不同的输出分量采用不同的学习速率，每不同的输出分量采用不同的学习速率，每个输出分量对应于一个学习速率
7、，即个输出分量对应于一个学习速率，即 是输出分量是输出分量 的学习速率。的学习速率。 可变学习速率的方案 2024/7/1921q输出的学习速率与其分离状态有密切关系输出的学习速率与其分离状态有密切关系q如果如果 足够小，表明输出信号足够小，表明输出信号 与其与其它输出分量不相关；它输出分量不相关； 越小，相关性越小，相关性越弱；越弱；q选择的方法是：选择的方法是： 越小，越小， 也越小；也越小；反之也然。反之也然。q公式：公式：学习速率的确定2024/7/1922qStep 1（初初始始阶阶段段），取取l=m。采采用用固固定定学学习习速速率率 ，而且，而且 取较大的值。取较大的值。qStep
8、 2：在在若若干干个个样样本本之之后后（比比如如300），采采用用可变的学习速率：可变的学习速率：qStep 3：若若所所有有的的相相关关性性测测度度 都都足足够够小小（例例如如小小于于0.05），则则可可以以认认为为源源信信号号已已经经全部分离，信源数为全部分离，信源数为l 。qStep 4：检测出两个输出分量检测出两个输出分量 ，其相，其相关系数足够大（例如大于关系数足够大（例如大于0.80.8），则删除），则删除q重复重复 算法1：在线确定信源数 2024/7/1923q当检测出要删除当检测出要删除 时，我们使时，我们使NN的输的输出节点数由出节点数由l个变成个变成l-1个，同时应保证个
9、，同时应保证其它的输出分量保其它的输出分量保持不变。为此，在持不变。为此，在W阵中删去第阵中删去第i行，行，在在 矩阵中矩阵中删去删去i行与行与i列列NN结构的变化2024/7/1924NN结构的变化q 也类似处理也类似处理返回2024/7/1925仿真1：未知信源数的确定未知信源数的确定仿真研究 2024/7/1926q5个信号源个信号源：仿真1未知信源数的确定 2024/7/1927源信号2024/7/1928混合信号2024/7/1929q固定学习速率（方法固定学习速率（方法1） q可变的学习速率对角阵（方法可变的学习速率对角阵（方法2） 学习速率2024/7/1930误差指标函数 Cr
10、oss-talk:2024/7/1931利用固定学习速率时的未知信源数确定过程 2024/7/1932利用可变学习速率时的未知信源数确定过程 2024/7/1933信源数确定误差指标 2024/7/1934q采采用用自自然然梯梯度度ICA算算法法的的动动态态神神经经网网络络，都都可可以很好的分离出源信号；以很好的分离出源信号；q通通过过DNNDNN和和在在线线检检测测输输出出分分量量的的相相依依性性测测度度，可可以以在在线线删删除除分分离离的的信信源源拷拷贝贝，最最终终实实现现未未知知信信源数的在线确定。源数的在线确定。q从从误误差差指指标标统统计计结结果果可可以以看看出出，采采用用可可变变的
11、的学学习习速速率率，不不仅仅可可以以大大大大加加快快算算法法的的收收敛敛速速度度，而而且且得得到到的的分分离离结结果果的的性性能能更更佳佳（在在分分离离稳稳定定阶段，其误差指标的值更低，曲线波动更小）阶段，其误差指标的值更低，曲线波动更小） 仿真结论2024/7/1935信源数动态变化信源数动态变化q信源数动态减少信源数动态减少q信源数动态增加信源数动态增加2024/7/1936q在经过信源数的在线确定后，在经过信源数的在线确定后，DNNDNN趋于平趋于平衡，这时衡，这时DNNDNN的输出数的输出数 l=nq当某个信号源随机撤销时，当某个信号源随机撤销时，DNN经过学经过学习，会在输出分量中出
12、现新的冗余拷贝信习，会在输出分量中出现新的冗余拷贝信号，通过类似方法可以检测出相干信号，号，通过类似方法可以检测出相干信号，这时只需删除新出现的拷贝信号。这时只需删除新出现的拷贝信号。信源数动态减少2024/7/1937自相似度 定义q定义信号在两个时间段上的自相似度：定义信号在两个时间段上的自相似度： q其其中中L L为为一一时时间间段段输输出出信信号号 的的长长度度，T T 为为时时间间段段的的起起点点, , T+L-1 T+L-1 表表示示时时间间段段终终点，点， 表示两时间段之间的距离。表示两时间段之间的距离。 2024/7/1938q通过计算两个互为相干信号的自相似度；通过计算两个互
13、为相干信号的自相似度；q与与上上面面类类似似，删删除除自自相相似似度度小小的的输输出出分分量量；这样就可以适应于信源数随机减少的情况。这样就可以适应于信源数随机减少的情况。删除冗余信号2024/7/1939qStep1：找找出出相相关关系系数数足足够够大大（比比如如大大于于0.8）的输出分量对（）的输出分量对（ ， ）；）；qStep2：计计算算 和和 的的自自相相似似度度，并确定应该删去哪一个输出分量；并确定应该删去哪一个输出分量；qStep3：删除冗余的输出分量。删除冗余的输出分量。 算法2：信源数随机减少 2024/7/1940q（1）通通过过检检测测输输出出分分量量的的相相关关性性测测
14、度度，可可以以检检测到有新的信源数加入的情况；测到有新的信源数加入的情况；q（2）利利用用可可变变的的结结构构分分离离出出新新的的信信源源，并并且且保保持持对对原原有有信信号号的的分分离离。（目目前前我我们们所所做做的的就就是是重新初始化重新初始化 、重新学习）见仿真、重新学习）见仿真3信源数动态增加返回2024/7/1941仿真2：信源数的随机减少仿真3：信源数的随机增加仿真研究 2024/7/1942q当当t0.2t0.2t0.2秒秒时时，信信源源数变为数变为4个，方波信号随机撤销个，方波信号随机撤销 。仿真2：信源数的随机减少 仿真22024/7/1943恒定学习速率时的信源数随机撤销的
15、分离过程 仿真22024/7/1944利用可变学习速率时的信源数随机撤销的分离过程 仿真22024/7/1945信源数随机撤销时的误差指标 仿真22024/7/1946q源源信信号号突突然然撤撤销销后后，相相应应的的输输出出通通道道会会重重新新学学习，使之成为另一个信号的拷贝；习，使之成为另一个信号的拷贝；q经经过过不不长长时时间间的的学学习习和和改改变变神神经经网网络络的的结结构构，算算法法可可以以分分离离出出4个个源源信信号号，在在这这一一过过程程中中，原原来来已已经经分分离离的的信信号号仍仍然然保保持持不不变变，删删除除的的是是被被撤撤销销的的信信号号通通道道，这这一一点点应应通通过过自
16、自相相似似度度的的检检测来达到测来达到 。q采采用用可可变变的的学学习习速速率率，可可以以使使算算法法的的收收敛敛速速度度更快，同时可以得到性能更佳的分离结果。更快，同时可以得到性能更佳的分离结果。 仿真结论仿真22024/7/1947q当当t0.2t0.2t0.2秒秒 时时 ，信信源源数数变变为为5个个。仿真3：信源数的随机增加 仿真32024/7/1948恒定学习速率时的信源数随机增加的分离过程 仿真32024/7/1949利用可变学习速率时的信源数随机增加的分离过程 仿真32024/7/1950信源数随机增加时的误差指标 仿真32024/7/1951q算法能够很好地确定出信源数算法能够很
17、好地确定出信源数 ；q算法容易检测到信号源随机加入的时刻；算法容易检测到信号源随机加入的时刻；q通通过过重重新新初初始始化化，可可以以适适应应于于信信号号源源随随机机加入的情况；加入的情况；q需要研究更好的方法。需要研究更好的方法。仿真结论仿真3下一章2024/7/1952模糊技术应用模糊技术应用q模糊推理系统确定模糊推理系统确定NN的学习速率的学习速率2024/7/1953q在在基基于于NN的的盲盲信信源源分分离离算算法法中中，将将模模糊糊系系统统应应用用于于神神经经网网络络学学习习速速率率的的确确定定，可可以以大大大大加加快快算法的收敛，并提高信源分离的质量算法的收敛，并提高信源分离的质量
18、101；q详详细细分分析析了了输输出出相相关关性性与与NN学学习习速速率率之之间间的的关关系，从而构造系，从而构造NN学习速率的模糊推理系统；学习速率的模糊推理系统；研究问题 2024/7/1954q不同的输出分量需要不同的学习速率；不同的输出分量需要不同的学习速率；q大的学习速率有利于加快输出分量的分离；大的学习速率有利于加快输出分量的分离；q小小的的学学习习速速率率有有利利于于获获得得更更小小的的稳稳态态失失配配误误差；差；q在在初初始始阶阶段段，由由于于输输出出分分量量与与其其它它分分量量之之间间的的相相关关性性大大，应应采采用用较较大大的的学学习习速速率率；当当输输出出分分量量已已从从
19、其其它它分分量量中中分分离离出出来来时时，应应采采用用较较小小的的学学习习速速率率，从从而而得得到到更更小小的的稳稳态态失失配配误差。误差。NN学习速率考虑 2024/7/1955学习速率形式q对对应应于于第第i i个个输输出出分分量量的的学学习习速速率率 可可通通过过模模糊糊推推理理系系统统（FIS）得得到到，FIS的的输入为第输入为第i i个输出分量的相关性测度。个输出分量的相关性测度。 2024/7/1956但但实实际际上上，应应该该采采用用高高阶阶累累积积量量来来表表示示输输出出分分量量之之间间的的相相关关性性。 因因此此仅仅用用D(t)来来表表示示相相关关性性是是不不够够的的。为为此
20、此取取一一种种非非线线性性变变换换 ，比如，比如相关性测度相关性测度 2024/7/1957q考虑考虑 与与 之间的相关系数：之间的相关系数：q定定义义 与与其其它它分分量量之之间间的的高高阶阶相相关关性性测度测度 高阶相关性测度高阶相关性测度 2024/7/1958高阶相关测度的计算高阶相关测度的计算2024/7/1959q二阶相关测度二阶相关测度 与高阶相关测度与高阶相关测度 一一起起可可以以描描述述输输出出分分量量 与与其其它它输输出出分分量之间的相关性。量之间的相关性。 相关性2024/7/1960q如如果果 和和 都都非非常常小小， 则则称称输输出出分分量量 与与其其它它输输出出分分
21、量量几几乎乎独独立立， 也也就就是是说说 已达到了分离的要求；已达到了分离的要求；q如如果果 或或 不不小小，则则说说明明 至至少与另一个输出分量相关；少与另一个输出分量相关；q如果如果 或或 较大，则可以认为较大，则可以认为 与某个输出分量强相关。与某个输出分量强相关。 相关性与分离状态2024/7/1961模糊推理子系统2024/7/1962q当当 和和 均小时，均小时， 也取小；也取小；q当当 和和/或或 中中等等时时， 也也取取中中等；等；q当当 和和/或或 大时，大时， 也取大也取大 模糊规则说明2024/7/1963q将将 、 和和 模模糊糊化化 （分分9级）级）: Small1、
22、Small2、Small3、 Middle1、Middle2、Middle3、 Big1、Big2、Big3 模糊化 2024/7/1964模糊隶属度函数 2024/7/1965qDF(.)DF(.)表表示示反反模模糊糊化化算算子子， 表表示示输输出出隶隶属属度度函函数数的的中中心心， 表表示示第第j j条条规规则则的的满满足程度足程度 反模糊化 2024/7/1966q一共有一共有81条条模糊推理规则模糊推理规则。（第。（第53页）页）q模糊输入输出关系模糊输入输出关系模糊推理规则库返回2024/7/1967q未知信源数的确定q信源数的随机减少q信源数的随机增加仿真研究 仿真12024/7/
23、1968q有有5个信号源随机混合个信号源随机混合 101 ：仿真1：未知信源数的确定 仿真12024/7/1969源信号仿真12024/7/1970混合后的测量信号仿真12024/7/1971采用固定学习速率时的盲信源分离过程 仿真12024/7/1972采用模糊推理系统更新学习速率时的盲信源分离过程 仿真12024/7/1973误差指标对比 仿真12024/7/1974与与固固定定学学习习速速率率相相比比，由由FIS确确定定学学习习速率的速率的ICA算法，优点：算法，优点：q算法收敛速度更快；算法收敛速度更快；q稳态性能更好（失配更小）。稳态性能更好（失配更小）。 仿真结论仿真12024/7
24、/1975q在在2000个个取取样样之之前前，信信号号源源为为5个个；在在2000个取样时，信源数变为个取样时，信源数变为4个。个。 仿真仿真2：信源数的随机减少 仿真22024/7/1976信源数随机撤销时的误差指标仿真22024/7/1977q在在信信号号撤撤销销处处（2000点点），误误差差曲曲线线有有一一点点波波动；动；qDNN能能够够很很好好地地跟跟踪踪信信号号源源的的随随机机撤撤销销，适适应应信号源的动态减少。信号源的动态减少。q与与固固定定学学习习速速率率方方法法和和将将第第四四章章可可变变学学习习速速率率方方法法对对比比（图图5.10,5.10,图图4.9），可可以以看看出出，
25、基基于于FIS的的DNN的误差波动更小。的误差波动更小。 仿真结论仿真22024/7/1978仿真仿真3：信源数的随机增加 仿真32024/7/1979信源数随机增加时的误差指标 仿真32024/7/1980q算法能够很好地确定出信源数算法能够很好地确定出信源数 ；q算法容易检测到信号源随机加入的时刻；算法容易检测到信号源随机加入的时刻；q通通过过重重新新初初始始化化，可可以以适适应应于于信信号号源源随随机机加加入入的情况；的情况；q采采用用FIS在在线线确确定定学学习习速速率率，可可以以使使算算法法的的收收敛敛速度更快，同时得到性能更佳的分离结果速度更快，同时得到性能更佳的分离结果 。仿真结
26、论仿真32024/7/1981本本文文主主要要研研究究信信源源数数未未知知和和动动态态变变化化时时的的盲信源分离问题。盲信源分离问题。 1.1.通通过过对对信信源源数数未未知知和和动动态态变变化化时时的的盲盲信信源源分分离离结结果果的的观观察察，对对ICAICA的的分分离离定定理理作了重要修正。作了重要修正。 结束语2024/7/19822.定定义义了了输输出出分分量量之之间间的的相相依依性性测测度度，并并采采用用动动态态神神经经网网络络（DNN）构构成成分分离离系系统统，得得到到了了在在线线确确定定信信源源数数的的BSS算算法法和适用于信源数动态减少的和适用于信源数动态减少的BSS算法。算法。结束语2024/7/19833.3.将将模模糊糊技技术术与与基基于于NNNN的的ICAICA算算法法有有机机的的结结合合起起来来，在在线线确确定定学学习习速速率率，构构成成模模糊糊神神经经网网络络的的BSSBSS系系统统。结结果果表表明明，采采用用FISFIS确确定定学学习习速速率率，算算法法收收敛敛更更快快，稳态性能更佳。稳态性能更佳。 结束语2024/7/1984谢谢大家！致谢2024/7/1985
