自适应滤波基础

《自适应滤波基础》由会员分享，可在线阅读，更多相关《自适应滤波基础（80页珍藏版）》请在金锄头文库上搜索。

1、自适应滤波算法与实现第二章 自适应滤波基础本章主要包括以下内容2.1 引言2.2 信号表示2.3 相关矩阵*2.4 维纳滤波器*2.5 线性约束维纳滤波器2.6 均方误差曲面*2.7 偏差和一致性2.8 牛顿算法*2.9 最陡下降算法*2.10 应用回顾2.1引言本章包括了对确定性信号和随机信号表示方法的简单回顾 ，由于内容比较多，我们只对那些与自适应滤波有直接联 系的概念进行回顾。此外，我们对输入信号的自相关矩阵 的特点也进行了详细讨论。本章还介绍了维纳解，它代表用线性组合器实现的离散时 间滤波器的最小均方误差（MSE）解。这个解不仅依赖于 输入信号的相关矩阵，而且还依赖于输入信号向量元素与

2、 参考信号之间的互相关值。这些相关值构成了MSE曲面的 参数，该曲面是自适应滤波器系数的二次函数。本章也给 出了线性约束维纳解，这是在天线阵列处理应用中常常会 用到的技术。实际上，决定MSE曲面形状的参数是不能得到的。我们只 有用得到的数据对这些参数进行直接或间接的估计，然后 研究利用这些估计值搜索MSE曲面的自适应算法。，使得 自适应滤波器系数在某种意义上收敛到维纳解。研究表明 ，牛顿算法和最陡下降算法可能是自适应滤波的搜索方法 。尽管这两种算法都不能直接应用于实际的自适应滤波问 题，但在这两种方法的启发下，产生了最小均方算法（ LMS）和牛顿算法等实际算法，本章主要介绍牛顿算法和 最陡下降

3、算法。2.2 信号表示本节将简单回顾确定性和随机离散时间信号的一些概念 。 我们将只回顾那些对理解自适应滤波来说比较重要的结论。 2.2.1 确定性信号确定性离散时间信号由时间指标 k 的数学函数所表征， 其 中k=0，1，2，3。下面是确定性信号（或者序列）一 个例子：其中，u（k）是单位步长序列。线性时不变滤波器对于输入x(k)的响应是由卷积求和给出 的，如下所示：其中，h(k)是滤波器的冲激响应。给定序列x(k)的Z变换的定义为如果Z变换是在Z平面的某个给定区域中定义的，也就是说， 上 述求和是在该区域中收敛的，那么卷积运算就可以用如下的Z变换乘积代替为Y(z)=H(z)X(z)其中，Y

4、(z),X(z)和H(z)分别是y(k),x(k)和h(k)的Z变换。考 虑到波形只能在k0时刻开始，并且具有有限功率，因此其Z 变换将总是在单位圆外部才有定义。对于有限能量波形，利用下面定义的离散时间傅里叶变换 会 更加方便：尽管具有无穷能量的信号不存在离散傅里叶变换，但是 如 信号具有有限功率，则广义离散傅里叶变换存在，并被广泛 于 确定性信号。2.2.2 随机信号随机变量X是一个函数，对于某个给定的实验q，它都分 配 一个数作为每次实验的输出。随机过程是一个规则，它描述 随 机变量依赖于是q的时间变化关系，因此它是两个变量的函 数X(k, q)。所有实验输出的集合（即全体）是q 的域。有

5、x (k)表 示给定过程在q固定时的一个样本，在这种情况下，如果k 也 是 固定的，则x (k)是一个数。当对x (k)进行任何统计运算时， 意 味着k是因定的而q是变量。本书中用x (k)表示一个随机信号 。不能对随机信号的波形进行准确描述，可能的方法是通 过 测量统计量统计量或者一个概率模型来表征它。对于随机信 号 而言，一阶和二阶统计量在大多数时候是足以用来表示随机 过 程的，而且一阶和二阶统计量测量起来也很方便。另外，还 很 容易考虑线性滤波处理对于这些统计量的影响。现在，假设暂时考虑实数随机信号。随机过程的期望 值 或者均值被定义为期望值的定义可表示为为了解释概率密度函数，需要将随机

6、变量的分布函数定 义 为P x (k) (y) x (k)小于或者等于y的概率，或者定义为分布函数的导数即为概率密度函数 随机过程x(k)的自相关函数的定义为x(k)和x(l)的联合概率密度：其中 ，P x (k)，x(l)(y,z)为x(k) y且x(l) z的概率。自协方差函数的定义为其中，第二个等式可能根据均值和自相关函数的定义得到 。当kl 时， 它是x(k)的方差。概率密度函数的最重要的特殊例子是高斯密度函数， 它 也被称为正态密度函数。高斯密度函数的定义为其中，mx(k)和 分别是x(k)的均值和方差。能够说明高斯分布重要性的一个理由是中心极限定理。假设 随机变量x 是由n个独立随

7、机变量xi的和组成的，即中心极限定理指出，在一定的通用条件下，当n值较大时，x 的 概率密度函数近似为高斯密度函数。X 的均值和方差分别为考虑到x的均值和方差会增长，定义在这各情况下，当n时，可以得到在许多情况下，我们需要计算条件分布函数，即计算在假设 另 一个事件B已经发生以后的条件下某个事件发生的概率。此 时，我们定义上述联合事件由满足X(q) y的所有qB所组成。条件均值被 定义为条件方差的定义为存在其均值和自相关函数具有移不变（或时不变）特性的随 机 过程因此我们把这些过程称为广义平稳(WSS，wide-sense stationary) 过程 联合WSS过程：y(k)=k1x1(k)

8、+k2x2(k), k1，k2是任意常数对于复数信号，x(k)=xr(k)+jxi(k)，y=yr+jyi， z=zr+jzi，其期望 值 定义如下复数随机信号x(k)的自相关函数的定义为其自协方差函数：自回归滑动过程当bj=0，j=1，2，M时，得到的过程为自回归（AR）过程 当ai=0，j=1，2，N时，得到的过程为滑动平均（MA）过 程马尔可夫过程 定义：如果一个随机过程的当前值被确定以后，其过去值对 未来没有影响，则该随机过程称为马尔可夫过程。 比如，对于下面的序列：y(k)=ay(k-1)+n(k) 可以看出，y(k)是由y(k-1)和n(k)决定的，不需要k-1以前的信 息，因此说

9、y(k)表示了一个马尔可夫过程。当a=1，y(-1)=0, 则 k0时的信号y(k)是白噪声样值和，称为随机游动序列。n(k)是白噪声Word分解 x(k)可分解为： x(k)=xr(k)+xp(k)其中， xr(k)是一个正规过程，它等效于一个稳定、线性、时 不 变、因果滤波器对白噪声的响应。xp(k)是个完全可预测过程 ， 另外， xr(k) 和xp(k)是正交过程，即Exr(k)xp(k)=0。 功率谱密度广义平稳随机信号是持续信号，因此它不是有限能量信 号。但它们具有有限功率，因此可以运用广义时间离散傅里 叶 变换。平稳随机过程自相关函数和它的功率谱密度是一对离散 时 间傅里叶变换对。

10、可用充分阶数AR 模型建模 零激励的 AR模型关系如下：功率谱密度：自相关函数：其中，rx(l)是随机过程x(k)的自相关，Rx(ejw)是关于w的确定 函 数，它可以解释为集平均意义上的随机过程在某个给定频率 点 的能量。特别地，如果l=0，则可得到随机过程的均方值如果将代表平稳过程任意单个实现的随机信号作为线性时不 变 滤波器的输入，该滤波器的冲激响应为h(k)，则很容易证明 如 下一些等式成立：其中，rh(l)=h(l)*h(-l)，Ry(ejw)是输出信号的功率谱密度， ryx(k) 是x(k)和y(k)的互相关， Ryx(ejw)是对应的互功率谱密度。功 率 谱密度是一个关于w的周期

11、为2的周期函数，另外，由于对 平稳复数随机过程有rx(-l)=rx*(l)，因此，Rx(ejw)是实函数。 尽管功率谱函数在处理WSS过程时很有用，但考虑到滤波器 通 常是时变的，所以本书中并没有广泛使用它。但它在谱估计 中 扮演重要角色。如果自相关函数和互相关函数的Z变换存在，则可以对功率 谱 密度的定义可以进行推广：如果将代表平稳过程任意单个实现的随机信号作为线性时不 变 滤波器的输入，且该滤波器的冲激响应为h(k)，则如下方程 成 立：并且其中，H(z)=Zh(l)。如果希望计算y(k)和x(k)的互相关即 ryx(0) 则可以采用如下逆Z变换公式：2.2.3 遍历性 在统计方法中，实数

12、数据的统计参数是通过集平均（或期望 值） 得到的，对随机过程任意参数的估计都可以通过在每个时刻 对 给定的大量实现求平均得到。但，在许多应用中，只能得到 过 程的少数甚至单个样本，所以，需要寻找在某种条件下过程 的 统计参数可以利用其单个样本的时间平均来估计的方法。 集平均和时间平均之间的等价性称为遍历性。 时间平均：如果则该过程称为均方意义上的均值遍历过程。因此，当N时 均值遍历过程的时间平均近似为集平均。很明显， 是mx 的 无偏估计。因为所以，如果当N时， 的方差趋近于零，则该过程称为 遍 历过程 。经过一些处理，可将方差表示为其中， 是随机过程x(k)的自协方差。当且仅当满足时， 的方

13、差趋近于零。上述条件是保证过程为均值 遍 历过程的充要条件。 还可以将遍历的过程推广到高阶统计量情形。2.3 相关矩阵通常而言，自适应滤波器在其更新方法中利用k时刻的输 入信号。这些输入信号是如下输入信号向量的元素：x(k)=x0(k)x1(k) xN(k)T 正如后面将要指出的，相关矩阵R=Ex(k)xH(k)的特征对于理 解 大多数自适应滤波器算法的特性具有非常重要的作用。因此 ， 研究矩阵R的主要特性是很重要的。相关矩阵的某些特性来 自 于自适应滤波器问题的统计特征，而其他特性则是由线性代 数 理论得到的。 对于一个给定的输入向量，其自相关矩阵为矩阵R的主要特性如下： 1.矩阵R是半正定

14、矩阵（证明1） 2.矩阵R是Hermitian矩阵，即R=RH （证明2） 3.如果一个矩阵的主对角元素和任意副对角元素都相等，则 该矩阵称为Toeplitz矩阵。当输入信号向量是由来自于WSS 过程的某个相同信号的滞后形式所构成的时（即xi(k)=x0(k-i) ，i=1，2，3N），矩阵R是Toeplitz矩阵 （证明3） 4.与矩阵R相关的特征值和特征向量的某些重要特性(1) Rm的特征值是 ，i=0，1，2，N。(2) 假设矩阵R有N+1个线性独立的特征向量qi。如果以qi 为 列向量构成一个矩阵Q，则有(3) 对应于不同特征值的非零特征向量q0 ，q1 ， qN 是线性 独立的。 (

15、4) 由于R是Hermitian矩阵，即RH=R，因此其特征值是大于 或者等于零的实数。 (5) 如果R是具有不同特征值的Hermitian矩阵，而且特征向量 彼此正交，则存在一个对角酉矩阵Q，即QHQ=I。 (6) R的特征值之和等于R的迹，且R的特征值之积等于R的行 列式 (7) Hermitian矩阵的瑞利商的定义为 它分别以最小特征值和最大特征值为界，即当向量w分别被选为对应于最小特征值和最大特征值的特 征向量时，上式可达到最小特征值和最大特征值。 例2.1 假设输入信号向量是由一个输入信号的延迟线组成的 。即 x(k)=x(k)x(k-1) x(k-N)T给定如下输入信号 (a) x(k)=n(k) (b) x(k)=acosw0 +n(k) (c) x(k)= (d) x(k)=-a0x(k-1)+n(k) (e) 其中，n(k)是零均值，方差为 的白噪声。 计算N=3时的自相关矩阵 ？2.4 维纳滤波器在自适应滤波中，最广泛采用的目标函数之一是均方误 差 （MSE），其定义为假设自适应滤波器是由线性组合器构成的，即输出信号是由 来 自于阵列的信号的线性组合构成的，如图2.1(a)所示，在这 种 情况下其中， x(k)=x0(k)x1(k) xN(k)T和w(k)=w0(k)w1(k)