《微分熵沐风书苑》由会员分享，可在线阅读，更多相关《微分熵沐风书苑（17页珍藏版）》请在金锄头文库上搜索。
1、第五章 微分熵 微分熵描述连续随机变量的熵，形式上与离散随机变量的熵类似，但存在一些重要的差别。5.1节 定义定义5.1 设X是一个随机变量，概率密度函数为p(x)，定义X的微分熵为与离散情形一样，微分熵只与概率密度函数有关。例5.2. 如果X服从区间 a, b 上的一致分布，即可以计算出注释：微分熵不必大于0，如本例中，如果b-a1, 则H(X)0. 例5.3. 假设X服从高斯分布，即以奈特为单位计算微分熵，有 奈特改变对数的底，则 比特5.2节 联合微分熵与条件微分熵与离散情形类似，单个随机变量的微分熵可以推广到多个随机变量。定义5.4 联合概率为p(x, y)的随机变量X和Y的联合微分熵
2、定义为定义5.5 如果X，Y的联合密度函数为p(x, y)，定义条件微分熵为因为所以有定理5.6（多元正态分布的熵）如果服从n维高斯分布，即则 比特其中代表的行列式。证明：联合熵 nats bits5.3节 相对熵与互信息现在将相对熵和互信息的概念推广到连续型随机变量。定义5.7 两个密度函数p和q之间的相对熵定义为定义5.8 联合密度函数为p(x, y)的两个随机变量间的互信息定义为根据上面的定义，很容易证明 5.4节 微分熵、相对熵以及互信息的性质定理5.9 等式成立的条件是两分布相等。证明： （Jensen不等式）推论5.10 ，等式成立当且仅当X与Y相互独立推论5.11 ，等式成立当且
3、仅当X与Y相互独立定理5.12（微分熵的链规则）证明：由定义可直接可得。推论5.13定理5.14 假设，是任意实值随机变量，且，则证明. X的分布为假设的分布为，则因此证明完毕。定理5.15 如果信源输出幅度受限，则服从均匀分布的X具有最大熵5.5节 高斯信道连续信道中最重要的模型是高斯信道，如图5.1。这是一个离散时间信道，在时刻i，输入信号为，噪声为，输出信号为输入信号与噪声的。噪声为独立同分布序列，且服从均值为0，方差为N的高斯分布。即，图5.1 高斯信道假设噪声与输入信号独立。如果没有进一步的限制，高斯信道的容量为无穷大。若噪声方差为0，则接收者可以正确接收每一个输入符号，由于信源X是
4、连续的，可以取任意的实数值，因此此时高斯信道可以正确传输任意的实数，换句话说，容量为无穷。若噪声方差不为0，但输入信号没有限制，此时容量也可以为无穷大。方法是选择输入信号的一个任意分散（arbitrarily far apart）的无穷子集，使得在接收端可以以任意小的差错概率区分出这些输入符号。因而，此时高斯信道容量也是无穷大。因此，如果噪声方差为0或对输入信号没有限制，则信道的容量为无穷大。输入最通常的限制是能量或功率受约束。我们假设信道受平均功率约束。即对于在信道上传输的任意码字，要求通信中高斯信道经常用来对实际信道的理想建模。5.5.1 加性高斯噪声信道现在来定义高斯信道的容量。将高斯信
5、道容量定义为通过选择满足平均功率约束的输入分布，取得的最大的互信息。定义5.16（高斯信道容量）平均功率约束为P的高斯信道的容量定义为考虑高斯信道容量的计算。注意到输入X与噪声Z独立，（a） 利用高斯信道的假设（b） Z是X+Z和X的函数（c） X与Z独立根据假设，Z是高斯变量，因此又因为X与Z独立，且，所以等式成立的条件是。现在假定，则由定理（给定方差下，正态分布取得最大熵）.可知等式成立条件是Y是高斯分布，由高斯信道的假设，。如果X是高斯随机变量，由于根据假设，Z是高斯的，而高斯随机变量的线性组合也是高斯变量，所以Y是高斯变量的条件是X是高斯，即X的分布是均值为0，方差为P的高斯分布，。现
6、在来考虑互信息等式成立的条件是Y是高斯随机变量，根据前面的讨论，即要求。容量：取得容量的输入分布是，即X服从均值为0，方差为P的高斯分布。5.5.2 带宽有限高斯信道对于无线或有线通信，通用的模型是具有白噪声的有限带宽信道，这是一种时间连续信道，也称为波形信道。如果用代表信号的波形，代表白色高斯噪声的波形，代表理想低通滤波器，它的作用是将信号中所有频率大于W的成分去掉。则输出波形为：我们首先给出由奈奎斯特和Shannon给出的表示定理，这个定理说的是如果以的采样率对有限带宽信号进行采样，则可以由这些样本重构出原始信号。直观上讲，它指的是如果一个信号的最大频率是W，那么这个信号在秒的时间间隔内不
7、会发生很大的变化。定理5.17（Nyquist-Shannon抽样定理） 假设信号的带宽为W，即该信号的谱在所有大于W的频率的地方都为0，那么该信号可以由采样间隔为秒的样本完全决定。证明. 的频谱如图所示。由于在带宽外为0，所以：考虑采样间隔为秒的样本序列，信号在采样点的值为：若将以区间作为基本周期扩展成周期函数，(3)式右边可看成该周期函数的傅里叶级数表示中的系数（想想信号与系统中周期函数的傅里叶级数表示形式）。样本值决定了该傅里叶展开的系数，又函数可以由其傅里叶变换唯一决定，并且在带宽W之外为0，因此可以有样本唯一地决定该信号。 考虑函数 该函数在t=0时为1，在t=n/2W, n不为0的
8、时候为0，而且该函数的频谱在带宽(-W, W)内为常数，在该带宽外为0。现在定义 由sinc函数的性质可知，g(t)的最大频率是W，且在时为，由于满足这些限制的信号只有一个，所以必有 Remark: 实际上如果信号是带宽严格有限，则在时域必然无限，相反，信号若在时域严格有限，则其带宽必然无限，因此这个定理实际上讨论的是带宽有限且时间有限的信号指的是近似有限。尽管一个一般的函数有无限多个自由度，即函数在每一点的值可以独立的选择。Nyquist - Shannon抽样定理表明：带宽为W，时域持续T的信号具有2WT个自由度，所谓的自由度可以用线性空间的维度来表示，换句话说，带宽为W，时域持续T的连续
9、信号可以用2WT个正交基来进行表示。我们不深入探讨这个问题，感兴趣的可参考文献【1】。 现在回到有限带宽信道的通信问题。假定信道的带宽为W，输入、输出信号可用采样间隔为秒的样本来表示，每个输入样本受白噪声影响产生输出。由于噪声为白色高斯过程，因此噪声样本为独立同分布高斯随机变量。如果噪声的功率谱密度为瓦/Hz且带宽为W，则噪声功率为，并且在时间T内，该噪声的每一个样本的方差均为，每个样本的输入功率为，利用离散时间高斯信道的容量公式可以计算出信道的容量为： 比特/传输（bits per transmission） 比特/样本 （bits per sample）由于每秒内共有2W个样本，所以容量公
10、式可以改写为： bits/s在该容量公式中，如果带宽趋于无穷大，即，则即当带宽越来越大时，信道容量的增加与W的关系越来越小。换句话说，不能通过无限的增加传输的带宽来增加容量。此时容量与发射功率P成线性的关系，C随P的增加而线性增加，即信道的容量或可允许的传输速率对发射功率非常敏感。公式（8）是信息论中最著名的公式之一。它利用噪声谱密度和功率P给出了有限带宽的高斯信道的容量。Shannon明确地指出，这个公式在当时是与人们的直觉相违背的。当时的工程和实践使得工程师相信降低差错概率只能通过逐渐的降低传输速率来得到。用Shannon的话说：容量公式“是一个颇令人吃惊的结果，因为大家都认为降低差错率要
11、求降低传输的速率，如果差错率接近0，则速率必须接近0。事实上，我们可以按速率C传输信息，但通过在发射机采用复杂的编码和在接收机使用更长的时延来降低差错率”。 例5.18（电话线）：为了实现信道的多路复用，电话信道的带宽往往限制在3300Hz。在公式（8）中使用3300Hz的带宽和20dB的SNR(信噪比)（即），可以发现电话信道的容量大概是22000 bits/s。实际的调制解调器可以达到19200 bits/s的传输率。在现实的电话信道中，存在许多其他的因素，比如串话、干扰、回声和信道的非平坦性等，为了达到容量，必须对这些因素进行补偿。5.5.3 并联高斯信道本节考虑具有总的功率约束的k个独
12、立的并联高斯信道的容量计算问题。目标是通过将总的功率分配给子信道来使容量最大。并联高斯信道是对非白加性噪声信道的建模，其中每个子信道对应一个频段。假设我们有一组如图所示的并联高斯信道，每个信道的输出是输入和高斯噪声的和。对于第j个子信道，其中服从均值为0，方差为的高斯分布，进一步，假设各子信道上的噪声相互独立。所有子信道所受的总功率约束为：目标是将总功率在各子信道之间进行分配，使容量最大。信道的容量为由于噪声相互独立，是第i个子信道的输入信号的功率，即这些功率必须满足总平均功率约束上面第一个不等式成立的条件是当相互独立，第二个不等式成立的条件是当是高斯随机变量。因此，等式成立的条件是即之间是相
13、互独立的，并且每个输入都是均值为0，方差为的高斯变量。由于假设了是相互独立，且每个子信道是高斯信道，因此之间也相互独立，且每个服从均值为0，方差为的高斯分布，从而上面两个不等式中等式成立。问题现在转化为这样一个优化问题：给定条件，寻找使容量最大化。我们利用拉格朗日乘子法来解决这个问题，首先构造成本函数优化变量为，因此计算成本函数对的一阶偏导数，令其为0：因而考虑到给每个子信道所分配的功率必须为非负，而上面的解不一定总是能满足这个条件。利用库恩-塔克条件可以验证，使得容量最大的功率分配所给出的结果为其中定义为的选择使得使得各子信道满足总的功率约束这个功率分配的解有比较直观的解释，如下图所示纵向代
14、表各子信道的噪声水平，当信号功率从0开始增长时，我们首先给噪声水平最低的子信道分配，当可分配的功率进一步增长时，部分功率分配给噪声水平更高的子信道。总功率在子信道分配的方法类似于水在容量中的分配方式。因此这个方法被称为“注水法”（water filling）。简单地说，功率分配是给噪声水平低（或者说通信质量良好）的信道分配更多的功率（信道2），给噪声水平高的子信道分配更少的功率（信道1）甚至不分配功率（信道3）。5.5.4. 二元输入加性白高斯噪声( binary-input additive white Gaussian noise, BI-AWGN ) 信道二元输入加性白高斯噪声信道可由下面方程进行描述其中为第i个发送的符号，是第i个接收到的符号，是均值为0，方差为，即。在BI-AWGN信道上传输二元码字，按照规则映射到符号。对于BI-AWGN信道假设a=1，考虑互信息 已经知道高斯随机变量Z的熵为如果信源等概其中从而因此如果信源等概，容量为其中香农信噪编码定理编码，如果传输信息的速率R小于信道容量C，
