《信息论与编码英文课件 ch2例题与证明四》由会员分享，可在线阅读，更多相关《信息论与编码英文课件 ch2例题与证明四（19页珍藏版）》请在金锄头文库上搜索。
1、 连续信源的熵与互信息在通信中模拟信号比如语音、图像未数字化以前均属于连续信源。它在概念上与离散信源是不同的，但也有不少类似之处。对连续信源的分析，也可以类似于离散信源从单个连续消息（变量）开始，在推广至连续消息序列。对于连续随机变量可采用概率密度来描述；对连续随机序列可采用相应的序列概率密度来描述；而对于连续的随机过程一般也可以按照取样定理分解为连续随机变量序列来描述。一 单个连续消息的随机变量信源连续随机变量可以看作是离散随机变量的极限，故可采用离散随机变量来逼近。下面，将采用这一观点讨论连续信源的信息熵与信息量。首先类比概率 pi与概率密度 p(u)：单变量连续信源的数学模型：1)()(
2、: RxpRX并 满 足aa+(i-1) a+i第 i个 区 间ui bup(u)令 ua,b ，且 ab,现将它均匀的划分为 n 份，每份宽度为 ，则 u 处于nab第 i 个区间的概率为 pi，则pi= (中值定理) )()()1( iuduia即当 p(u)为 u 的连续函数时，由中值定理，必存在一个 ui值，使上式成立。再按照离散信源的信息熵的定义有：Hn(u)= i iiplog= iiu)( )(liu = i ii upuplog)(log)( iini iinnn upupupUH )log(lm)()log(lim)(li= iibadup log)(l)(log)( 0=
3、bau)(l)(于是我们定义前一项取有限值的项为连续信源的信息熵，并记为 Hc(U).即：H c(U)= badupu)(log)(也可记为：H c(U)=1 )(log)(Rdup其中 R1 表示实轴。),(注意：H c(U)是连续信源的熵，而不是连续信源输出的信息量，而连续信源输出的信息量是 Hn(U).这就是说，在离散信源中信源输出信息量就是信源熵，两者是一个概念；但是在连续信源中则是两个概念，且不相等。连续信源输出信息量 Hn(U)是一个绝对值，它取值于，而连续信源的熵Hc(U)则是一个相对值，且取值是有限的。连续信源的熵 Hc(U)是一个过渡性的概念，它虽然也具有可加性，但不一定满足
4、非负性，它可以不具有信息的全部特征。比如，对一个均匀分布的连续信源，按照定义，有 )log( 1l1)(abduUHbac显然，当 时，H c(U)0,1这说明它不具备非负性。但是连续信源输出的信息量由于有一个无限大量的存在，Hn(U)仍大于。这里，我们仍将 Hc(U)定义为连续信源的熵，理由有二：一是由于它在形式上于离散熵相似：离散熵：H(U)= iiiplog连续熵：H c(U)= )(l)(RduuiRi dup),(另一个更重要的原因是在于实际处理问题时，比如互信息、信道容量、信息率失真函数等可涉及到的仅是熵的差值，即互信息。这时，只要相差的两个连续熵在逼近时可取的 是一致的，两个同样
5、的无限大的尾巴就可以互相抵消。可见，H c(U)是具有相对性，它是为了引入互信息等重要概念而引入的一个过渡性的概念。同理，还可进一步定义如下连续随机变量的熵：条件熵与联合熵： duvrvurVUHQqduvpuvPpVHdqvRcRcRcRc ),(log),(),( )(l)()( )(log)()( )(log)()(222且有： )()()()(),( VUHVUVHV ccccc 几种特殊连续信源的熵1.均匀分布的连续信源的熵一维连续随机变量 X 在a,b区间内均匀分布时，已求得其熵为)(log)(2abXHc若 N 维矢量 中各分量彼此统1NL计独立，且分别在 的区域内,2Na均匀分
6、布，即有Ni iiNi iiNi ii abxabxabxp 111 )(0)()()(可以证明，N 维均匀分布连续信源的熵为 )()(21Ncc XHXLNNbaba Ndxxpxp11 12)(log)( LNNiiibaiii dxababNL 1121 )(log)(1 i ii12)(log可见，N 维统计独立均匀分布连续信源的熵是 N 维区域体积的对数，其大小仅与各维区域的边界有关。这是信源熵总体特性的体现，因为各维区域的边界决定了概率密度函数的总体形状。根据对数的性质， 还可写成)(XHc)()()()(log)( 21 12 NccNi ciic XHabXH L说明连续随机矢
7、量中各分量相互统计独立时，其矢量熵就等于各单个随机变量的熵之和。这与离散信源的情况类似。2 高斯分布的连续信源的熵设一维随机变量 X 的取值范围是整个实数轴 R，概率密度函数呈正态分布，即2)(21)( mxexp其中 m 是 X 的均值dxxpE)(是 X 的方差2 mxE)()( 222当均值 m=0 时，X 的方差 就是随机变量2的平均功率xP)(2由这样的随机变量 X 所代表的连续信源，称为高斯分布的连续信源。这个连续信源的熵为 xXHc )(log)()(2 xemx2)(221l)( dxmxep 2)()(log)log)( 222 因为 ,lnll22xe1)(dx21)()2
8、dmp所以 eXHc 222loglog)( 22l1e上式说明高斯连续信源的熵与数学期望 m无关，只与方差 有关。2在介绍离散信源熵时我们就讲过，熵描述的是信源的整体特性。由高斯函数的曲线可见，当均值 m 发生变化时，只是 p(x)的对称中心在横轴上发生平移，曲线的形状没有任何变化。也就是说，数学期望 m 对高斯信源的总体特性没有任何影响。但是，若 X 的方差 不同，曲线的形状随之改变。2所以，高斯连续信源的熵与方差有关而与数学期望无关。这是信源熵的总体特性的再度体现。3 指数分布连续信源的熵若一随机变量 X 的取值区间是 ，,0其概率密度函数为mxexp1)( )0(x则称 X 代表的单变
9、量连续信源为指数分布的连续信源。其中常数 m 是随机变量 X 的数学期望mdxexmXE 00 1)()(指数分布的连续信源的熵为 02)(log)()( xpXHc021l)(emx由 xxlnloglog22有 0202 )(log)(log)( memXHc其中 e2l 01)(dx上式说明，指数分布的连续信源的熵只取决与均值。这一点很容易理解，因为指数分布函数的均值，决定函数的总体特性。 连续熵的性质1连续熵可为负值2可加性连续信源也有与离散信源类似的可加性。即(1)/()()( XYHXYHccc(2)/()()(ccc下面我们证明式(1)。 2 )(log)()( 2Rc dxyp
10、xypXYH22 )/(log)()(l)( 2RR dxyypdxyRRcXYHxyp)/()()log2)/()(XYHcc其中， Rxpdyxp)()(同理，可证明式(2)。连续信源熵的可加性可以推广到 N 个变量的情况。即 )/()/()/()()( 12121312121 NNNc XHXHXHXH LLL3 平均互信息的非负性定义连续信源的无条件熵和条件熵之差为连续信源的平均互信息。记为 ，);(YXIc即有)/()();( YXHYXI ccc连续信源的平均互信息仍保留了非负性。即 0);();( XYIXICC证明条件熵小于等于无条件熵。即（3）)()/(Hcc（4）YXY现在
11、我们证明式（3）: xdxypxyHR Rcc )(log)()/(log)()()/( 222 由 可得Rpdyxp)()(dxypxydxypxyXHYRcc R)(log)()/(log)()()/( 222 2 22 )/(l)()(/log)( 22RR xdypxyxyp根据对数变换关系 zezlnlogl22和著名不等式1lnz0z并注意到)/(,0)(yxpx故有 )/(y令 ，只要 不恒为 0，则)/(xpz)(xp 0z2 1)/()()/(Rcc dxyyxpXHY2 )/()/()R xyyxy2)(RRRdpdpx=1-1=0即 )()/(XHYcc其中 2 1)(,
12、1,1RRR dxypdyp由式(3)得(5)0);(YXIC同理可得(6)0);(YIC容易证明，连续信源的平均互信息也满足对称性。即(7);();(XYIXICC另外，连续信源还满足数据处理定理。换句话说，把连续随机变量 Y 处理成另一随机变量 Z 时，一般也会丢失信息。即（8）);();(XIXICC 最大连续熵定理(1)限峰值功率的最大熵定理若代表信源的 N 维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。设 N 维随机变量NiibaX1),(iia其均匀分布的概率密度函数为NiiiNiiiNiii abxxabxp111 )(0)()()(除
13、均匀分布以外的其他任意概率密度函数记为 ，并用 和 分别表示均)(xqXxpHc),(Xxqc),(匀分布和任意非均匀分布连续信源的熵。在 1)()( 1111 2121 NbaNba dxxqdxxpNN LLL的条件下有 11 12)(log)(),(ba Nc dxqxXxqHNN LL 1111 121212)(log)()(l)()(log)(ba Nba Nba Ndxxqpxq dxxpqxqNNN LLL令 0,)(zxqpz显 然运用著名不等式1lnz0z则 ),(1)(log)()( )(1log)(),(12 11121111 XxpHabdxxqpdxabxqXxqH
14、cNi iiba Nba NNi iicNNNN LL LL则证明了，在定义域有限的条件下，以均匀分布的熵为最大。在实际问题中，随机变量 的取值限制iX在 之间，峰值为 。如果把取值看作是ib|ib输出信号的幅度，则相应的峰值功率就是。所以上述定理被称为峰值功率受限条2i件下的最大连续熵定理。此时最大熵值为： Ni Niiiic bbXxpH1 122 log)(log),(2)限平均功率的最大熵定理若信源输出信号的平均功率 P 和均值 m被限定，则其输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。单变量连续信源 X 呈高斯分布时，PDF 2)(21)( mxexp 当 X 是高斯分布以外的其它任意分布时 ，PDF 记为 ,由约束条件已知)(xqPxqx mxqdp )()()()( 1)()(22由于随机变量的方差 222222)( mPXEmXE当均值 m 为 0 时，平均功率就等于方差，可见对平均功率和均值的限制就P2等于对方差的限制。用 和 分别XxpHc),(Xxqc),
