《信息论与编码英文课件 ch2例题与证明二》由会员分享，可在线阅读，更多相关《信息论与编码英文课件 ch2例题与证明二（16页珍藏版）》请在金锄头文库上搜索。
1、平均互信息的物理意义（1）Y 对 X 的平均互信息 )/(log)()/()/()( )/(1log)(1log )(/l)();()();(21 2121 211 jinimjji jinimjjiinimjji ijinijjijinijji yxpyxpYXH yxpyxpxpyxp yxII 其 中 条 件 熵 ：* Y 对 X 的平均互信息是对 Y 一无所知的情况下，X 的先验不定度与收到 Y后关于 X 的后验不定度之差，即收到 Y 前、后关于 X 的不确定度减少的量。 H(X/Y)表示收到随机变量 Y 后，对随机变量 X 仍然存在的不确定度，这是 Y关于 X 的后验不定度，通常称它
2、为信道疑义度或损失熵(代表了在信道中损失的信息)(2)X 对 Y 的平均互信息* X 对Y 的平均互信息是 Y 的先验不定度与发出 X)/(log)()/()/()( )/(1log)()(1log )(/l)();()();( 21 2121 211 ijnimjji ijnimjjiinimjji jijnijjiijnijji xypyxpXYH xypyxpypyxp xyxIXI 其 中 条 件 熵 ：后关于 Y 的后验不定度之差，即发 X 前、后关于 Y 的不确定度减少的量。H(Y/X)表示发出随机变量 X 后，对随机变量 Y 仍然存在的平均不确定度，常被称为噪声熵。(3) Y 对
3、 X 的平均互信息 )(log)()( )()()( )1log)(1log)()(l)( )(l)();()();(2121 221211jinimjji jinimjji jnimjjiinijji jijinijjijinimjji yxpyxpXYHXYHyxpyxp ypyxpxypyxIpI 其 中 联 合 熵 ：* 信道两端随机变量 X，Y 之间的平均互信息量等于通信前、后整个系统不确定度减少的量。联合熵表示输入随机变量 X，经信道传输到达信宿，输出随机变量 Y，即收发双方通信后，整个系统仍然存在的不确定度。如果在通信前，我们把 X，Y 看成是两个独立的随机变量，那么通信前，整个
4、系统的先验不定度即 X 和 Y 的联合熵等于 H(X)+H(Y)；通信后，我们把信道两端同时出现 X 和 Y 看成是由信道的传递统计特性联系起来的具有一定统计关联关系的两个随机变量，这时整个系统的后验不定度由 H(XY)描述。例 2.1.5将已知信源 接到下图所示的信道上，5.0.)(21xXP求在该信道上传输的平均互信息量 I(X;Y)、疑义度 H(X/Y)、噪声熵 H(Y/X)和联合熵 H(XY)。0.98 1x 1y0.02 0.20.8 2x 2y解：（1）由 求出各联合概率：),/()( ijiji xypxyxP49.08.50(111 p 12)/)(22xyyx .(11p40
5、850)/)(222 xyyxp（2）由 得到 Y 集各消息概率：,(1nijijP)(1yp 59.01.49.0)()()(12121 yxpyxii 4.059.12 （3）由 ，得到 X 的各后验概率：)()/(jijiypxxp 831.059.4)(/11ypx6/)/(12xp同样可推出 7.0)/(,024.2yxy（4） )/(15.log.5log.)(log)()( 2212 符 号比 特iiixpXH41.0log.59.0log.)(log)()( 22212 iiiypyYH=0.98(比特/ 符号) )(log()( 21 jinimjji yxpyxpXY 40
6、.log.01.log0.1.l0.49.log.0 2222 = 1.43（比特/符号）（5）平均互信息 符 号 ）比 特 /(5.043.198.0)()()();( XYHXHYI（6）疑义度 212)/(log)(/ij jiji yxpyxp）（ 976.0log4.169.0log.04.l.083.log49.0 2222 符 号 ）比 特 /(5（7）噪声熵 212)/(log)(/ij ijji xypyxpXYH）（ 80.log4.02.log10.0l.98.0log4. 222 符 号 ）比 特 /(30平均互信息的性质-非负性先前考虑两个具体消息 之间的互信息量 时
7、，jiyx和 );(jiyxI可能出现负值。而平均互信息量不是从两个具体消息出发，而是从随机变量 X 和 Y 的整体角度出发，并在平均意义上观察问题，所以平均互信息量不会出现负值。0);(0 log)()()( l)()() log1)()( )()log)( )(l)();( 2111 21 121 21 21 YXI eyxpypx eyxpyxpypxyxpYXI mj nimjjijniij nijjijini jijinimjji jijinijji jijinimjji即当且仅当 X 和 Y 相互独立时，等号成立。凸函数性 )/()log)/()()/l)();( 121 21 i
8、jniiijijnimji jijnij ji xypxxypxypxYI 显然平均互信息是信源概率分布 和表示输入,)(npiL输出之间关系的条件概率或称信道传递概率分布的函数。),2,1;,2,1)(/( mjnixypj LL若固定信道，调整信源： )(;(ixpfYXI若固定信源，调整信道： /)ijy(1)平均互信息是输入信源概率分布 的上凸函数)(ix 所谓上凸函数，是指同一信源集合 ,对应两个,21nxxL不同的概率分布 和 ,若有小于 1 的正)(1ixp),)(2ix数 ,使不等式10 )()1()()()()( 212 iiii xpfxpfxxpf 成立,则称函数 为 的
9、上凸函数。fip令 ，因 是 和 的线)(1()( 213 iii xxp)(3ix)(1ixp)(2ix性组合， 构成一个新的概率分布（参见上节熵的上凸i性的证明） 。当固定信道特性为 时，由 确定的)/(0ijxyp)(3ix平均互信息为 nimj ijijiiij jjijinimj jjijinij ijni ijiiijiinimj i ijii ijijiinimj ni ijiijijiiii xypxypxp ypypxyp xypxypxxxypxypxpxypxypxfxpI1 02021 2120211 01 022021 102021 103203213 )/(log)
10、/()() l/( )()log)/() )/()/()(log)/()1() /)/(log)/()1() )/()log)/()()( 根据熵的极值性 有 ni ni iiii xpxpxqxp1 122 )(log)()(log)()(log)()(1()log)/() ll/ 2121 21202 1211 21201 jmjjmj jjni iji jjjj jjni iji ypypypypxypx 代入上式有 )()1()( )(/log/1( )(/l)/()( )/(log)/()()1() )(l)()1()(log)()(21 20021 102011 020211 12
11、2123 iinimj jijijinij jijijinimj ijijiijmj jjjji xpIxpI ypxyypxpx xypxypypxpI 仅当 = = 时，等号成立，一般情况下)(3ixpi2i )()1()()( 213 iii xpIxpIxI (2)平均互信息是信道转移概率 的下凸函数/ijxy固定信源 ，通过调整信道 而得；即有两个)(ixp )(ij不同的信道特性 和 将信道两端的输入和输)/1ijxy)/(2ijxyp出即 X 和 Y 联系起来，如果用小于 1 的正数 对10和 进行线性组合，得到信道特性：)/(1ijxyp)/(2ijxyp。所谓下凸函数即)/(
12、)-(1 213 ijijij xyp )/()1()/()/( 21 ijij ijijij xypIxyIxyI 证法二：互信息 I(U;V)是 的上凸（ 凸）函数；是)(iiupI的下凸（ 凸）函数。)/(ijjiuvPU证明：为了证明方便，我们将互信息改写为： ),(loglog)/()();(jiiij jiijiji ij jijjiPpI PpPqpVHVUI当条件概率 不变时， ，ji ojiji这时， )(),(),( ijiijii pIPpIpI设： ，即 为 与 内插值，1iii iii其中 ，这时有0 )1()1( jji ojiiiiojij qqPppPpq 所以
13、要证明 是 的上凸函数，只需证：)(iIi（按上凸函数定义），即：)1()(1()( iiii ppIIpI ij ij ojijiojiojijiojiij jojiojiiiij ij jojiojijojioji iiiiiii PqpPqpqPpqPpqPp pppIII lg)1(lglg)1( lg)(lg )1()1()(1() E f E f01log)(1logll )(log)1()(log jjjjji ji jjojijjoji qq JensqPpPp 不 等 式上凸性得证。再证下凸性，这时，可认为 为不变值，oiip则 )(),(),( jijioijii PIpIPpI同理，可设： ，101 jijiji而 )1( )1(jj jijiioijiioij qq PPpPp要证下凸性，只需证，即：)(1()()( jijijiji PIPIPI ij ij jijijiojijijioij ij jjijiojjijioij jjioijji jijijiji PqpPqp PPqPpIIPI lg)1(lgl)(llg)1( )(1()()( E f E f 01log)(1loglog)1(logl)1(l log)(log jj jjijiojj jjijioij ij jijijoijijijoi qq qPpPp J
