《信息论基础2010-第二章》由会员分享，可在线阅读，更多相关《信息论基础2010-第二章（82页珍藏版）》请在金锄头文库上搜索。
1、信息论基础 浙江大学信息与通信工程研究所 张朝阳张朝阳 2010夏学期 第二章 熵与互信息第二章 熵与互信息 符号系统符号系统 X, Y：随机变量（待观测变量） xk , yj : 变量取值（观测值） ak , bj : 变量取值（观测值） =xk ; k=1,2,K; =yj ; j=1,2,J: 变量值域 事件：X=xk 或X=ak ; Y=yj 或Y=bj qk =PrX=xk , wj =PrY=yj 概率论基础知识概率论基础知识 ),(,),(yxpYX 对联合变量对（二维随机矢量） 0),( jk yxp 1),( jk jk yxp )(),( jjk k yyxp )(),(
2、kjk j xqyxp 有： )( , )|()|( k jk kjkj xq yxp xXyYPxyp )( ),( )|()|( j jk jkjk y yxp yYxXPyxp 事件的自信息事件的自信息 事件的发生通常会对外界提供信息。人们 对信息的感受与事件发生的概率密切相关 我们将特定事件X=xk 发生后给外界带来的 信息量定义为该事件的自信息事件的自信息 )(log )()( ka kk xq xIxXI 当对数的底a取为2时，自信息的单位为比特（bit）； 当对数底取为e时，单位称为奈特（nat）。 公理化的定义公理化的定义 事件自信息的本质事件自信息的本质 事件发生后对外界（观
3、察者）所提供的信 息量 事件发生前外界（观察者）为确证该事件 的发生所需要的信息量，也是外界为确证 该事件所需要付出的代价 事件的自信息并不表示事件的不确定性， 事件本身没有不确定性可言，它要么是观 察的假设和前提，要么是观察的结果 事件的条件自信息事件的条件自信息 ),(,),(yxpYX )|(log)|( jkajk yxpyxI 联合变量： k xX j yY 事件发生的条件下事件 的条件自信息定义为： 事件事件Y=yj 发生后事件发生后事件X=xk 的发生还能再给外 界提供的 的发生还能再给外 界提供的“新新”的信息量的信息量 事件的联合自信息事件的联合自信息 ),(,),(yxpY
4、X ),(log),( jkajk yxpyxI 联合变量： k xX j yY 所对应的事件和 联合发生所带来的联合自信息定义为： ),(log),( jkajk yxpyxI 事件事件X=xk 与事件与事件Y=yj 同时发生对外界提供的信息量同时发生对外界提供的信息量 事件的互信息事件的互信息 ),(,),(yxpYX 联合变量： k xX j yY 所对应的事件和 相互之间所提供的互信息定义为： )|(log)(log )( )|( log);( jkaka k jk ajk yxpxq xq yxp yxI 事件互信息的本质事件互信息的本质 )|(log)(log);( jkakajk
5、 yxpxqyxI 事件X=xk发生后提 供给外界的信息量 事件Y=yj发生后事件X=xk 还能提供给外界的新信息量 事件Y=yj中包含的有 关事件X=xk信息量 事件互信息的性质事件互信息的性质 kjjk xyIyxI;);( )()|(0 ),()|(0 )()|(0 )( )|( log);( kjk jkkjk kjk k jk ajk xqyxp yxxqyxp xqyxp xq yxp yxI 独立与 事件的条件互信息事件的条件互信息 )|()|( )|,( log )|( ),|( log)|;( zypzxp zyxp zxp zyxp zyxI a a 事件事件Z=z已知的条
6、件下事件已知的条件下事件X=x与事件 与事件 Y=y相互提供的信息量相互提供的信息量 事件的联合互信息事件的联合互信息 )()( )( log )( ),|( log),;( yzpxp xyzp xp zyxp zyxI a a 事件事件Y=y和和Z=z联合提供的有关事件联合提供的有关事件X=x的 信息量 的 信息量 事件联合互信息的链式法则事件联合互信息的链式法则 );,()|;();( )|;();(),;( xzyIyxzIxyI yzxIyxIzyxI 事件事件Y=y和和Z=z联合提供的有关事件联合提供的有关事件X=x的信息量，等于 的信息量，等于 Y=y提供的有关事件提供的有关事件
7、X=x的信息量再加上事件的信息量再加上事件Y=y已知的 条件下事件 已知的 条件下事件Z=z所提供的有关所提供的有关X=x的新信息量。的新信息量。 变量的平均自信息变量的平均自信息熵熵 x a x xqxq xIxqXIEXH )(log)( )()()( )( 我们更关心变量在其取值集合总体上平均 每次观测所能获得的信息量 熵的本质（熵的本质（I） pp xx X 1 21 p 1 0.510 H(p) )( )1log()1 (log )( pH ppppXH p越接近于越接近于0或者或者1（X确定 性越高），熵越小； 确定 性越高），熵越小； p越接近于越接近于0.5（X越不确 定），熵
8、越大 越不确 定），熵越大 熵的本质（熵的本质（II） 熵是随机变量不确定性的度量 熵是随机变量每次观察结果平均对外界所 提供的信息量 熵是为了确证随机变量的取值外界平均所 需要的与之相关的信息量 条件熵条件熵 X X x x yxpyxp yxIyxpyXH )|(log)|( )|()|()|( 以事件Y=y为条件的变量X的熵 以变量Y为条件的变量X的熵 xy y yxpyxp yXHy yXHEYXH )|(log),( )|()( )|()|( Y 疑义度：疑义度：Y已知的条件 下 已知的条件 下X的剩余不确定性的剩余不确定性 联合熵联合熵 xy yxpyxp yxIEYXH ),(l
9、og),( ),(),( 随机变量X和Y的联合熵（联合不确定性） )|()( )|()(),( YXHYH XYHXHYXH 联合熵的链式法则 N n nnN UUUUHUUUH 1 12121 ),|(),( 熵的性质（熵的性质（I） K K ppp xxx X 21 21 K k kk KkK pp HpppHXH 1 21 log )(),()(P 熵的性质（熵的性质（II） K k kk KkK pp HpppHXH 1 21 log )(),()(P 熵的性质（熵的性质（III） =A1 ,A2 ,A3 ,B1 ,B2 =A,B （5）可加性）可加性 11 221122 2121 (
10、)()(|) X XXX H XH XH XX 熵的性质（熵的性质（IV） 11 1 ()= ( ( ), ( ) X H XH P A P B 12312 22 2 ()( ( ), ( ), ( ), ( ), ( ) AAABB X H XH P A PP A PP A PP B PP B P 对变量对变量X可以进行多步分层的观察，每一步都可从上一步观察 结果中得到更为细致的结果，变量 可以进行多步分层的观察，每一步都可从上一步观察 结果中得到更为细致的结果，变量X在最后的观察结果集合中 的不确定性等于第一次观察结果的不确定性，加上其后每次观 察结果在前一次观察结果已知的前提下的条件不确
11、定性 在最后的观察结果集合中 的不确定性等于第一次观察结果的不确定性，加上其后每次观 察结果在前一次观察结果已知的前提下的条件不确定性 11 22 11 12312 21121 (|)()(|) = ( )(,)( )(,) X X x AAABB H XXP x H Xx P A H PPPP B H PP 熵的性质（熵的性质（V） K KKK HpppH KKK log 1 , 1 , 1 ),( 21 （6）极值性）极值性 K k kkKK qppppH 1 21 log),( 证明： 对任何概率矢量q均成立。 因为： 1ln xx（因） Kk K qk, , 2 , 1 , 1 令即得
12、。 熵的性质（熵的性质（VI） （7）凸性）凸性 授课小结授课小结 事件的自信息，条件自信息，联合自信息 事件联合自信息的链式法则 熵的概念及其本质 条件熵，联合熵，联合熵的链式法则 熵的性质 作业作业 复习授课内容 预习2.1.5至2.2.2节 独立完成习题（每章交一次） 2.1 2.2 2.4 2.5 2.6 凸函数（下凸函数凸函数（下凸函数, Convex Function） )(xf x )1 ( )(f )(f )1 ( f 1 , 0 ),()1 ()()1 (fff 处取极小值在*)( if , 0 )( * xxxf x xf xx 凹函数（上凸函数凹函数（上凸函数, Conc
13、ave Function） )(xf x )1 ( )(f )(f )1 ( f 1 , 0 ),()1 ()()1 (fff 处取极大值在*)( if , 0 )( * xxxf x xf xx 非负凸集上的上凸函数取极大值的充要 条件 非负凸集上的上凸函数取极大值的充要 条件 00 00 )( ,)( )()()( 21 k k k K K f f fKf 得极大值的充要条件是 处取在则对任一分量连续可导， 上的上凸函数，若维非负凸集是定义在 概率空间上的上凸函数取极大值的充要 条件 概率空间上的上凸函数取极大值的充要 条件 0 0 )( ,)( )()( 21 k k k K f f f
14、Kf 得极大值的充要条件是 处取在任一分量连续可导，则 对数，若维概率空间上的上凸函是定义在 随机变量间的平均互信息随机变量间的平均互信息 )( )|( log);( xp yxp yxI xy xq yxp yxp yxIEYXI )( )|( log),( );();( 二个事件X=x与Y=y之间的相互提供的信息量定义 为 联合随机变量(X, Y), , p(x,y) 相互提供的平均信 息量称之为二者之间的平均互信息，简称互信息： 互信息的性质（互信息的性质（I） 0);(YXI xy xq yxp yxpYXI )( )|( log),();( xy yxq yxp yxp )()( ),( log),(
