《第3讲――互信息课件》由会员分享，可在线阅读，更多相关《第3讲――互信息课件（38页珍藏版）》请在金锄头文库上搜索。
1、互信息,第三讲,信源的数学模型,信源熵（信息熵）,随机变量、随机序列,随机过程,定义：自信息的数学期望,含义：两种解释,与联合熵、条件熵之间的关系,熵的性质,非负性、对称性、确定性、扩展性、可加性、 极值性、上凸性、唯一性,非负性、对称性、确定性、扩展性、可加性、 极值性、上凸性、唯一性,互信息,第四讲,设有两个随机事件X和Y ,X取值于信源发出的离散消息集合, Y取值于信宿收到的离散符号集合,信 道,干扰源,信源X,信宿Y,互信息定义,定义：X和Y之间的平均互信息量定义为,由定义，可得,互信息定义,仿照自信息量，我们也可以定义非平均互信息量 表示接收到消息yj后获得关于事件xi的信息量。,互
2、信息定义,平均互信息,对称性 当X和Y相互独立时，互信息为0 互信息量可为正值或负值 I(xi;yj)I(xi) , I(xi;yj)I(yj),互信息性质,某地二月份天气构成的信源为 现有人告诉你:“今天不是晴天”，把这句话作为收到的消息 。当收到消息 后，各种天气发生的概率变成后验概率，其中,计算 与各种天气之间的互信息量。,互信息实例,从y1分别得到了x2,x3,x4各1比特的信息量，即收到 消息y1使得x2,x3,x4的不确定性减少了1比特。,收到消息y1使得x2,x3,x4的不确定性减少了（或者说出现的可能性增加了）因而为正；而收到消息y1使得x1出现的可能性减少了，因而为负。,互信
3、息实例,条件互信息与联合互信息,条件互信息,联合互信息,对称性： 非负性： 与熵的关系： 极值性：,平均互信息性质,非负性：,平均互信息与熵之间的关系,平均条件互信息和平均联合互信息,基本关系式,维拉图,H(X|Y),H(X),H(Y),H(XY),H(Y|X),I(X;Y),用维拉图理解,H(X),H(Y),H(Z),A,B,C,D,E,F,G,A+B+C,C,A+B,系统1,系统2,X,Y,Z,当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。说明数据处理过程中只会失掉信息，绝不会创造出新的信息，正所谓信息不增性。,信息处理定理,两级串联信道的情况
4、X-Y-Z构成Markov链,基本关系式,证明：,由联合互信息定理，可得,对此系统而言，有,因而,再由条件互信息的非负性，可得,又,因而可得,系统1,系统2,X,Y,Z,平均互信息,定义及含义,与熵的关系,性质：对称性、非负性、极值性,信息处理定理,凸性,在a,b上定义的上凸函数,在a,b上定义的下凸函数,凸集,若集合,（n维欧氏空间），有,且对任意实数,有,显然，n维欧氏空间,为一凸集合。,01,则称为C为凸集合。,概率矢量构成集合为凸集,定义 若一个K维矢量 =(1, 2, , K)的所有分量为非负的，且和为1，即就称为概率矢量。,引理 概率矢量全体所构成的区域R是凸的。,证：若,R，对0
5、1构造矢量=(1-),因此是概率矢量，仍属于R，所以R是凸的。,凸函数定义,定义在凸集R上的一个实函数f，若它对所有,R和01满足 f()+(1 ) f ()f ( (1 ) 就称函数f为R上的凸函数，若式中不等号的方向相反，就称f为凸函数，若等号仅当=0或1时成立，就称f为严格凸或严格凸的。,凸函数性质,1) 若f()是凸的，则-f()是凸的，反过来也成立。,2) 若f1(), f2(), fL()是R上的凸函数，c1,c2,cL是正 数，则 为R上的凸函数，若其中任一个是严 格凸的，则和式也是严格凸的。,3) (Jensen不等式) 若f()是R上的凸函数，则,Ef()f (E (),令,
6、是定义在R上的凸函数，其中=(1, 2, , K),存在且在R域上连续，,在R上为极大的充分必要条件是,凸函数性质,4) Kuhn-Tucker条件,为一概率矢量。假定偏导数,对所有,对所有,熵的凸性,证明：,令,则,由于,当且仅当 时等号成立,平均互信息量为先验概率p(i)和信道转移概率p(j/i)的函数，可以记为： I(X;Y)=fP(X);P(Y/X),平均互信息的凸性,输入分布给定， I(X;Y)随转移概率变化,转移概率给定， I(X;Y)随输入分布变化,当信道一定时，平均互信息是信源先验概率的上凸函数,对于一定的信道转移概率分布，总可以找到一个先验概率分布为P的信源X，使平均互信息达
7、到相应的最大值Imax，这时称这个信源为该信道的匹配信源。 不同的信道转移概率对应不同的Imax，或者说Imax是P(Y/X)的函数。,平均互信息的凸性,令q1和q2是输入集X上的任意两个概率矢量，相应的互信息为I1和I2，令01，q=q1(1-)q2,求证,当信道一定时，平均互信息是信源先验概率的上凸函数,令,则有,根据平均互信息的定义，可得 因为 log x 是严格凸函数， 利用Jensen不等式， 可得,当信源一定，平均互信息是信道转移概率的下凸函数 对于一个已知先验概率为P的离散信源，总可以找到一个转移概率分布为P(Y/X)的信道，使平均互信息达到相应的最小值Imin。 可以说不同的信
8、源先验概率对应不同的Imin，或者说Imin是P(X)的函数。即平均互信息的最小值是由体现了信源本身的特性。,平均互信息的凸性,令 和 是两个任意条件概率分布，相应的互信息为I1和I2，令01，,求证,当信源一定，平均互信息是信道转移概率的下凸函数,令,根据平均互信息的定义，可得 因为 log x 是严格凸函数， 利用Jensen不等式， 可得,本节小结,(内容见课本10-18页, 28-31页, 39-45页),定义及含义,与熵的关系,性质：对称性、非负性、极值性,信息处理定理,凸性,信道一定时，平均互信息是信源先验概率的上凸函数,信源一定时，平均互信息是信道转移概率的下凸函数,作 业,2.10 2.11 2.12 2.18（后5个证明）,
