《信息论讲义_第二讲幻灯片》由会员分享，可在线阅读，更多相关《信息论讲义_第二讲幻灯片（69页珍藏版）》请在金锄头文库上搜索。
1、信息理论基础,授课教师：于 泽 电子信息工程学院201教研室,第二章 信息的统计度量,内容提要 2.1 自信息量和条件自信息量 2.2 互信息量和条件互信息量 2.3 离散集的平均自信息量 2.4 离散集的平均互信息量 2.5 连续随机变量的互信息和相对熵,离散随机变量,事件,2.1 自信息量和条件自信息量,2.1.1 自信息量 简单事件 联合事件 2.1.2 条件自信息量,自信息的推导,某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即： I (ai) f p(ai),根据客观事实和人们的习惯概念，函数 f p(ai) 应满足以下条件： （1）它应是先验概率p(ai)的单调递减函数
2、，即当 p (a1) p (a2) 时，有 f p (a1) f p (a2) （2）当p (ai) =1时， f p (ai) = 0 （3）当p (ai) =0时， f p (ai) = （4）两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。,自信息的推导（续）,1928年，信息论的先驱者之一哈特莱(Hartley)首先研究了具有Nm个组合的单个消息信源。他对这类非概率信源进行了研究，并给出了最早的信息度量公式, 定义为可能消息量的对数: I = logNm = mlogN,可以证明对数函数满足上述条件：,2.1.1 自信息量,自信息量
3、任意简单随机事件xi的发生概率为p(xi)，则自信息量为,一、简单事件,释： (1) p(xi) 1， 表示事件xi出现的概率, 取“-”号的主要目的是：使I(xi) 0,2.1.1 自信息量（续）,具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。,(2) 意义：,一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不确定度就很小； 反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大； 若是确定性事件，出现概率为1，则它包含的不确定度为0。,2.1.1 自信息量（
4、续）,(3) 单位：取决于对数的底 比特（以2为底） I(xi)=-log2 p(xi) 奈特（以e为底） I(xi)=-loge(xi) 哈特来（以10为底） I(xi)=-log10(xi),根据换底公式得：,1 nat = 1.44bit , 1 hat = 3.32 bit；,2.1.1 自信息量（续）,例：英文字母中“e”出现概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。 解：根据自信息量的定义，解得 “e”的自信息量： “c”的自信息量： “o”的自信息量：,例：一个以等概率出现的二进制码元（0，1）所包含的自信息量为： I（
5、0）= I（1）= - log2 （1/2）=log22=1 bit,例：若是一个m位的二进制数，因为该数的每一位可从0, 1两个数字中任取一个，因此有2m个等概率的可能组合。所以I= -log2(1/2m)=m bit，就是需要m比特的信息来指明这样的二进制数。,2.1.1 自信息量（续）,2.1.1 自信息量（续）,例：一副充分洗乱了的牌（含52张牌），求：(1) 任一特定排列 (2) 若从中抽取13张牌，所给出的点数都不相同的信息量？ 。 解：依题意 1) 52张牌共有52!种排列，假设每种排列方式等概出现,则所给出的信息量 2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌
6、的概率如下：,2.1.1 自信息量（续）,联合自信息量 二维联合集XY上元素( xi yj ) 的自信息量定义为 其中，xiyj 是积事件； p( xiyj) 是二维联合概率,二、联合事件,2.1.1 自信息量（续）,例：同时抛一对质地均匀的骰子，每个骰子各面朝上的概率均为1/6。试求： （1）“3和5同时发生”的自信息量 （2）“两个1同时发生”的自信息量 （3）“两个点数中至少有一个是1”的自信息量 解： （1）甲3乙5 ， 甲5乙3 p(A) = 1/36 2=1/18 I(A)=-log p(A) =4.17 bit （2）甲1乙1 p(B) = 1/36 I(B)=-log p(B)
7、 =5.17 bit （3）扣掉 甲、 乙都不是1的概率 p(C) = 1-6/5 5/6=11/36 I(C)=-log p(C) =1.71 bit,2.1.2 条件自信息量,条件自信息量 若事件xi在事件yj给定条件下的概率为p(xi| yj)，则其条件自信息量定义为 因为p(xi| yj) 1 ，所以条件自信息量非负，即：I(xi| yj) 0。,释：I(xi)是事件xi本身所具有的不确定性； I(xi | yj) 是事件yj 发生后， 事件xi 尚存在的不确定性； 条件自信息量单位同自信息量。,2.1.2 条件自信息量（续）,概率知识复习 1.乘法公式 2.全概率公式 3.条件概率公
8、式 4.贝叶斯公式,2.1.2 条件自信息量（续）,例：有一正方形棋盘，分64个格，如果甲将一棋子放在某格内，让乙猜测。,1.将方格按顺序编号（1,2, ,64），让乙猜测棋子所在格的序号。 2.将方格按行，列编号(如图所示)，甲告诉乙棋子所在行或者列的编号，让乙猜测位置。 计算乙猜中的信息量。,Answer:,1）,2）,2.1.2 条件自信息量（续）,2.2 互信息量和条件互信息量,2.2.1 互信息量 定义 性质 2.2.2 条件互信息量,2.2.1 互信息量,一、互信息量定义 对两个离散随机事件集X和Y，事件yj的出现给出关于事件xi的信息量，其定义式为 物理意义： 互信息量是一种消除
9、的不确定性的度量。 互信息量=先验的不确定性-尚存在的不确定性。 表示事件xi 发生后传递给事件yj的信息量； 表示事件yj发生所能提供的关于事件xi的信息量。,I(xi ; yj)=,例： 8个串联的灯泡x1，x2，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？,解：收到某消息获得的信息量(即收到某消息后获得关于某事件发生的信息量) 不确定性减少的量 (收到此消息前关于某事件发生的不确定性) - (收到此消息后关于某事件发生的不确定性),2.2.1 互信息量（续）,已知8个灯泡等概率损坏，所以先验概率P (x1)1/8 ，即,第二次测量获得的信
10、息量 = I P (x2) - I P (x3)=1(bit) 第三次测量获得的信息量 = I P (x3) =1(bit),第一次测量获得的信息量 = I P (x1) - I P (x2)=1(bit) 经过二次测量后，剩2个灯泡，等概率损坏，P (x3)1/2,一次测量后，剩4个灯泡，等概率损坏，P (x2)1/4,2.2.1 互信息量（续）,例： 求：当接收信号为A2时，哪个电台发射的可能性大？,2.2.1 互信息量（续）,解：从概率论角度分析，根据贝叶斯公式 从互信息量角度分析,接收H2可能性大,接收H2可能性大,2.2.1 互信息量（续）,二、互信息量的性质 （1）互易性 由事件提
11、供的有关事件的信息量等于由事件提供的有关事件的信息量。 （2）互信息量可为零 当事件xi, yj 彼此统计独立， I(xi ; yj)= 0。 表明：当事件xi 同 yj相互独立时，不能通过对事件yj的观测获得关于另一事件xi的任何信息。,2.2.1 互信息量（续）,（3）互信息量小于自信息量 任何两个事件之间的互信息量不可能大于其中任一事件的自信息量。 I(xi ; yj) I(xi ) I(xi ; yj) I(yj) 物理意义 表明：自信息量I(xi)是为了确定事件xi的出现所必需提供的信息量，也是任何其他事件所能提供的关于事件xi的最大信息量。,2.2.1 互信息量（续）,（4）互信息
12、量I(xi ; yj) 可正可负 在给定观测数据yj的条件下，事件xi出现的概率p(xi|yj), 称为后验概率。 当后验概率大于先验概率，即p(xi|yj) p(xi)时，互信息量为正值，即I(xi ; yj) 0； 当后验概率小于先验概率，即p(xi|yj) p(xi)时，互信息量为负值，即I(xi ; yj)0 。 物理意义：互信息量为正，意味着事件yj的出现有助于肯定事件xi的出现；反之，则是不利的。造成不利的原因是由于信道干扰引起的。,2.2.1 互信息量（续）,例: 已知信源包含8个数字消息0，1，2，3，4，5，6，7。为了在二进制信道上传输，用信源编码器把这8个十进制数编成三位
13、二进制代码组，信源各消息（符号）的先验概率及相应的代码组见下表,求互信息量,2.2.2 条件互信息量（续）,2.2.2 条件互信息量（续）,解: I(ui;x0)表示译码器收到第一个码元x0后提供的关于消息ui的信息量。按贝叶斯公式有,后验概率为 故接到第一个码元“0”后的后验概率为,2.2.2 条件互信息量（续）,求得互信息量为 如 表示：译码器收到第一个码元“0”后，提供的有关消息u3的信息量为0.415 bits。,2.2.2 条件互信息量（续）,同理求接到01后的后验概率 接到011后的后验概率，按贝叶斯公式有,2.2.2 条件互信息量（续）,后验概率分布,2.2.2 条件互信息量（续
14、）,得到 此式表示译码器收到码元“01”后，提供的有关消息的信息量为2bit. 此式表示译码器收到码元“011”后，提供的有关消息的信息量为3bit。,2.2.2 条件互信息量,定义：在联合集XYZ中，在给定zk的条件下， xi与yj之间的互信息量定义为条件互信息量。其定义式为,2.2.2 条件互信息量（续）,在XYZ联合集上还存在事件xi与积事件yj zk之间的互信息量，其定义式为 表明：事件yj和zk同时出现后所提供的关于xi的信息量I(xi ; yjzk) 等于事件yj出现后所提供的关于xi的互信息量I(xi ; yj)加上在已知yj的条件下由事件zk所提供的关于xi的信息量I(xi ;
15、 zk | yj) 。,例: 已知信源包含8个数字消息0,1,2,3,4,5,6,7。为了在二进制信道上传输，用信源编码器把这8个十进制数编成三位二进制代码组，信源符号的先验概率见下表 求： 1）求在给定x0条件下，消息u3与y1之间的条件互信息量。 2）求在给定x0y1条件下，消息u3与z1之间的条件互信息量。 3）求消息u3与代码组之间的互信息量。,2.2.2 条件互信息量（续）,2.2.2 条件互信息量（续）,解：接收到代码0，01和011的后验概率分别为,2.2.2 条件互信息量（续）,在给定x0条件下, 消息u3与y1之间的条件互信息量 I(u3 ; y1|x0) 在给定x0y1条件下，消息u3与z1之间的条件互信息量 I(u3 ; z1|x0y1),2.2.2 条件互信息量（续）,消息u3与代码组x0y1z1之间的互信息量 I(u3 ; x0y1z1) 解法二：根据定义直接得到,2.3 离散集的平均自信息量,2.3.1平均自信息量（熵, Entropy） 熵的定义 熵的性质 2.3.2 条件熵和联合熵 2.3.3 各种熵的关系 2.3.4 加权熵 加权熵定义 加权熵性质,引出,一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意 这一随机事件的概率空间为,引出（续）,其中：x
