《信息论基础与编码 工业和信息化普通高等教育十二五 规划教材立项项目 教学课件 ppt 作者 王军选 田小平 曹红梅 02章》由会员分享，可在线阅读，更多相关《信息论基础与编码 工业和信息化普通高等教育十二五 规划教材立项项目 教学课件 ppt 作者 王军选 田小平 曹红梅 02章（50页珍藏版）》请在金锄头文库上搜索。
1、第二章 信源与信息熵,2.1 信源的数学模型及分类 2.2 离散信源熵和互信息 2.3 信息熵的性质 2.4 离散序列信源熵 2.5 连续信源熵与互信息 2.6 信源的冗余度,2.1 信源的数学模型及分类,信源分类 连续信源 信源 离散无记忆信源 离散信源 离散有记忆信源 离散无记忆信源：包括发出单个符号的无记忆信源和发出符号序列的无记忆信源两种。 离散有记忆信源：包括发出符号序列的有记忆信源和发出符号序列的马尔可夫信源两种。,各个符号的先验概率为：,假定某一离散信源发出的各个符号消息的集合为：,通常将它们写在一起： 称为概率空间，其中 最简单的有记忆信源是N=2的情况，此时信源为：X=X1X
2、2，其概率空间为： 对于无记忆信源来说，其联合概率为： 若其满足平稳性,2.2 离散信源熵和互信息,2.2.1 信息量 在一切有意义的通信中，虽然消息的传递意味着信息的传递，但对于接收者来说，某些消息比另外一些消息却含有更多的信息。消息中的信息量与消息发生的概率紧密相关，消息出现的概率越小，则消息中包含的信息量就越大。 为了计算信息量，消息中所含信息量I与消息出现的概率p(x)间的关系式应当反映如下规律： 消息中所含信息量I是出现该消息的概率p(x)的函数，即 消息出现的概率越小，它所含的信息量越大；消息出现的概率越大，它所含的信息量越小；且当p(x) = 1时，I = 0。 若干个互相独立的
3、事件构成的消息，其所含信息量等于各独立事件的信息量之和，即 不难看出，若I与p(x)之间的关系式为： 就可满足上述要求。,上式中的I称为随机事件的自信息量。它的单位与所采用的对数的底有关。若取a = 2，则自信息量的单位为bit；若取a = e，则其单位为nat；若取a = 10，则其单位为det。 对于一个以等概率出现的二进制码元（0，1），它所包含的信息量为： 若有一个m位的二进制数，其自信息量为： 即需要m bit信息来指明这样的二进制数。 若有两个消息xi，yj同时出现，则其自信息量定义为： p(xiyj)为联合概率。 若xi与yj相互独立，即 ，则有 若xi与yj的出现不是相互独立的
4、，而是有联系的，此时，要用条件概率来表示，即在事件yj出现的条件下，事件xi发生的条件概率，其条件自信息量定义为：,例题2-1 英文字母中“a”出现的概率为0.063，“c”出现的概率为0.023，“e”出 现的概率为0.105，分别计算它们的自信息量。 解： 由自信息量的定义式，有 例题2-2 将二信息分别编码为A和B进行传送，在接收端，A被误收作B的概率为0.02；而B被误收作A的概率为0.01，A与B传送的频繁程度为2:1。若接收端收到的是A，计算原发信息是A的条件自信息量。 解：设U0表示发送A，U1表示发送B；V0表示接收A，V1表示接收B。 由题意知： 则接收到A时，原发信息是A的
5、条件概率为：,，,，,，,，,。,2.2.2 离散信源熵 假设离散信息源是一个由n个符号组成的集合，称为符号集。符号集中每一个符号xi在消息中是按一定的概率p(xi)独立出现，其概率空间为: 且有： 。则 所包含的信息量分别为： 于是，每个符号所含信息量的统计平均值，即平均信息量为 由于H同热力学中的熵形式相似，故通常又称它为信息源的熵，简称信源熵，其单位为bit/符号。,前面定义的自信息量I(xi)是表征信源中各个符号的不确定性。由于信源中各个符号的概率分布（先验概率）不同，因而各个符号的自信息量就不相同，所以，自信息量不能作为信源总体的信息量。而平均信息量H(X)或信源熵H(X)是从平均意
6、义上来表征信源的总体特征，因此可以表征信源的平均不确定性。 定义信源的平均不确定性H(X)为信源中各个符号不确定性的数学期望，即 ，称作信息熵，简称熵。 由于I(X)是非负值的量，所以熵H(X)也是非负值的，只有在p(x) = 0和p(x) = 1时，熵H(X)才为零p(x) = 0时，规定0log0 = 0，其合理性由极限 得证。 例题2-3 一幅500600的图像，每个像素的灰度等级为10，若为均匀分布，计算平均每幅图像能提供的信息量。 解 ：能够组成的图像有 ，有 （bit/图像）,例题2-4 某信息源由4个符号0,1,2,3组成，它们出现的概率分别为：1/8、1/2、1/4、1/8，且
7、每个符号的出现都是相互独立的。试计算某条消息“201020130213001203210100 321010023102002010312032100120210”的信息量。 解： 在此条消息中，符号0出现了23次，符号1出现了14次，符号2出现了13次，符号3出现了7次，消息共有57个符号。 其中出现符号0的信息量为：23log28 = 69bit。 其中出现符号1的信息量为：14log22 = 28bit。 其中出现符号2的信息量为：13log24 = 26bit。 其中出现符号3的信息量为：7og28 = 21bit。 因此，该消息的信息量为：I=69+28+26+21=130bit。平
8、均（算术平均）每个符号的信息量应为： 符号 。 若用信源熵的概念进行计算，有 符号。 那么，该条消息所含的信息量为：I = 57 2.28bit129.96bit 可以看到，用算术平均和信源熵两种计算所得的结果略有差别，其根本原因在于它们平均处理的方法不同。按算术平均的方法，结果可能存在误差，这种误差将随着消息中符号数的增加而减小。,例题2-5 一个由字母A、B、C、D组成的字，对于传输的每一个字母用二进制脉冲编码，A:00，B:01，C:10，D:11，每个脉冲的宽度为5ms。 （1）若每个字母是等概率出现时，计算传输的平均信息速率。 （2）若每个字母出现的概率分别为：pA = 0.2，pB
9、 = 0.25，pC = 0.25，pD = 0.3，计算传输的平均信息速率。 解：信息传输速率也称为信息速率或传信率，它被定义为每秒传递的信息量，单位是比特/秒，记为bit/s，它是衡量通信系统的一个主要性能指标。 （1）各字母等概率出现时，平均每个符号所含的信息量为 传输一个符号需要10ms，因此，每秒钟可传100个符号。所以，信息速率为 （2）同理，各字母不等概率出现时，平均每个符号所含的信息量为 信息速率为： 。,对于二元离散信源X，其输出的符号只有0和1两个，发生的概率分别为p和q，且p+q=1，该信源的概率空间为： 该二元信源的熵为： 由于p的取值区间为 ，给定p的值，做出 的变化
10、曲线，如图2-1所示。 图2-1 H(p)p曲线,从图2-1可以得出，如果二元信源的输出符号是确定的，即p = 1或q = 1时，则H(p) = 0，说明该信源不提供任何信息量。若二元信源符号0和1以等概率发生，即p=q=0.5时，则该信源熵达到最大值，H(X)=1bit/符号。 对任一有限离散值的集合而言，其熵是一有界函数，即 M是可能的离散取值的个数。 熵H(X)是随机变量x的不确定性的测度，如果增加一个随机变量y，那么如何度量在观测到y之后x的不确定性呢？这需要定义给定y情况下x的条件熵。 在给定yj条件下，xi的条件自信息量为 ，X集合的条件信息熵为： 进一步，在给定各个yj，即Y的条
11、件下，X集合的条件信息熵为： 条件熵H(X/Y)表示已知Y后，X的不确定性。 相应地，在给定X的条件下，Y集合的条件信息熵定义为：,定义联合信息熵为： H(XY)表示了联合概率分布所具有的信息量的概率平均值，即X和Y同时发生的不确定性。联合信息熵与各条件信息熵的关系式为：,2.2.3 互信息量,假设X为信源发出的离散消息符号的集合，X的各消息符号的先验概率已知为p(xi)；Y为信宿收到的离散消息符号的集合。信宿收到一个消息符号yj后计算出信源各消息符号的条件概率为 （即后验概率），则互信息量定义为： 由于无法确定 和p(xi)的大小关系，所以 不一定大于或等于0，有可能小于0。 对互信息量在X
12、集合上取统计平均值，得 再对在Y集合上的概率加权统计平均，有 此I(X;Y)称为平均互信息量（熵）。,在通信系统中，若发送端的消息符号为X，接收端的消息符号为Y，则平均互信息量I(X;Y)就是在接收端收到消息符号Y后所能获得的关于发送的消息符号X的平均信息量，反之亦然。且I(X;Y)是非负的。注意平均互信息量I(X;Y)与联合信息熵H(XY)的区别。 由以上的结果，可得出下面的性质： 这几个关系式说明：平均互信息量对X与Y呈对称性；联合信息熵与平均互信息量之和等于X与Y的熵之和。这些关系可以用图来表示，如图2-2所示。 图2-2 联合熵与条件熵的关系 两个圆分别为H(X)和H(Y)，交叠的部分
13、为I(X;Y)。 关系式I(X;Y)=H(X) H(X|Y)说明了接收信号所提供的有关传输消息的平均信息量等于确定消息X所需的平均信息量减去接收Y信号后要达到此目的尚需要的平均信息量。,可以把熵当作发出的平均信息量，把I(X;Y)作为接收Y后所提供的有关发出消息X的平均信息量，把条件熵H(X|Y)看作是由于信道噪声而损失的平均信息量。条件熵H(X|Y)也称为可疑度或疑义度。 而关系式I(X;Y)=H(Y) H(Y|X)也可看做所接收的平均信息量，它是确定接收到信号需要的平均信息量减去当发出的消息为已知时，欲确定同一接收到信号所需的平均信息量。 因此，H(Y|X)是确定信道中出现某种干扰时需要的
14、平均信息量，称为信道噪声的熵；或者说，H(Y|X)代表Y集合中由于噪声所产生的那部分熵。噪声熵也称为散布度。 如果X与Y是相互独立的，则Y已知时，X的条件概率就等于无条件概率，那么X的条件熵就等于X的无条件熵。此时，I(X;Y)=0，说明由于X与Y相互独立，无法从Y中提取有关X的信息量，可以看做信道中的噪声相当大，能传输的平均信息量为零，由信源发出的信息量在信道上全部损失掉了，这种信道称为全损离散信道。 如果输出Y是输入X的确定的、一一对应的函数，则Y已知时X的条件概率不是“1”就是“0”，此时：I(X;Y)=H(X)，由Y所获得的信息量就是X的不确定性或熵。这种情况下，信道不损失信息量，噪声
15、熵为0。这种信道称为无扰离散信道，有 I(X;Y)=H(X)=H(Y)这是两种特殊的情况。,一般情况下，X与Y既不是相互独立、也不是一一对应的，此时，即从Y获得X的信息量介于0与H(X)之间。 符号xi与符号对之间的互信息量定义为 由以上两式，可以得出： 该式表明：一个联合事件yjzk出现后所提供的有关xi的信息量 等于zk事件出现后提供的有关xi的信息量加上在给定zk条件下再出现yj事件后所提供的有关xi的信息量。可以容易地得出三维联合集XYZ上的平均互信息量有下列各关系式 例题2-6 有8个符号 ，它们出现的概率分别为 ，将其用三位二进制数进行编码，即 ，计算编码器输出端出现“0”、“01”、“001”后所提供的有关u4出现的信息量。,解：本题需要求解的是互信息量I(u;xyz)。用x0表示出现“0”，y1表示出现“1”，z1表示出现“1”。因此，需确定 ， ， 。 编码器输出“0”以后，可能的输入消息就从8种缩小到4种。从x0的出现来推测输入为u1、u2、u3、u4的概率分别为： 编码器输出“01”以后，可能的输入消息只有2种：u3和u4，相应的条件概率为 编码器输出“011”以后，可能的输入消息只有1种，即u4，相应的条件概率为 由互信息量的定义，有,
