《第2章信息论基本概念1》由会员分享，可在线阅读，更多相关《第2章信息论基本概念1（68页珍藏版）》请在金锄头文库上搜索。
1、 第第二二章章 信息论的基本概念信息论的基本概念第一节第一节 信源的描述和分类信源的描述和分类第二节第二节 离散信源的信息论概念离散信源的信息论概念第三节第三节 离散信源的熵离散信源的熵玛绚甜饱垒荧裂限叛馈考笔达又性妈忍瞬氦睬帽滓磁弯薪令偶瞻团贼治桂第2章-信息论基本概念1第2章-信息论基本概念1第一节第一节 信源的描述和分类信源的描述和分类一、香农信息论的基本点一、香农信息论的基本点 用用随随机机变变量量或或随随机机矢矢量量来来表表示示信信源源，运运用用概概率率论论和和随机过程的理论来研究信息。随机过程的理论来研究信息。 二、信源的分类二、信源的分类 按按照照信信源源发发出出的的消消息息在在
2、时时间间上上和和幅幅度度上上的的分分布布情情况况可将信源分成离散信源和连续信源两大类可将信源分成离散信源和连续信源两大类 信源信源离散信源离散信源连续信源连续信源番命掩姥漫拇纪芥窗涡窜缚乓硫窗立宅魁隅映峪居襄液膊响体驮颖两对澜第2章-信息论基本概念1第2章-信息论基本概念11.1.连续信源连续信源 连连续续信信源源是是指指发发出出在在时时间间和和幅幅度度上上都都是是连连续续分分布布的的连连续续消消息息（模模拟拟消消息息）的的信信源源，如如语语言言、图图像像、图图形等都是连续消息。形等都是连续消息。 2.2.离散信源离散信源 离离散散信信源源是是指指发发出出在在时时间间和和幅幅度度上上都都是是离
3、离散散分分布布的的离离散散消消息息的的信信源源，如如文文字字、数数字字、数数据据等等符符号号都都是是离散消息。离散消息。 离散信源离散信源离散无记忆信源离散无记忆信源离散有记忆信源离散有记忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源葡翰沉崖褐炔横烹拾续拒坏匡充甲傲脓谆逻枫缴暖凑坏赊散屯睁筏瞎涵册第2章-信息论基本概念1第2章-信息论基本概念1离散无记忆信源离散无记忆信源 离离散散无无记记忆忆信信源源所所发发出出的的各各个个符符号号是是相相
4、互互独独立立的的，发发出出的的符符号号序序列列中中的的各各个个符符号号之之间间没没有有统统计计关关联联性性，各各个个符符号的出现概率是它自身的先验概率。号的出现概率是它自身的先验概率。 离散有记忆信源离散有记忆信源 离散有记忆信源离散有记忆信源所发出的各个符号的概率是有关联的。所发出的各个符号的概率是有关联的。 发出单个符号的信源发出单个符号的信源 发发出出单单个个符符号号的的信信源源是是指指信信源源每每次次只只发发出出一一个个符符号号代代表一个消息；表一个消息； 发出符号序列的信源发出符号序列的信源 发发出出符符号号序序列列的的信信源源是是指指信信源源每每次次发发出出一一组组含含二二个个以以
5、上符号的符号序列代表一个消息。上符号的符号序列代表一个消息。 藕食朔浸转蛆串达乞齿铡圈掸成吟链筐蕊渊钠驾臂引笑拯唐鼻陀寿槽吊掸第2章-信息论基本概念1第2章-信息论基本概念1发出符号序列的有记忆信源发出符号序列的有记忆信源 发发出出符符号号序序列列的的有有记记忆忆信信源源是是指指用用信信源源发发出出的的一一个个符符号号序序列列的的整整体体概概率率（即即联联合合概概率率）反反映映有有记记忆忆信信源的特征。源的特征。 发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源 发发出出符符号号序序列列的的马马尔尔可可夫夫信信源源是是指指某某一一个个符符号号出出现现的的概概率率只只与与前前面面一一个个或或
6、有有限限个个符符号号有有关关，而而不不依依赖赖更更前前面面的的那那些些符符号号，这这样样的的信信源源可可以以用用信信源源发发出出符符号号序序列列内内各各个个符符号号之之间间的的条条件件概概率率来来反反映映记忆特征。记忆特征。 逝乒呕胀结季铸矾氦悯弗饵川督滨喝柠治勒泡倍甭成凄丽惊赖役关端窜了第2章-信息论基本概念1第2章-信息论基本概念1三、先验概率及概率空间的形式三、先验概率及概率空间的形式 一个离散信源发出的各个符号消息的集合为： 它们的概率分别为： 为符号的先验概率先验概率。l 先验概率先验概率 一般信源可用一个概率空间概率空间来描述，信源的不不确定程度确定程度可用该概率空间的可能状态数目
7、可能状态数目及其概概率率来描述。 状态空间状态空间 栗稀便豌鸟引诅舆南蝇虐凹蠢癸卡那腺詹烧输忿窃倔仁涛折慰怨有俞卖忌第2章-信息论基本概念1第2章-信息论基本概念1l 概率空间概率空间 状态空间X中各状态 相互独立。 l 举例（二进制信源）：举例（二进制信源）：l 信息论所关心的就是这种随机变量的不确定性随机变量的不确定性，驱使我们对随机变量进行观察和测量，从中获取信息。疏枫啮亚捎创速朋智蹄卑檬瘩振干戒毯篓喻呀帝月腔印橙列灸鞠哄禽贮复第2章-信息论基本概念1第2章-信息论基本概念1问题：问题：u什么叫自信息量？什么叫自信息量？u什么叫不确定度？什么叫不确定度？ u什么叫互信息量？什么叫互信息量
8、？u 什么叫平均自信息量？什么叫平均自信息量？u 什么叫条件熵？什么叫条件熵？u 什么叫联合熵？什么叫联合熵？u 联合熵、条件熵和熵的关系是什么？联合熵、条件熵和熵的关系是什么？u 熵的性质有哪些？熵的性质有哪些？u 什么叫平均互信息量？什么叫平均互信息量？u 什么叫信源熵？如何计算离散信源熵？什么叫信源熵？如何计算离散信源熵？第二节第二节 离散信源的信息论概念离散信源的信息论概念教菲毅柄寻阵峭辗天钓吊侍肃画墅夯蒋铬说渠慢县郡饲七洲纹皇墟滩栗惑第2章-信息论基本概念1第2章-信息论基本概念1（一）（一） 自信息量自信息量1. 信息量？信息量？2. 自信息量？自信息量？3. 不确定度？不确定度？
9、4. 联合自信息量？联合自信息量？5. 条件自信息量？条件自信息量？本节的重点内容：本节的重点内容：赞湃氦葡弓炉揣草尊掐字您议躇钠窃琐隋霉涤赐淋窄藉失费浇泳地菩遮钻第2章-信息论基本概念1第2章-信息论基本概念1 I I（信息量）不确定程度的减少量（信息量）不确定程度的减少量（一）（一） 自信息量自信息量1. 信息量信息量 定定义义：一一个个随随机机事事件件的的自自信信息息量量定定义义为为其其出出现现概概率率对数的负值对数的负值: :2. 自信息量自信息量 即即：收收信信者者收收到到一一个个消消息息后后，所所获获得得的的信信息息量量等等于于收收到到信息前后信息前后不确定程度减少的量不确定程度减
10、少的量。（举例）。（举例）老验吃传客忆拟憾颂幸班站磊问沛榔隔组奢劣差洒克迢财踢艰歧埔就线栖第2章-信息论基本概念1第2章-信息论基本概念1c c. . 因为概率因为概率 越小，越小， 的出现就越稀罕，一旦出现，的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于所获得的信息量也就较大。由于 是随机出现的，是随机出现的，它是它是X X的一个样值，所以是一个随机量。而的一个样值，所以是一个随机量。而 是是 的函数，它必须也是一个的函数，它必须也是一个随机量随机量。 说明：说明：a.a. 自信息量自信息量 是是非负非负的。的。b.b. 对于离散无记忆信源，符号串中各符号统计独对于离散无记忆信源，符
11、号串中各符号统计独 立，符号串自信息量具有可加性：立，符号串自信息量具有可加性：概蒙堤祝魄粕弓绎佐详钻纠喳邪讲桨楞冻纤亿燎整轩涵议胜溉改悲谋薯棠第2章-信息论基本概念1第2章-信息论基本概念1d. 自信息量单位的确定自信息量单位的确定在在信信息息论论中中常常用用的的对对数数底底是是2，信信息息量量的的单单位位为为比比特特（bit），），用用log2或或lb表示；（表示；（ bit /符号符号）若若取取自自然然对对数数，则则信信息息量量的的单单位位为为奈奈特特（nat），用用loge或或ln表示；（表示；（nat/符号）符号）若若以以10为为对对数数底底，则则信信息息量量的的单单位位为为哈哈脱脱
12、莱莱(Hartley)，用，用log10或或lg表示；（表示；（hartley/符号）符号） 若对数底为若对数底为r，则信息量的单位为，则信息量的单位为r进制用单位进制用单位/符号。符号。 这三个信息量单位之间的转换关系如下：这三个信息量单位之间的转换关系如下： 1 natlog2e l.433 bit， l Hartley log210 3.322 bit 碰麓苛靛微友遏板撩簧抚概泵泅誊认觅常尸娇账慰烂捣祁仓秸韧台罚头爆第2章-信息论基本概念1第2章-信息论基本概念1 定义：定义：随机事件的随机事件的不确定度不确定度在数量上等于它的在数量上等于它的自信息量自信息量 说明说明:a.两者的单位相
13、同，但含义却不相同。两者的单位相同，但含义却不相同。b.具有某种概率分布的随机事件不管发生与否，都存在具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息不确定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。量是在该事件发生后给予观察者的信息量。 3. 不确定度不确定度榔敝玄簿柄溺剪总沽襟皮而鬃甲站漆凛浴街磷午拍豺俄囱衅赢琶躬遣饰夸第2章-信息论基本概念1第2章-信息论基本概念1 c. 一个出现概率接近于一个出现概率接近于1的随机事件，发生的可能的随机事件，发生的可能性很大，所以它包含的不确定度就很小；性很大，所以它包含的不
14、确定度就很小； 反之，一个出现概率很小的随机事件，很难猜测反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度在某个时刻它能否发生，所以它包含的不确定度就很大；就很大； 若是确定性事件，出现概率为若是确定性事件，出现概率为1，则它包含的不确，则它包含的不确定度为定度为0。宽歼蛀睫澡殿拈耀滦律谋匣吃味追院卷胺盼旬樊铆颁彝刮瘫苞复哎侨斧宿第2章-信息论基本概念1第2章-信息论基本概念1几个关于自信息量的例子：几个关于自信息量的例子：（1） 一一个个以以等等概概率率出出现现的的二二进进制制码码元元（0，1）所所包包含含的自信息量为：的自信息量为： I（0）= I（1）
15、= - log2 （1/2）=log22=1 bit/符号符号 （2）若若是是一一个个m位位的的二二进进制制数数，因因为为该该数数的的每每一一位位可可从从0, 1两两个个数数字字中中任任取取一一个个，因因此此有有2m个个等等概概率率的的可可能能组组合合。所所以以I= -log2(1/2m)=m bit/符符号号，就就是是需需要要m比比特的信息来指明这样的二进制数。特的信息来指明这样的二进制数。 称耙总币舶截优柠锑徽慕筑瞄遁蔗周陶忧斟冻彤证耻幂烧慢漠议立贝钠桥第2章-信息论基本概念1第2章-信息论基本概念1（3）具有四个取值符号的随机变量 各符号概率相等，均为1/4，各符号的自信息量：注：注：u
16、bit的含义是二进制数字（0、1），自信息量为2（bit/符号），意味着其不确定性可用2位二进制数字来度量（00、01、10、11）。u若取4为对数底，自信息量为1（四进制单位/符号），意味着其不确定性可用1位四进制数字来度量（0、1、2、3）。竣淖砌闽诀邻妻捅己踩养近许搅帚德膛敞梯帖摇处锚岛鞠景佰菜室舞钳辙第2章-信息论基本概念1第2章-信息论基本概念1（4）英英文文字字母母中中“e” 出出现现的的概概率率为为0.105，“c”出出现现的的概概率率为为0.023，“o”出出现现的的概概率率为为0.001。分分别别计计算算它它们们的自信息量。的自信息量。解：解：“e”的自信息量的自信息量 I（
17、e）= - lb0.105=3.25 （bit/符号）符号） “c”的自信息量的自信息量 I（c）= -lb0.023=5.44 （bit/符号）符号） “o”的自信息量的自信息量 I（o）= -lb 0.0019.97 （bit/符号）符号）搞涌莫秉莫涯谨择谎懊更粗太昨所死胖衙伟狄南氯纪姥潮铡慷抖染善惮蛔第2章-信息论基本概念1第2章-信息论基本概念1（5）某离散无记忆信源（某离散无记忆信源（DMS Discrete Memoryless Source）的概）的概率空间为率空间为 信源发出消息信源发出消息202 120 130 213 001 203 210 110 321 010 021
18、032 011 223 210。 求该消息的自信息量以及消息中平均每符号的自信息量？求该消息的自信息量以及消息中平均每符号的自信息量？模土细决迸巩薛吝哭坷你饵竭篙县轧甫嗽腹跪揣淖袁炸葫佳腑添议转便词第2章-信息论基本概念1第2章-信息论基本概念1解：解：信源符号的自信息量：信源符号的自信息量：单位都是位都是 bit/符号符号 信源无信源无记忆，发出的符号串中各符号出的符号串中各符号统计独立独立，由自信，由自信息量的可加性，符号串自信息量等于息量的可加性，符号串自信息量等于各符号自信息量之和各符号自信息量之和：平均一个符号的自信息量：平均一个符号的自信息量：唯园七逻篇骑屑娩师资近僵杰辣愈夸菜黄更
19、题扁撒驳赡饱骋段茧晚痒杭腺第2章-信息论基本概念1第2章-信息论基本概念1（6）同时抛掷一对质地均匀的骰子，每个骰子各面朝上的概率同时抛掷一对质地均匀的骰子，每个骰子各面朝上的概率均为均为1/6，试求：，试求： (a). 事件事件“3和和5同时发生同时发生”的自信息量？的自信息量？ (b). 事件事件“两个两个1同时发生同时发生”的自信息量？的自信息量？ (c). 事件事件“两个点数中至少有一个是两个点数中至少有一个是1”的自信息量？的自信息量？ 解解: (a) 存在两种情况：甲存在两种情况：甲3乙乙5，甲，甲5乙乙3。 P(A)=1/362=1/18，I(A)=-lbP(A)=4.17（bi
20、t）。）。 (b) 存在一种情况：甲存在一种情况：甲1乙乙1。 P(B)=1/36，I(B)=-lbP(B)=5.17（bit）。）。 (c) P(C)=15/65/6=11/36，I(C)=-lbP(C)=1.17（bit）。）。甜蚊蔼拟郊赁臼矮埃碉荫胖滴伺惦伶浴范梁绝牌敷厕粱袖远爹万淮秆垃旁第2章-信息论基本概念1第2章-信息论基本概念1（7）在布袋中放入在布袋中放入81枚硬币，它们的外形完全相同。已知有一枚硬币，它们的外形完全相同。已知有一枚硬币与其它枚硬币与其它80枚硬币重量不同，但不知这个硬币比其它硬枚硬币重量不同，但不知这个硬币比其它硬币的重量是重还是轻。问确定随意取出的一枚硬币恰
21、好是重币的重量是重还是轻。问确定随意取出的一枚硬币恰好是重量不同硬币的所需要的信息量是多少？并进一不确定它比其量不同硬币的所需要的信息量是多少？并进一不确定它比其它硬币是重还是轻所需要的信息量是多少？它硬币是重还是轻所需要的信息量是多少？ 解解: (a) P(A)=1/81，I(A)=-lbP(A)=6.34（bit）。）。 (b) P(B)=1/2，PP(A)P(B)1/162; I=-lbP=7.34（bit）。）。沟厕弯力土痒掳龙甄匝跟矮罢矽优括兰百帮芍曹怖轰菲摔冯娄炯跟拾窒堵第2章-信息论基本概念1第2章-信息论基本概念14. 联合自信息量联合自信息量bit/二元符号二元符号随机变量Z
22、是两个随机变量X、Y的联合，即Z=XY，其概率空间：二元联合符号的自信息量称为联合自信息量：同理，三元联合符号的联合自信息量：bit/三元符号三元符号菜密怂钎被虏玻怔择慨辨程挤韩机纹糊痒吱纲修桑寄擞侨区荷抢荆妓肺惟第2章-信息论基本概念1第2章-信息论基本概念1注意注意:a.当当(xi，yj)相互独立时，有相互独立时，有P(xi，yj)=P(xi)P(yj)，那，那么就有么就有 I(xi，yj)=I(xi)+I(yj)。b.(xi，yj) 所包含的不确定度在数值上也等于它们的所包含的不确定度在数值上也等于它们的自信息量。自信息量。 厌兔宏叔实凰肃南才巧业赛嚎崭拆娜役泵鸳保膊器杉汾隋陇奴塑抽带讶
23、遂第2章-信息论基本概念1第2章-信息论基本概念1定义：定义：注意注意: 在给定在给定yj条件下，随机事件条件下，随机事件xi所包含的不确定度在数值上所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。与条件自信息量相同，但两者含义不同。 5. 条件自信息量条件自信息量bit/符号符号联合随机变量联合随机变量有两种条件概率有两种条件概率定义两种条件自信息量：定义两种条件自信息量：bit/符号符号磨咋丁组呻脚揣儿配鸟撅殿垦气乡揽佑酶淋矩凌晃炒讣衣酝遵提元宿璃濒第2章-信息论基本概念1第2章-信息论基本概念1条件自信息量的物理意义，要根据具体情况来做出相应的解释条件自信息量的物理意义，要根
24、据具体情况来做出相应的解释 如果如果X是观察输入，是观察输入，Y是观察输出：是观察输出： 后验概率后验概率 在观察到符号在观察到符号yj的条件下的条件下xi还剩下的不确定性还剩下的不确定性 转移概率转移概率 代表输入代表输入xi且观察到且观察到yj时干扰引入的不确定性时干扰引入的不确定性 bit/符号符号bit/符号符号条件自信息量物理意义：条件自信息量物理意义：荫骡诬泣士姑宿好思淄沛喝请感陨乍吗话喊藤早尼甜琶洗亡幢船趣滁捆捕第2章-信息论基本概念1第2章-信息论基本概念11. 甲在一个甲在一个88的方格棋盘上随意放入一个棋子，在乙看来棋子落的方格棋盘上随意放入一个棋子，在乙看来棋子落入的位置
25、是不确定的。试问：入的位置是不确定的。试问：（1）在乙看来，棋子落入某方格的不确定性为多少？）在乙看来，棋子落入某方格的不确定性为多少？（2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？子落入某方格的不确定性为多少？解：解：将棋子方格从第一行开始按将棋子方格从第一行开始按顺序序编号，得到一个序号集合号，得到一个序号集合棋子落入的方格位置可以用取棋子落入的方格位置可以用取值于序号集合的随机于序号集合的随机变量量Z来描述来描述几个关于条件自信息量的例子：几个关于条件自信息量的例子：勘语惊匆桥顷刚嚏厚蹄摔旨贪贫插否思家轴
26、邹车藉抢预剂陶搅帕纲吹朋埋第2章-信息论基本概念1第2章-信息论基本概念1（1）由于棋子落入任一方格都是等可能的，）由于棋子落入任一方格都是等可能的，则棋子落入某方格的不确定性就是自信息量棋子落入某方格的不确定性就是自信息量 bit/符号符号（2）棋）棋盘方格可分方格可分为8行行8列，已知行号列，已知行号后，棋子落入某方格的不确定性就是条件自信息量后，棋子落入某方格的不确定性就是条件自信息量 它与条件概率它与条件概率有关，由于有关，由于故故 bit/符号符号峰橱翰献窑韧潭伺貉凿拜牧嘻悸脐档瓮膨狐檄骗司挺升渝郑宙言告都由皑第2章-信息论基本概念1第2章-信息论基本概念1解：解：设设A表示表示“大
27、学生大学生”这一事件，这一事件，B表示表示“身高身高1.6m以上以上”这一事件，则：这一事件，则： P(A)0.25； P(B)0.5； P(B|A)=0.75;因此：因此： P(A|B)P(AB)/P(B)=P(A)P(B|A)/P(B)=0.750.25/0.5=0.375; I(A|B)-lbP(A|B)=1.42(bit)。2. 居住在某地区的女孩中有居住在某地区的女孩中有25是大学生，在女大学生中是大学生，在女大学生中有有75是身高是身高1.6m以上的，而女孩中身高以上的，而女孩中身高1.6m以上的占总以上的占总数一半。假如我们得知数一半。假如我们得知“身高身高1.6m以上的某女孩是
28、大学生以上的某女孩是大学生”的消息，问获得多少信息量？的消息，问获得多少信息量？优谭祟祷烷扼沾肉伎吗鞋海绳室邢涵第谅狡户揉怀躯恰低滓职鸿碘肉顿路第2章-信息论基本概念1第2章-信息论基本概念1（二）（二） 互信息量互信息量信道信源X信宿Y梅臻爵廉酪杆纷钡彤筐慌惜津怂含亚炸翅钒堂陌翅院苫涕旷己氮榴列羹咏第2章-信息论基本概念1第2章-信息论基本概念11.互信息量互信息量设观察输入为设观察输入为:设观察结果为设观察结果为: 从从yj中得到有关输入符号中得到有关输入符号xi的信息的信息称为称为xi与与yj之间的之间的互信息量互信息量（事件信息）（事件信息） （注意与联合自信息量符号（注意与联合自信息
29、量符号标志不同标志不同 ）。）。信息先验不确定性后验不确定性信息先验不确定性后验不确定性xi在观察到在观察到yj前不确定性前不确定性 xi在观察到在观察到yj后不确定性后不确定性遂莫寐弊粒浆华鼎蛊臀往赤正估坛缎浑撰我厦挽录裕辛棠喉浩奇填缎粹曳第2章-信息论基本概念1第2章-信息论基本概念1 (1) yj对对xi的互信息的互信息 I(xi;yj) I(xi;yj)= I(xi)- I(xi/yj) 含义含义 互信息互信息I(xi;yj) =自信息自信息I(xi) - 条件自信息条件自信息I(xi/yj) I(xi) -信宿信宿收到收到yj之前之前，对信源发，对信源发xi的不确定度的不确定度 I(
30、xi/yj) -信宿信宿收到收到yj之后之后，对信源发，对信源发xi的不确定度的不确定度 I(xi;yj) -收到收到yj而得到而得到(关于关于xi )的的互信息互信息 =不确定度的减少量不确定度的减少量 p(xi) 先验概率：信源发先验概率：信源发xi的概率的概率 p(xi/yj)后验概率：信宿收到后验概率：信宿收到yj后，推测信源发后，推测信源发xi的概率的概率即互信息量为后验概率与先验概率比值的对数即互信息量为后验概率与先验概率比值的对数 :腆钎僧渠菊踞舍键悼瓶客渔掌划知奋蔫搁水衷堤它威酌颅醒衣婪榜捶疑备第2章-信息论基本概念1第2章-信息论基本概念1(2) xi对对yj的互信息的互信息
31、 I(yj;xi)含义含义 信源发信源发xi前、后，信宿收到前、后，信宿收到yj的不确定度的减少的不确定度的减少(3) I(xi;yj) =I(xi) +I(yj) -I(xi，yj) 注意注意 I(xi;yj) 与与I(xi，yj) 不同！不同！绎严搐讳让往渺析鄂闪樟刽构砾净功值括房惯吃铬售忽彻蕉残加躯吼闪揪第2章-信息论基本概念1第2章-信息论基本概念1 (4) 实在信息：实在信息： 后验概率后验概率p(xi|yj)1，即收到，即收到yj时就能完全肯定此时的输时就能完全肯定此时的输入一定是入一定是xi ， xi的后验不确定性完全消除：的后验不确定性完全消除：即从输出结果中得到了输入实有的全
32、部信息即从输出结果中得到了输入实有的全部信息实在信息实在信息： 注意注意 a. 输入的先验不确定性输入的先验不确定性 在数值上等于自身含有的实在数值上等于自身含有的实 在信息。在信息。 b. 信息与不确定性是两个不同的物理概念，信息与不确定性是两个不同的物理概念， 不是信息，不是信息， 只是只是不确定性，互信息量不确定性，互信息量 才是信息，把才是信息，把 当作信息只是说明一种当作信息只是说明一种数量上的相等关系。数量上的相等关系。挎扼迷积劲恩硝谤栗孙贿席近物辨虽辽恰血怎翌娥废联野喧痛浙帧判鲜遮第2章-信息论基本概念1第2章-信息论基本概念1 (4) 互信息量定义扩展：互信息量定义扩展： 符号
33、符号xi与符号对与符号对yj zk之间的互信息量定义为：之间的互信息量定义为：继寐件淳诅姿镍嘴胚最枣侄敏鳖魄辞釉配专像毙助雇袱贬脂搂套煤忧旨椭第2章-信息论基本概念1第2章-信息论基本概念12. 互信息的性质（具体推导可见课本互信息的性质（具体推导可见课本p24） (1) 对称性对称性I(xi ;yj) = I(yj ;xi) (2) X与与Y独立时独立时I(xi ;yj) = 0 (3) I(xi;yj) 可为正、可为正、负负、0 当事件当事件xi 和和yj 统计独立时，互信息量为零统计独立时，互信息量为零;互信息量为正，互信息量为正，说明说明yj 的出现有助于减小的出现有助于减小xi 的不
34、确定性；反之，互信息量为的不确定性；反之，互信息量为负说明负说明yj 的出现增大了的出现增大了xi 的不确定性（比如信道存在干扰）。的不确定性（比如信道存在干扰）。 (4)任何两个事件之间的互信息量不可能大于其中任意事件的任何两个事件之间的互信息量不可能大于其中任意事件的自信息量自信息量I(xi; yj) = I(yj; xi) I(xi) I(yj)瘁坠窟宛庶号道纲淄药闸兹泽玫才版遏淆升那南譬棍拦瓦旬没揩擞拘费瞎第2章-信息论基本概念1第2章-信息论基本概念1I(xi;yj) 可为正、负、可为正、负、0的举例的举例设设yj代表代表“闪电闪电”，则，则当当xi代表代表“打雷打雷”时，时，I(x
35、i/yj) = 0，I(xi;yj) = I(xi) 0 当当xi代表代表“下雨下雨”时，时，I(xi/yj) I(xi)，I(xi;yj) 0当当xi代表代表“雾天雾天”时，时，I(xi/yj) = I(xi)，I(xi;yj) = 0当当xi代表代表“飞机正点起飞飞机正点起飞”时，时，I(xi/yj)I(xi)，I(xi;yj) 0 昭阜品症咨剖刘羹枚门朋乎倪哗取埂叹靛税讼孙盯跳孰侥柄逼抬箍汪煮傈第2章-信息论基本概念1第2章-信息论基本概念13. 条件互信息量条件互信息量给定给定zk条件下，条件下，xi 与与yj间的互信息量间的互信息量另外，还存在另外，还存在xi 与与yjzk 之间的互
36、信息量：之间的互信息量：刚铜屯痪劈虽谈纷跋畏坠纸迁媚领彭敛席敢瘪炽困烃健诞铀窗柞巧胚昨渝第2章-信息论基本概念1第2章-信息论基本概念1（该式推导见（该式推导见p25-26）由上述两式得：由上述两式得：说明：说明：一个联合事件一个联合事件yjzk 出现后提供的有关出现后提供的有关xi的信息的信息量量=zk事件出现后提供的有关事件出现后提供的有关xi的信息量的信息量在给定在给定zk条件下再出现条件下再出现yj事件后所提供的有关事件后所提供的有关xi的信息量的信息量酥鳃拦宜椰亚危阿恕萧笼侦漾瑰概隅纹恨腋砷蜒毫辜刑候旺鸟粹伸此爆何第2章-信息论基本概念1第2章-信息论基本概念14. 关于互信息的例子
37、关于互信息的例子 已知信源发出已知信源发出 两种消息，且两种消息，且 此消息在二进制对称信道上传输，信道传输特性为此消息在二进制对称信道上传输，信道传输特性为： 求互信息量求互信息量解：解：根据根据 得到：得到：留灰沥课迈豆阴蓉臀辜冤撕否崎茁野砚身添偏吻暗板斥样昭素欣发劫泌莽第2章-信息论基本概念1第2章-信息论基本概念1一个布袋内放一个布袋内放100个球，其中个球，其中80个球是红色的，个球是红色的，20个球是个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。取一次所能获得的自信息量。 解解: 依据题意依据题意 这一随
38、机事件的概率空间为这一随机事件的概率空间为 （三（三) ) 平均自信息量平均自信息量-熵熵炳涟宏喻宅难惩禾务榨谅梅咏赦铭砂曾发击隶病侵郴广误眼仕揉某蝴恫咙第2章-信息论基本概念1第2章-信息论基本概念1其中：其中：x1表示摸出的球为红球事件，表示摸出的球为红球事件，x2表示摸出的表示摸出的 球是白球事件球是白球事件 .1)如果摸出的是红球，则获得的信息量是如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - lb0.8 =3bit 2)如果摸出的是白球，则获得的信息量是如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -lb0.2 =1bit3)
39、 如如果果每每次次摸摸出出一一个个球球后后又又放放回回袋袋中中，再再进进行行下下一一次次摸摸取取。则则如如此此摸摸取取n次次，红红球球出出现现的的次次数数为为np（x1）次次，白白球球出出现现的的次次数数为为np（x2）次次。随随机机摸摸取取n次次后后总总共共所所获获得得的的信信息息量量为为 np（x1）I（x1）+np（x2）I（x2）寐券桓娥栗兹析囤谗召储锰佳末释芋期蹭霜姥烃烽虏再边远吼盐噎验艇幅第2章-信息论基本概念1第2章-信息论基本概念1则平均随机摸取一次所获得的信息量为则平均随机摸取一次所获得的信息量为 H（X）= 1/nnp（x1）I（x1）+np（x2）I（x2） = -p（x
40、1）log2p（x1）+p（x2）log2p（x2）= 0.72比特比特/次次说明：说明：1)1)自信息量自信息量I（x1）和）和I（x2）只是表征信源中各个符号的不确）只是表征信源中各个符号的不确定度，一个信源总是包含着多个符号消息，各个符号消息定度，一个信源总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信息量又按概率空间的先验概率分布，因而各个符号的自信息量是一个随机变量，所以自信息量不能作为整个信源的信息是一个随机变量，所以自信息量不能作为整个信源的信息测度测度。矮耶咽喳纳迎袖碍泅猖七儒呜言狠屋懈温艰钨往皖咒石点凤安玖卯扛敲恬第2章-信息论基本概念1第2
41、章-信息论基本概念12)2)因为因为X中各符号中各符号xi的自信息量的自信息量I（xi）为非负值，）为非负值，p（xi）也是）也是非负值，且非负值，且0 0 p(xi) 1，故信源的平均自信息量，故信源的平均自信息量H（X）也）也是非负量。是非负量。定定义义：离离散散信信源源熵熵H(X)(平平均均不不确确定定度度/平平均均信信息息量量/平平均均自自信信息量息量/信息熵信息熵/熵熵)定定义义信信源源的的平平均均不不确确定定度度H(X)为为信信源源中中各各个个符符号号不不确确定定度度的的数学期望，即：数学期望，即：单位为比特单位为比特/符号或比特符号或比特/符号序列符号序列 3) 平均自信息量平均
42、自信息量H（X）的定义公式与热力学中熵的表示形）的定义公式与热力学中熵的表示形 式相同，所以又把式相同，所以又把H（X）称为信源）称为信源X的熵。熵是在平均意义的熵。熵是在平均意义 上来表征信源的总体特性的，可以表征信源的平均不确定度。上来表征信源的总体特性的，可以表征信源的平均不确定度。 史颊蛰酗端痕侦违遭涝馒邵由野啃懊贵朵揩肝恿酥甄泪纠锦织垮茹诵陷螺第2章-信息论基本概念1第2章-信息论基本概念14)4)某一信源，不管它是否输出符号，只要这些符号具有某某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上些概率特性，必有信源的熵值；这熵值是在总体平
43、均上才有意义，因而是一个确定值，一般写成才有意义，因而是一个确定值，一般写成H（X），），X是指随机变量的整体（包括概率分布）。是指随机变量的整体（包括概率分布）。5)5)信息量则只有当信源输出符号而被接收者收到后，才有信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给予接收者的信息度量，这值本身也可以意义，这就是给予接收者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。是随机量，也可以与接收者的情况有关。6）当某一符号当某一符号 的概率的概率 为零时，为零时， 在熵公式中无意义，在熵公式中无意义，为此规定这时的为此规定这时的 也为零。当信源也为零。当信源X中只含一个
44、符号中只含一个符号 时，时，必定有必定有 ，此时信源熵，此时信源熵H（X）为零。）为零。7）平均自信息量平均自信息量H（X）表示集）表示集X中事件出现的平均不确定性，中事件出现的平均不确定性，即为了在观测之前，确定集即为了在观测之前，确定集X中出现一个事件平均所需的信中出现一个事件平均所需的信息量；或者说在观测之后，集息量；或者说在观测之后，集X 中出现一个事件平均给出的中出现一个事件平均给出的信息量。信息量。 刘喀丧薯螟虱恭谁氨膝帆扩檬瘁楞谈婴矗玖部诵溃墓糜霸觅移吕眉瞥整块第2章-信息论基本概念1第2章-信息论基本概念1例：例：电视屏上约有电视屏上约有 500 600= 3 105个格点，按
45、每点有个格点，按每点有 10个不同的灰度等级考虑，则共能组成个不同的灰度等级考虑，则共能组成 个不同的个不同的画面。按等概率画面。按等概率 计算，平均每个画面可提供的计算，平均每个画面可提供的信息量为信息量为 =3 105 3.32 比特比特/画面画面 盖勾者梧低具伺嵌肿梭公肯齐脓悟裤崔溪昂橇响屡膘嫂塘孤谎奴扮莎粹怨第2章-信息论基本概念1第2章-信息论基本概念1例例：有有一一篇篇千千字字文文章章，假假定定每每字字可可从从万万字字表表中中任任选选，则则共有不同的千字文共有不同的千字文 N=100001000=104000 篇篇 仍按等概率仍按等概率1/1/100001000计算，平均每篇千字文
46、可提供的计算，平均每篇千字文可提供的信息量为信息量为 H H（X X）loglog2 2N N 4 4 10 103 3 3 332 32 1 13 3 10 104 4 比特千字文比特千字文 比较：比较：“一个电视画面一个电视画面”平均提供的信息量远远超过平均提供的信息量远远超过“一篇千字文一篇千字文”提供的信息量。提供的信息量。 侈皮窍糕卓橙伞麻邓旧桑临瘁澈墒辅源济官牡涤岿垃垄或斑酵丧国挣砾灿第2章-信息论基本概念1第2章-信息论基本概念1例例：设设信信源源符符号号集集X=x1,x2,x3，每每个个符符号号发发生生的的概概率率分分别别为为p（x1）=1/2，p（x2）l4，p（x3）14。
47、 则信源熵为则信源熵为 H（X）=1/2log22+1/4log24+1/4log24 =1.5 比特比特/符号符号 储纳拴脑债吉上俘抚卒琳蜕枪导寿胁吗星龋疾教滩兑挎销柿纸持酣疑侄恿第2章-信息论基本概念1第2章-信息论基本概念1例：例：该信源该信源X输出符号只有两个，设为输出符号只有两个，设为0和和1。输出符号发生的概率分别为输出符号发生的概率分别为p和和q，pq=l。即信源的概率空间为即信源的概率空间为 则二元信源熵为则二元信源熵为 H（X）= -plbp-qlbq = -plbp-(1-p)lb(1-p) =H(p) 浆伸书境碗例颜亥移匿仗汞胃狄遏公悄绚淤病俏钳荧豌徐圃摊吏油比绅膀第2章
48、-信息论基本概念1第2章-信息论基本概念10 0.2 0.4 0.6 0.8 110.80.60.40.2pH(p)凭浪潭豆窖邓咬狠纳堂坚廊蛀度戚垮骆亲袒自示赋胞表钙映缔乞渣描虫提第2章-信息论基本概念1第2章-信息论基本概念1说明：说明： 信源信息熵信源信息熵H（X）是概率）是概率p的函数，通常用的函数，通常用H（p）表示。）表示。p p取值于取值于0，1区间。区间。H（p）函数曲）函数曲线如图所示。从图中看出，如果二元信源的输出符线如图所示。从图中看出，如果二元信源的输出符号是确定的，即号是确定的，即p=1或或q=1，则该信源不提供任何信，则该信源不提供任何信息。反之，当二元信源符号息。反
49、之，当二元信源符号0和和1 1以等概率发生时，以等概率发生时，信源熵达到极大值，等于信源熵达到极大值，等于1比特信息量。比特信息量。 登赚骡辗镰獭么馈绽赴捅褥峰叔戏啮妊操瞩叫罗牺赵库仆焰挠怔胁甄贝鲁第2章-信息论基本概念1第2章-信息论基本概念1几个概念几个概念定义：定义： 在在给给定定yj条条件件下下，xi的的条条件件自自信信息息量量为为I(xi/yj)，X 集合的条件熵集合的条件熵H（X/yj）为）为 H（X/yj）= 在给定在给定Y（即各个（即各个yj）条件下，）条件下，X集合的条件熵集合的条件熵 H(X/Y)定义为定义为 H（X/Y）= =1.1.条件条件熵熵伸窥奠保奏泰磊臆近毒黎咖仟
50、详仲鹿钢经妒盆岭雾佯懦季捆杯向揽骏肮才第2章-信息论基本概念1第2章-信息论基本概念1相应地，在给定相应地，在给定X（即各个（即各个xi）的条件下，）的条件下，Y集合的条件集合的条件熵熵H(Y/X)定义为定义为 H(Y/X)= 【注意】：【注意】： 条件熵是在联合符号集合条件熵是在联合符号集合XY上的上的条件自信息条件自信息量量的的联合概率加权联合概率加权统计平均值。统计平均值。 顾羽规卖燎盂白瑰曝螺啡抚舷田残伪兔婆肘种岩绍喊绎齿们先割诡茶败绪第2章-信息论基本概念1第2章-信息论基本概念12.联合熵（共熵）联合熵（共熵）定义：定义：联合熵是联合符号集合联合熵是联合符号集合 XY上的每个元素对
51、上的每个元素对xiyj的的联合联合自信息量自信息量的的联合概率联合概率加权统计平均值。定义为：加权统计平均值。定义为： H（XY）= 【说明】【说明】表示表示X和和Y同时发生的平均不确定度。同时发生的平均不确定度。 辅赡瘟凳竣缠唾圃甸吕竖滚褐抱当豌宏窗噬眺袒莆喜郑拐脊树泻焰闯绩即第2章-信息论基本概念1第2章-信息论基本概念1 联合熵联合熵H（XY）与熵）与熵H（X）及条件熵）及条件熵H（X/Y）之间存在下列关系）之间存在下列关系 ： 1） H（XY）H（X）H（YX） H（XY）H（Y）H（XY） 2） H（XY） H（X） H（YX） H（Y） 即：即： H（XY） H（X） H（Y）（当
52、当X与与Y相互相互独立时，等号成立！共熵得到最大值！）独立时，等号成立！共熵得到最大值！）【注】【注】上式表明，从平均意义上讲，条件熵在一般情形下上式表明，从平均意义上讲，条件熵在一般情形下 总是小于无条件熵。从直观上说，由于事物总是联总是小于无条件熵。从直观上说，由于事物总是联 系的，因此对随机变量系的，因此对随机变量X的了解平均讲总能使的了解平均讲总能使Y的不的不 确定性减少。同样，对确定性减少。同样，对Y的了解也会减少的了解也会减少X的不确的不确 定性。定性。 殊榆梆向甚修县熊润腿袄拷剁董沙糯蹄滓悍逊亿昔仍陛叭诞忧跃钾潞溯甘第2章-信息论基本概念1第2章-信息论基本概念11)证明证明:
53、同理同理: 郝竖闷愉灿让胯川取炎椅绷逐谨夹容琢甘蘑棚寿番凰缨龋蔷瑰疥祭拜颤空第2章-信息论基本概念1第2章-信息论基本概念1所以所以截吱裙九残徘蒲僳萄档财冀羞贯握贫靠牛曲辨茬撑蚁碗责票摹岿晦机班认第2章-信息论基本概念1第2章-信息论基本概念1 同理：同理：2）的证明见课本）的证明见课本p29（略）（略）志胺综辫门毒鉴辆运削澳膛肇网狮团蒂劣眯蟹徐爽学闪更闭俞米芹慌冤城第2章-信息论基本概念1第2章-信息论基本概念1三维联合符号集合三维联合符号集合XYZ上的共熵上的共熵H(XYZ):存在下列关系存在下列关系 ： 1） H（XYZ）H（XY）H（ZXY） H（X）H（Y X ）H（ZXY） 2）
54、H（XYZ） H（X） H（Y） H（Z） （当（当X、Y、Z相互独立时，等号成立！）相互独立时，等号成立！） 3） H（ZXY） H（ZY） H（Z） （条件熵的条件（条件熵的条件越多，其条件熵就越小！）越多，其条件熵就越小！）拯竣凄曝隆院圾毕展唤越拦比挡磅吴杠房掺您隆逊效门恍隧拴绍骗赚拍钦第2章-信息论基本概念1第2章-信息论基本概念1关于熵的几个例题关于熵的几个例题1. 如有6行8列的棋型方格，若有2个质点A和B，分别以等概率落入任一方格内，但A、B不能落入同一方格内，试求： （1）若仅有质点A，求A落入任一个方格的平均自信息量是多少？ （2）若已知A已入，求B落入的平均自信息量？ （3
55、）若A、B是可分辨的，求A、B同时落入的平均自信息量？解：（1） （2） （3）甄冒娥摘忱林余鸭柯候粉嚷浙喀肺戎勉佬涪桂唱水入酪疵腺辜督淡顾留咱第2章-信息论基本概念1第2章-信息论基本概念1关于熵的几个例题关于熵的几个例题解解：男性、女性红绿色盲、不是红绿色盲的概率记作：男性、女性红绿色盲、不是红绿色盲的概率记作： 2. 从大量统计资料知道，男性中红绿色盲的发病率为从大量统计资料知道，男性中红绿色盲的发病率为7，女性发病率为女性发病率为0.5，如果你问一个男同志：，如果你问一个男同志：“你是否是红绿你是否是红绿色盲？色盲？”他的回答可能是他的回答可能是“是是”，可能是，可能是“否否”，问这两
56、个，问这两个回答中各含有多少信息量？平均每个回答中含有多少信息量回答中各含有多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则回答中含有的平均信息量是多少？如果你问一位女同志，则回答中含有的平均信息量是多少？腕潮毫裁辞烯胀彤简枕恕讲奴鲸详来阀犁硕鸿磺蔑抹距咯吨摘凿碰莎坐强第2章-信息论基本概念1第2章-信息论基本概念1信源熵基本性质信源熵基本性质 1. 非负性（由定义）：非负性（由定义）： 2. 对称性对称性：当概率矢量：当概率矢量 中的各分量的次序中的各分量的次序 任意变更时，熵值不变。任意变更时，熵值不变。 【注】熵仅与信源的总体统计特性有关，不关其内部结构如【注】熵仅与信源
57、的总体统计特性有关，不关其内部结构如何。何。 爸则猖璃炔幕南仕吴蒜深骇碘鸽谦暇询漾断绕狮昼禽袱共阑货吮伙堂限孟第2章-信息论基本概念1第2章-信息论基本概念13. 最大熵最大熵 ：等概时：等概时 H(X)max=log2M附附 若若M=2, 则则 H(X)= -plog2p (1-p)log2(1-p)=H(p)，当，当p=0.5时最大。时最大。重要公式重要公式来侣输还臣闭已眯冒牌绦傍螺衫胃取翘脚佛疽援浮耶缄镜臆穿硝芬樱产妙第2章-信息论基本概念1第2章-信息论基本概念1证明：证明： H(X)H(X)logMlogM P( P(X)log1/P()log1/P(X) ) P( P(X)logM
58、 )logM （ P( P(X) )1 1） P( P(X)log)log（1/P(1/P(X)M)M）在这里利用自然对数性质：在这里利用自然对数性质： ln ln 1 ,11 ,1 当且仅当当且仅当1 1时，式取等时，式取等 令令1/P(1/P(X)M,)M,引用上述性质，得引用上述性质，得 H(X) H(X)logM P(logM P(X) ) 1/P( 1/P(X)M)M11logloge e 1/M 1/MP(P(X)logloge e 1/M 1/M P( P(X)logloge e 括号中括号中 1/M 1/M 和和 P( P(X) )的值均为的值均为1 1 所以，所以， H(X)
59、 H(X)logM 0logM 0，即，即 H H（X X） logMlogM 当且仅当当且仅当1/P(1/P(X)M)M1,1,即即P(P(X) )1/M1/M时，式取等时，式取等 此定理说明：当此定理说明：当X X集合中的各个符号消息以等概率分布出现时，可得最集合中的各个符号消息以等概率分布出现时，可得最大信源熵为大信源熵为 H(X) H(X)maxmaxlogMlogM摔制丢驾息弥弧晨津籽魁友怂愤樟满赡柬拂雀远雪堑炔林顺柱零凳啼赞耸第2章-信息论基本概念1第2章-信息论基本概念1 定理定理 条件熵不大于信源熵条件熵不大于信源熵(无条件熵无条件熵) H(X/Y) H(X) H(Y/X) H
60、(Y)当且仅当当且仅当Y和和X相互独立时，式取等相互独立时，式取等朴憎斯等哄莎淀蕴选改使走折随肤焦呐纽会牟梁辗蓟瓶殴遇量辖诺爪瞧改第2章-信息论基本概念1第2章-信息论基本概念1 证明：证明： H(Y|X) H(Y|X)H(Y)H(Y) P( P(x,y)log1/P()log1/P(y|x) ) P( P(y)log1/P()log1/P(y) ) P( P(x,y)log1/P()log1/P(y|x) ) P( P(y)P()P(x|y)log1/P()log1/P(y) ) P( P(x,y)log1/P()log1/P(y|x) ) P( P(x,y)log1/P()log1/P(y
61、) ) P( P(x,y)logP()logP(y)/P()/P(y|x) )在这里同样利用自然对数性质：在这里同样利用自然对数性质：ln ln 1 ,11 ,1 当且仅当当且仅当1 1时，式取等时，式取等 令令P(P(y)/P()/P(y|x) )，引用，引用 ln ln 1 1 H(Y|X) H(Y|X)H(Y)H(Y) P(P(xy)P()P(y)/P()/P(y|x) )1loge1loge P( P(x)P()P(y) )P(P(xy)loge)loge （1 11 1）logeloge0 0颗社获栋盲张兼枯擦给笆谐榷抹耸龋舱吟熟边淬榔壳阻欣胺芳均粕鼎建楼第2章-信息论基本概念1第2
62、章-信息论基本概念1 （续上）（续上） 当且仅当当且仅当P(P(y)/P()/P(y|x) )1 1时，即时，即P(P(y|x) )P(P(y) )时，式取等时，式取等同理有：同理有： H H（X|YX|Y） H H（X X） 此定理说明：条件熵小于或等于原符号集合的熵此定理说明：条件熵小于或等于原符号集合的熵推广推广1:1:两个条件下的条件熵与一个条件下的条件熵之间存在关系两个条件下的条件熵与一个条件下的条件熵之间存在关系 H H（Z|XYZ|XY） H H（Z|YZ|Y） 当且仅当当且仅当 P( P(z|xy) )P(P(z| |y) )时，式取等时，式取等强调指出：条件熵的条件越多，其条
63、件熵的值就越小强调指出：条件熵的条件越多，其条件熵的值就越小 H H（Z|XYZ|XY） H H（Z|Y Z|Y ） H H（Z Z）推广推广2 2：共熵与两个集合的信源熵存在关系：共熵与两个集合的信源熵存在关系 H(XY) H(X) H(XY) H(X) H(Y) H(Y) 当且仅当两个集合相互独立时，式取等当且仅当两个集合相互独立时，式取等瘤借油追荚呀比谐恒郝撩谚辐镜数饥孤痔炒樟借蛰搂原鳃熊蝎颧仓曲撮蔷第2章-信息论基本概念1第2章-信息论基本概念14. 扩展性：扩展性： 信源含有的新增消息为小概率时，熵不变信源含有的新增消息为小概率时，熵不变5. 确定性：某消息取值概率为确定性：某消息取值概率为1时，熵为时，熵为06. 可加性可加性： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)7. 极值性：极值性：疙策侣触霄班脸极岸肉丰翻王啃牲怪囤垒胺烁谚吟厨沈禾阵鄂狄洒栽众理第2章-信息论基本概念1第2章-信息论基本概念18. 上凸性上凸性 含义含义 熵熵H(P) P(概率分布概率分布p(xi)为上凸曲线为上凸曲线 意义意义 上凸曲线有上凸曲线有最大值最大值 结论结论 H(X)max=log2m （等概）（等概）适捻线撮琶胰鸦表阂拱甭篮悯暴辑欢饯狠李迟景疥便死荧簧痉辖案紧散虑第2章-信息论基本概念1第2章-信息论基本概念1
