《第1章熵和互信息量》由会员分享，可在线阅读，更多相关《第1章熵和互信息量（83页珍藏版）》请在金锄头文库上搜索。
1、第第1 1章章 熵和互信息量熵和互信息量远身灶荚珍锐伙椿紧盛均泊兄枉庞绘燃荐剿遇誉砸坎狼馒褥漓数妒桌称扒第1章熵和互信息量第1章熵和互信息量u本章介绍本章介绍信源的统计特性和数学模型信源的统计特性和数学模型各类信源的信息测度各类信源的信息测度-熵及其性质熵及其性质引入信息理论的一些基本概念和重要结论引入信息理论的一些基本概念和重要结论馏过某阵扮的毖雄独论酝柬衫亡烈邢滋逞秩庸租朽驶洲饶疯张名迫颈陇廖第1章熵和互信息量第1章熵和互信息量n通信系统模型：通信系统模型：n对信息论的学习可从信源开始对信息论的学习可从信源开始n消息是信息的载荷者。信息是抽象的，消息是消息是信息的载荷者。信息是抽象的，消息
2、是具体的。要研究信息，还得从研究消息入手。具体的。要研究信息，还得从研究消息入手。n由于信源发送什么消息预先是不可知的，只能由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源用概率空间来描述信源茎藩鹏吊躺丈样孰燥条爪床柠底翠滦甩晤庞梆诱袄债黑漱塘独奔闸秦握淆第1章熵和互信息量第1章熵和互信息量1.1 1.1 信源的数学模型及分类信源的数学模型及分类n单符号信源单符号信源：输出是单个符号（代码）的消息输出是单个符号（代码）的消息n离散信源离散信源n连续信源连续信源n平稳随机序列信源平稳随机序列信源：信源输出的消息由一系列符号序列信源输出的消息由一系列符号序列所组成，可用所组成，可用N维
3、随机矢量维随机矢量 X(X1,X2,XN)描述，且随机描述，且随机矢量矢量X X 的各维概率分布都与时间起点无关的各维概率分布都与时间起点无关-平稳！平稳！n离散平稳信源离散平稳信源n连续平稳信源连续平稳信源n无记忆（独立）离散平稳信源无记忆（独立）离散平稳信源n有记忆信源有记忆信源nm阶马尔可夫信源阶马尔可夫信源n随机波形信源随机波形信源祝暂介惊跨志悄遇席漂滨仔榨程闰水垫醋梯瞳革彼亏饮续臼酶吱迸嘶属眯第1章熵和互信息量第1章熵和互信息量离散信源离散信源(单符号单符号)n特点特点：输出是单个符号（代码）的消息，符号集输出是单个符号（代码）的消息，符号集的取值的取值A:a1,a2,aq是有限的或
4、可数的，可用是有限的或可数的，可用一维离散型随机变量一维离散型随机变量X来描述。来描述。n例：例：投硬币、书信、电报符号等等。投硬币、书信、电报符号等等。n数学模型数学模型：设每个信源符号设每个信源符号ai出现的出现的(先验先验)概率概率 p(ai) (i=1,2,q) 满足：满足：概率空间概率空间能表征离散信源的统计特性，因此也称概率能表征离散信源的统计特性，因此也称概率空间为信源空间。空间为信源空间。岔否杭番朗粘矣钉樊舌姆审希趴痔辆接恐汀艘头饱肩赶惯匆轨帮督哺务儿第1章熵和互信息量第1章熵和互信息量连续信源连续信源n特点特点：输出是单个符号（代码）的消息，：输出是单个符号（代码）的消息，输
5、出消输出消息的符号集息的符号集A的取值是连续的，可用一维的连的取值是连续的，可用一维的连续型随机变量续型随机变量X 来描述。来描述。n例：语音信号、热噪声信号、遥控系统中有关电压、例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。温度、压力等测得的连续数据等等。n数学模型数学模型：连续型的概率空间。即：连续型的概率空间。即： 或或或或满足满足满足满足 或或或或 棕铱敦槐卢展焚皮膝臣决灿旁郎帐昔勃册吁睫绝超益烧亭裸误签凭馅否耿第1章熵和互信息量第1章熵和互信息量1.2 1.2 离散信源的信息熵及其性质离散信源的信息熵及其性质 n基本的离散信源可用一维随机变量基本的离散
6、信源可用一维随机变量X来描来描述信源的输出，信源的数学模型可抽象述信源的输出，信源的数学模型可抽象为为:问题问题问题问题：这样的信源能输出多少信息：这样的信源能输出多少信息：这样的信源能输出多少信息：这样的信源能输出多少信息? ? 每个消息的出现携带多少信息量每个消息的出现携带多少信息量每个消息的出现携带多少信息量每个消息的出现携带多少信息量? ?芜胜夸执搏锯圈鄙逛舞硼双灿粒午绚袁霓粘桅灌芬己耿浇赂诌银衷醉壶驴第1章熵和互信息量第1章熵和互信息量信息的度量信息的度量n考虑：考虑：n信息的度量（信息量）和不确定性消除的程度信息的度量（信息量）和不确定性消除的程度有关，消除的不确定性获得的信息量；
7、有关，消除的不确定性获得的信息量；n不确定性就是随机性，可以用概率论和随机过不确定性就是随机性，可以用概率论和随机过程来测度，概率小程来测度，概率小不确定性大；不确定性大；n推论：推论：n概率小概率小 信息量大，即信息量是概率的单调信息量大，即信息量是概率的单调递减函数；递减函数；n信息量应该具有可加性；信息量应该具有可加性；嚎衔拍盲浙膨时嘘忌耸回撤贺似各辖格狐络命焉几谍红统硼埂贬拐跟栓校第1章熵和互信息量第1章熵和互信息量信息量的推导信息量的推导n某事件发生所含有的信息量应该是该事件发生的先验概率某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即：的函数。即： I (ai) f p
8、(ai)n根据客观事实和人们的习惯概念，函数根据客观事实和人们的习惯概念，函数 f p(ai) 应满足以应满足以下条件：下条件：（1）它应是先验概率）它应是先验概率p(ai)的单调递减函数，即当的单调递减函数，即当 p (a1) p (a2) 时，有时，有 f p (a1) 1r1）忱莱慌锨溉并斌授快该目阴忘寂蹋侩劈币蛾找弥楞氖刃感喳裸珠孟镁称坛第1章熵和互信息量第1章熵和互信息量熵的计算熵的计算例例： 有一布袋内放有一布袋内放l00个球，其中个球，其中80个球是红色的，个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为：
9、色，那么其概率空间为： 如果被告知摸出的是红球，那么获得的信息量是：如果被告知摸出的是红球，那么获得的信息量是：如果被告知摸出的是红球，那么获得的信息量是：如果被告知摸出的是红球，那么获得的信息量是： I (a1) log p(a1) log0.8= 0.32 （比特）（比特）（比特）（比特）如被告知摸出来的是白球，所获得的信息量应为：如被告知摸出来的是白球，所获得的信息量应为：如被告知摸出来的是白球，所获得的信息量应为：如被告知摸出来的是白球，所获得的信息量应为：I (a2) log p(a2) log0.2 = 2.32 （比特）（比特）（比特）（比特）平均摸取一次所能获得的信息量为平均摸
10、取一次所能获得的信息量为平均摸取一次所能获得的信息量为平均摸取一次所能获得的信息量为 ： H(X)= p(a1) I (a1) + + p(a2) I (a2) =0.72（比特（比特（比特（比特/ /符号）符号）符号）符号）焙娄旬纶意愈辕炕眷洞瓷斤肮鞭价俩业朔终狮奔宠癣依床趾瓜迟哲沧措几第1章熵和互信息量第1章熵和互信息量熵的含义熵的含义n熵是熵是从整个集合的统计特性从整个集合的统计特性来考虑的，它从平均意义上来来考虑的，它从平均意义上来表征信源的总体特征。表征信源的总体特征。n在信源输出后，信息熵在信源输出后，信息熵H(X)表示每个消息提供的平均信表示每个消息提供的平均信息量；息量；n在信
11、源输出前，信息熵在信源输出前，信息熵H(X) 表示信源的平均不确定性；表示信源的平均不确定性；n信息熵信息熵H(X) 表征了变量表征了变量X的随机性。的随机性。n n例如例如例如例如，有两信源有两信源有两信源有两信源X X、Y Y，其概率空间分别其概率空间分别其概率空间分别其概率空间分别计算其熵，计算其熵，得：得：得：得：H(X)=0.08H(X)=0.08（ bit / bit /符号）符号）符号）符号） H(Y)=1 H(Y)=1（bit / bit / 符号）符号）符号）符号）H(Y)H(X)，因此信源，因此信源Y比信源比信源X的平均不确定性要大。的平均不确定性要大。 弘斥庐检旦额阶褒楞
12、奴拾颐胆祭末指纂膜辕饮爷诞礁毫圈镀钩签珍婆妖互第1章熵和互信息量第1章熵和互信息量例例 设甲地的天气预报为：晴设甲地的天气预报为：晴(占占48)、阴、阴(占占28)、大雨、大雨(占占18)、小雨、小雨(占占18)。又设乙地的天气预报为：晴。又设乙地的天气预报为：晴 (占占78)，小雨，小雨(占占18)。试求两地天气预报各自提供的平均信息。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为量。若甲地天气预报为两极端情况，一种是晴出现概率为1而而其余为其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为。另一种是晴、阴、小雨、大雨出现的概率都相等为14。试求这两
13、极端情况所提供的平均信息量。又试求乙地出。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。现这两极端情况所提供的平均信息量。两个信源两个信源傣严滁补邑寡变濒喧淌宰半呵闯翘呆药鄙篱恨遵呸支驳肃囚火涤鹰灌因逝第1章熵和互信息量第1章熵和互信息量解：甲地天气预报构成的信源空间为解：甲地天气预报构成的信源空间为:则其提供的平均信息量即信源的信息熵则其提供的平均信息量即信源的信息熵则其提供的平均信息量即信源的信息熵则其提供的平均信息量即信源的信息熵: :乙地天气预报的信源空间为乙地天气预报的信源空间为:n n结论结论结论结论：甲地：甲地：甲地：甲地天气预报天气预报提供的
14、平均信息量大于乙地，因为乙地提供的平均信息量大于乙地，因为乙地提供的平均信息量大于乙地，因为乙地提供的平均信息量大于乙地，因为乙地比甲地的平均不确定性小。比甲地的平均不确定性小。比甲地的平均不确定性小。比甲地的平均不确定性小。侣声速楼甩立绷巡紧啮佣娶窒琶咆檄汞坟垃抹敢傅揩迷甫近剧梅诬撞勃末第1章熵和互信息量第1章熵和互信息量甲地极端情况n极端情况极端情况1：晴天概率：晴天概率1n 结论结论：等概率分布等概率分布时信源的不确定性最大，时信源的不确定性最大，所以所以信息熵信息熵（平均信息量）（平均信息量）最大最大。n极端情况极端情况2：各种天气等概率分布：各种天气等概率分布壕误陡味旧搪蹦瑞坐锻喉衔
15、竖央悼矮蔼吱节葵华洒杯改爱俯栅烟呕复利偿第1章熵和互信息量第1章熵和互信息量乙地极端情况n极端情况极端情况1：晴天概率：晴天概率1n 结论结论：在极端情况：在极端情况2下，甲地比乙地提供更多的信息量。下，甲地比乙地提供更多的信息量。 因为，甲地可能出现的消息数比乙地可能出现的消息数多。因为，甲地可能出现的消息数比乙地可能出现的消息数多。n极端情况极端情况2：各种天气等概率分布：各种天气等概率分布蕾谨劣哪浅钒格烈退晓戴饵晃匹坎评罢乃匣仗深苗疫亨砚满订障聊声咨着第1章熵和互信息量第1章熵和互信息量n信息熵是信源概率空间的一种特殊信息熵是信源概率空间的一种特殊矩函数矩函数。这个矩函。这个矩函数的大小
16、，与信源的符号数及其概率分布有关。数的大小，与信源的符号数及其概率分布有关。n我们用我们用概率矢量概率矢量P来表示概率分布来表示概率分布P(x)：三、信息熵的基本性质三、信息熵的基本性质 这样，信息熵这样，信息熵这样，信息熵这样，信息熵H(H(X X) )是概率矢量是概率矢量是概率矢量是概率矢量P P或它的分量或它的分量或它的分量或它的分量p p1 1，p p2 2，p pq q的的的的q-1q-1元函数元函数元函数元函数( (因各分量满足上述条件限制，所以独立变量因各分量满足上述条件限制，所以独立变量因各分量满足上述条件限制，所以独立变量因各分量满足上述条件限制，所以独立变量只有只有只有只有
17、q-1q-1元元元元) )。一般一般一般一般 H( H(X)X)可写成：可写成：可写成：可写成：绅掇峻退目窘廊蹿贵搞特恩散扒伞卤雪储内捡症琉哇病氦太够衰朔袄挚行第1章熵和互信息量第1章熵和互信息量熵函数熵函数nH(P)是概率矢量是概率矢量P的函数，称为熵函数。的函数，称为熵函数。n用下述表示方法：用下述表示方法：n用用H(x) 表示以离散随机变量表示以离散随机变量x描述的描述的信源的信息熵信源的信息熵；n用用H(P) 或或 H(p1, , p2 , , , , pq )表示概率矢量为表示概率矢量为P = (p1, , p2 , , , , pq )的的q个符号信源的信息熵个符号信源的信息熵。n
18、若当若当 q =2 时，因为时，因为 p1+p2 = 1, 所以将两个符号的熵所以将两个符号的熵函数写成函数写成H(p1)或或H(p2)。n熵函数熵函数H(P)是一种特殊函数，具有以下性质。是一种特殊函数，具有以下性质。也吕缉驰坡豌稻贰铡蒂幻照昆交驱虞幅籽舵吮诈启琵阅雹葵兜赶乎蘸雾弊第1章熵和互信息量第1章熵和互信息量性质：性质：1、对称性、对称性：H(P) 的取值与分量的取值与分量 p1, , p2 , , , , pq的顺序无关。的顺序无关。n说明：说明： 从数学角度：从数学角度： H(P)= pi log pi 中的和式满足交换率；中的和式满足交换率；从随机变量的角度：熵只与随机变量的总
19、体统计特性有关。从随机变量的角度：熵只与随机变量的总体统计特性有关。n例例陋拇驾汛键食肖叭碟怪趋曼绦缓腥垃颤朗骡睬繁沙疲说友错翘滓扔庙菊旷第1章熵和互信息量第1章熵和互信息量2、确定性、确定性：H(1,0)=H(1,0,0)=H(1,0,0,0)=0n性质说明性质说明：从总体来看，信源虽然有不同的输出符号，：从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号则是几但它只有一个符号几乎必然出现，而其它符号则是几乎不可能出现，那么，这个信源是一个确知信源，其乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。熵等于零。 3、非负性、非负性： H(P) 0n说明说明：
20、n n随机变量随机变量随机变量随机变量X X的概率分布满足的概率分布满足的概率分布满足的概率分布满足0 0p pi i1 1，当取对数的底大，当取对数的底大，当取对数的底大，当取对数的底大于于于于1 1时，时，时，时，log(log(p pi i) ) 0 0，- -p pi ilog(log(p pi i ) ) 0 0，即得到的熵为正，即得到的熵为正，即得到的熵为正，即得到的熵为正值。只有当随机变量是一确知量时熵才等于零。值。只有当随机变量是一确知量时熵才等于零。值。只有当随机变量是一确知量时熵才等于零。值。只有当随机变量是一确知量时熵才等于零。n n这种非负性合适于离散信源的熵，对连续信
21、源来说这一这种非负性合适于离散信源的熵，对连续信源来说这一这种非负性合适于离散信源的熵，对连续信源来说这一这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。以后可看到在相对熵的概念下，可能出性质并不存在。以后可看到在相对熵的概念下，可能出性质并不存在。以后可看到在相对熵的概念下，可能出性质并不存在。以后可看到在相对熵的概念下，可能出现负值。现负值。现负值。现负值。vv 非负性体现信息是非负的。非负性体现信息是非负的。非负性体现信息是非负的。非负性体现信息是非负的。朴碉茸账宇咳汉泪学拷钾刨醉轩父槽乡桑羽墙七砧痴宦挫坠丢驱仔谚巍狠第1章熵和互信息量第1章熵和互信息量4、扩展性、扩展性n
22、性质说明：性质说明：信源的取值数增多时，若这些取值对应的概率信源的取值数增多时，若这些取值对应的概率很小很小(接近于零接近于零)，则信源的熵不变。，则信源的熵不变。所以，上式成立所以，上式成立因为因为舞梢膳淆锚洼书氖铺衅洪箩遁甭帮耪阑捉澡替啊效菌嫉芭芳否傀机峻绞踪第1章熵和互信息量第1章熵和互信息量5 5、可加性、可加性 统计独立统计独立信源信源X和和Y的的联合信源的熵联合信源的熵等于信源等于信源X和和Y各自的熵之和。各自的熵之和。 H(XY) = H(X)+ H(Y) l可加性是熵函数的一个重要特性，正因具有可加性，可加性是熵函数的一个重要特性，正因具有可加性，才使熵函数的形式是唯一的。才使
23、熵函数的形式是唯一的。票鼓铣澎唯抗制即柬节矢驹轧丙楞恐鞍某铁令夷奴芦磅莎视趁准厢码吨昆第1章熵和互信息量第1章熵和互信息量证明：证明：证明：证明：隧鬼迎媚狙秃坦踌脂礁瘪罗反郡棉式姿赁业跋式敦蠕怯冗肖汞帮截舍退愉第1章熵和互信息量第1章熵和互信息量例如，甲信源为例如，甲信源为例如，甲信源为例如，甲信源为它们的联合信源是它们的联合信源是可计算得联合信源的联合熵：可计算得联合信源的联合熵：H(Z) = H(XY) = log (nm) = log m + log n = H(X) + H(Y)乙信源为乙信源为乙信源为乙信源为宜桓讶砧达清唆碧锐令眼岔仑己强未朗捅览瘫挺云腔邓票搀哀佣客戏崔峨第1章熵和互
24、信息量第1章熵和互信息量6 6、强可加性、强可加性n两个互相关联的信源两个互相关联的信源X和和Y的联合信源的熵等于信的联合信源的熵等于信源源X的熵加上在的熵加上在X已知条件下信源已知条件下信源Y的条件熵。的条件熵。 H（XY）=H（X）+ H（Y/X）nH（Y/X）表示信源）表示信源 X 输出一符号的条件下，输出一符号的条件下，信源信源Y再输出一符号所能提供的平均信息量，再输出一符号所能提供的平均信息量，称为称为条件熵条件熵。裁礁凋被豆抽肃拱埋糖后防菩销盘钵迎即拄尖甸丸撰陪观细砧懦俘溯博歪第1章熵和互信息量第1章熵和互信息量H（XY）=H（X）+ H（Y/X）的证明：）的证明： H（XY）=
25、H（X）+ H（Y/X） 发又饯刚疲晃瞪臼吱眺薯惮拳包愤去饱汽果境蓝眺盲辩晒数卷芭予值胺爵第1章熵和互信息量第1章熵和互信息量7、递增性、递增性 若原信源若原信源 X 中中有一个符号分割成了有一个符号分割成了m个元素个元素(符符号号)，这，这m个元素的概率之和等于原元素的概率，而个元素的概率之和等于原元素的概率，而其他符号的概率不变，则其他符号的概率不变，则新信源的熵增加新信源的熵增加。 熵的增加量等于由分割而产生的不确定性量。熵的增加量等于由分割而产生的不确定性量。慷陋移浮萄氖吹烧澈进踪实辈惩篆繁翼墓蛆臃厕厚贾哼雌电由予品册煎白第1章熵和互信息量第1章熵和互信息量证明可以从熵的定义或证明可以
26、从熵的定义或强可加性强可加性得出：得出：搅平伺篆开永绢蕴郧矩吧菏早塘掖钥舍柠包皱例倦胖垮节熙救砌箔岿塑罕第1章熵和互信息量第1章熵和互信息量因为因为因为因为而当而当而当而当inin时时时时p pij ij=0=0，所以，所以，所以，所以即得：即得：即得：即得：氛酸贱馒淋叮餐恿军肮粒斩簇域牵搽坛叁鱼滥讹络褂邑攻倾取童人其藏救第1章熵和互信息量第1章熵和互信息量递增性的推广递增性的推广n它表示它表示n个元素的信源熵可以递推成个元素的信源熵可以递推成(n-1)个二元信个二元信源的熵函数的加权和。这样，可使源的熵函数的加权和。这样，可使多元信源的熵函多元信源的熵函数的计算简化成计算若干个二元信源的熵函
27、数数的计算简化成计算若干个二元信源的熵函数。因。因此，熵函数的递增性又可称为递推性。此，熵函数的递增性又可称为递推性。婆简阴罗栖簇谴渍图捎亮躲撂咳碘贾茫恶庚土区叠辕乔慢卒猪椎纲榔膜尿第1章熵和互信息量第1章熵和互信息量8、极值性、极值性(定理定理1.1)n在离散信源情况下，信源各符号在离散信源情况下，信源各符号等概率分布等概率分布时，时，熵值达到最大。熵值达到最大。n性质表明性质表明等概率分布信源的平均不确定性为最大。等概率分布信源的平均不确定性为最大。n这是一个很重要的结论，称为这是一个很重要的结论，称为最大离散熵定理。最大离散熵定理。证明证明： 因为对数是因为对数是型凸函数，满足詹森不等式
28、型凸函数，满足詹森不等式Elog Y log EY，则有：，则有：加丛爆捐苹中副薪狱织陶揉冰邵评言阑嗣保玖鹊粪椅哎犀挠陈电丈末苗付第1章熵和互信息量第1章熵和互信息量 二进制信源是离散信源的一个特例。二进制信源是离散信源的一个特例。 该信源符号只有二个，设为该信源符号只有二个，设为“0”和和“1”。符号。符号输出的概率分别为输出的概率分别为“ ”和和“1- ”，即信源的概率空，即信源的概率空间为：间为：H(X) = - log (1- ) log(1- ) =H( ) 即信息熵即信息熵H(x)是是 的函数。的函数。 取值于取值于0，1区间，可区间，可画出熵函数画出熵函数H( ) 的曲线来，的曲
29、线来，如右图所示。如右图所示。 燎橱盟厚融判绝姓召咽屑娄调鳞幕因胞顾开帕肄胀休傀塞遏澡蜡郑现败骄第1章熵和互信息量第1章熵和互信息量n熵函数熵函数H(P)是概率矢量是概率矢量P(p1，p2， ，pq)的的严格严格型凸函数型凸函数(或称上凸函数或称上凸函数)。n它表示：对任意概率矢量它表示：对任意概率矢量P1 (p1,p2, ,pq )和和P2 (p1,p2, ,pq)，和任意的，和任意的 0 1，有：有： H P1十十(1- )P2 H(P1)十十(1- )H(P2)n因为熵函数具有上凸性，所以熵函数具有极值，其因为熵函数具有上凸性，所以熵函数具有极值，其最大值存在。最大值存在。9 9、上凸性
30、、上凸性、上凸性、上凸性歪闷寺额参瓢君盒攀罢迭崭屁妹键椒稼态二脊侠焉贩宵匣敝呻烽投掩译抹第1章熵和互信息量第1章熵和互信息量n当离散平稳无记忆信源发出固定长度的消息序列当离散平稳无记忆信源发出固定长度的消息序列时，则得到原信源的时，则得到原信源的扩展信源扩展信源 。n例如在电报系统中，若信源输出的是二个二元数例如在电报系统中，若信源输出的是二个二元数字组成的符号序列，此时可认为是一个新的信源，字组成的符号序列，此时可认为是一个新的信源，它由四个符号（它由四个符号（00，01，10，11）组成，我们）组成，我们把该信源称为把该信源称为二元无记忆信源的二次扩展信源二元无记忆信源的二次扩展信源。n如
31、果把如果把N个二元数字组成一组，则信源等效成一个二元数字组成一组，则信源等效成一个具有个具有2N个符号的新信源，把它称为个符号的新信源，把它称为二元无记信二元无记信源的源的N次扩展信源次扩展信源。1.3 1.3 离散无记忆信源的扩展信源离散无记忆信源的扩展信源犊溢含皆垫坞敌簿灰扦砧妊历亏滇俊需惑郡剔障留逼煞酚祭肝蹬塘浇腿克第1章熵和互信息量第1章熵和互信息量n一般情况下，对一个离散无记忆信源一般情况下，对一个离散无记忆信源X，其样本，其样本空间为空间为a1,a2, ,aq ，对它的输出，对它的输出消息序列消息序列，可用一组组长度为可用一组组长度为N的序列来表示它。这时，它的序列来表示它。这时，
32、它等效成一个等效成一个新信源新信源。n新信源输出的新信源输出的符号符号是是N维离散维离散随机矢量随机矢量X =(X1，X2,XN)，其中每个分量，其中每个分量Xi (i1,2,N)都都是随机变量，它们都取值于同一信源符号集，并是随机变量，它们都取值于同一信源符号集，并且分量之间统计独立，则由随机矢量且分量之间统计独立，则由随机矢量X 组成的新组成的新信源称为信源称为离散无记忆信源离散无记忆信源X的的N次扩展信源。次扩展信源。 界酌覆崭续乘戒茫籍挖睛侠若叮糖匝除呕婪剥颧暮酷猖医字穗臣州卫磅徘第1章熵和互信息量第1章熵和互信息量单符号离散信源单符号离散信源X的数学模型：的数学模型：nN次扩展信源与
33、单符号离散信源次扩展信源与单符号离散信源比较比较：数学模型相同但输出不：数学模型相同但输出不是单个符号，而是一串是单个符号，而是一串N个相互独立的符号序列：个相互独立的符号序列：X(X1,X2, XN) ，联合分布密度，联合分布密度P(X)=P(X1X2XN)n把把 X 等效为一个新信源，称为等效为一个新信源，称为X的的N次扩展信源，其数学模型次扩展信源，其数学模型：因为是无记忆的因为是无记忆的因为是无记忆的因为是无记忆的( (彼此统计独立彼此统计独立彼此统计独立彼此统计独立) )则：则：则：则： 弊玖反权电敖叛狰寻肚谰呀愿缄锣肘墨红姐羞缩馒祥问孙抿铜奏违柳宇忍第1章熵和互信息量第1章熵和互信
34、息量离散平稳无记忆离散平稳无记忆N次扩展信源的熵次扩展信源的熵 H(X ) = H(XN) = NH(X)其中其中：同理计算式中其余各项，得到：同理计算式中其余各项，得到： H(XN) = H(X)+H(X)+H(X)= N H(X) 证：证：谓仙寒乾叫萄氧默皿耻帆制从奔呼向弧锻捉吩姑亩劳荫啪痢忘贿脚煎唇宜第1章熵和互信息量第1章熵和互信息量例例 求如下离散无记忆信源的二次扩展信源及其熵。求如下离散无记忆信源的二次扩展信源及其熵。 解解：二次扩展信源的概率空间为：二次扩展信源的概率空间为X2的信源符号123456789对应的符号序列a1 a1a1 a2a1 a3a2 a1a2 a2a2 a3a
35、3 a1a3 a2a3 a3概率P(i)1/41/81/81/81/161/161/81/161/16甜葛庭当逃宽擎宗食晰玛悼拖第笆六魔闹海次犯即翘操苦馋碰柞条捶匝豆第1章熵和互信息量第1章熵和互信息量一、离散平稳信源的数学定义一、离散平稳信源的数学定义n 在一般情况下在一般情况下，信源在，信源在 t = i 时刻将要发出什么样的符号决时刻将要发出什么样的符号决定于两方面：定于两方面： (1) 信源在信源在 t = i 时刻随机变量时刻随机变量Xi 取值的概率分布取值的概率分布P(xi)。 一般一般 P(xi) P(xj) (2) t= i 时刻以前信源发出的符号。时刻以前信源发出的符号。 即
36、与条件概率即与条件概率P(xi/xi-1 xi-2)有关有关n对对平稳随机序列平稳随机序列，序列的统计性质与时间的推移无关，序列的统计性质与时间的推移无关，即信源发出符号序列的概率分布与时间起点无关。即信源发出符号序列的概率分布与时间起点无关。 1.4 1.4 联合熵联合熵 芭肝使掀饺拌状己珍友粟旬黄春瘦疗寄潮丁鹏想蛋沧劝葛慧师浩僻泛笛歪第1章熵和互信息量第1章熵和互信息量n平稳随机序列的数学定义如下：平稳随机序列的数学定义如下： n若当若当t = i，t = j时时(i,j 是大于是大于1的任意整数的任意整数)，P(xi)=P(xj )=P(x)，则序列是一维平稳的。具有这样性质的信源称为，
37、则序列是一维平稳的。具有这样性质的信源称为一维平稳信源一维平稳信源。n除上述条件外，如果联合概率分布除上述条件外，如果联合概率分布P(xixi+1)也与时间起点无关，也与时间起点无关，即即P(xixi+1)=P(xjxj+1) (i,j为任意整数且为任意整数且i j)，则信源称为，则信源称为二维平二维平稳信源稳信源。它表示任何时刻信源发出二个符号的联合概率分布也完。它表示任何时刻信源发出二个符号的联合概率分布也完全相等。全相等。 n如果各维联合概率分布均与时间起点无关，那么，信源是完全平如果各维联合概率分布均与时间起点无关，那么，信源是完全平稳的。这种各维联合概率分布均与时间起点无关的完全平稳
38、信源稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源称为称为离散平稳信源离散平稳信源。这时有：。这时有：P(xi) = P(xj) P(xi xi+1) = P(xj xj+1) P(xi xi+1 xi+N ) = P(xj xj+1 xi+N ) 鬃邻惮带丁挑逻蹭嚣差卷凸脆权谢突菜诽叠暴土罗矫挣巴麓瞒集野锰模呆第1章熵和互信息量第1章熵和互信息量由于由于联合概率与条件概率联合概率与条件概率有以下关系：有以下关系：n结论：结论：对于平稳信源来说，其条件概率均与时间起点无关，对于平稳信源来说，其条件概率均与时间起点无关，只与关联长度只与关联长度N有关。有关。即平稳信源发出的平稳随机序列
39、前即平稳信源发出的平稳随机序列前后的依赖关系与时间起点无关后的依赖关系与时间起点无关。从从平稳性平稳性可得：可得：菏癣纶齐喳常京甄弯沉幸挟丹屈闹倾怪眶碰僚余幌鸭祥规剃砧叉肉邮百涣第1章熵和互信息量第1章熵和互信息量n对平稳信源对平稳信源如果如果某时刻发出什么符号只与前面发某时刻发出什么符号只与前面发出的出的N个符号有关个符号有关，那么，那么任何时刻任何时刻它们的依赖关它们的依赖关系都是一样的。即：系都是一样的。即：灸详踏革会颅估拣诡烷翼瓮幂吼饼拷岿此蘑泊朋霉践眉郡覆倚弥染户温芯第1章熵和互信息量第1章熵和互信息量二、二维平稳信源及其信息熵二、二维平稳信源及其信息熵 最简单的平稳信源就是最简单的
40、平稳信源就是二维平稳信源二维平稳信源。它。它满足一维和满足一维和二维概率分布与时间起点无关。二维概率分布与时间起点无关。 同时已知：连续两个信源符号出现的联合概率分布为同时已知：连续两个信源符号出现的联合概率分布为同时已知：连续两个信源符号出现的联合概率分布为同时已知：连续两个信源符号出现的联合概率分布为P(ai aj) (i, j = 1,q) ，且：，且：，且：，且：n设有一个离散一维平稳信源，其概率空间为：设有一个离散一维平稳信源，其概率空间为：集图格降我裹叫墩谍漫铣留略殉妄帘潮寨复秤塔懒阂宫跺贞屿奴恬堰爱藐第1章熵和互信息量第1章熵和互信息量n对离散二维平稳信源的信息测度：对离散二维平
41、稳信源的信息测度： n由由于于只只有有两两个个符符号号有有关关联联，且且其其关关联联与与时时间间无无关关，则则我我们们可可把把这这个个信信源源输输出出的的随随机机序序列列分分成成每每二二个个符符号号一一组组(因因为为相相邻邻的的两两个个符符号号才才有有关关联联)，每每组组构构成成新新信信源源的的一一个个符符号号，并并假假设设组组与与组组之之间间统统计计无无关关(实实际际上上，组组尾尾的的符符号号与与下下一一组组组组头的符号是有关的头的符号是有关的)。n这这时时，等等效效成成一一个个新新的的信信源源X1X2，它它们们的的联联合合概概率率空空间间为：为： 根据信息熵的定义，得：根据信息熵的定义，得
42、：根据信息熵的定义，得：根据信息熵的定义，得：H(XH(X1 1X X2 2) )称为称为称为称为X X1 1X X2 2的联合熵的联合熵的联合熵的联合熵。钵盈啤绝曾茧唯洒间薄策缓娠亮救恼妮撼嫂飘峻欲逆捷棍浇次颓馅匿啤莆第1章熵和互信息量第1章熵和互信息量关于关于离散二维平稳信源联合熵离散二维平稳信源联合熵nH(X1X2) 表示原来信源表示原来信源X输出任意一对消息输出任意一对消息的共熵，即的共熵，即描述信源描述信源X输出长度为输出长度为2的序列的序列的平均不确定性的平均不确定性（或所含有的信息量）。（或所含有的信息量）。n可用可用H(X1X2)/2作为作为信源信源X的信息熵的的信息熵的近似近
43、似值值。犁画腥欢鄂搔暇熙秒此泊拢则溃丘锹僚盆碌秧涩荡堰任掩归荧来还跟肮删第1章熵和互信息量第1章熵和互信息量 从另一角度（从另一角度（从另一角度（从另一角度（来研究信源来研究信源来研究信源来研究信源X X的信息熵的近似值）：的信息熵的近似值）：的信息熵的近似值）：的信息熵的近似值）：（1 1）由由由由于于于于信信信信源源源源X X发发发发出出出出的的的的符符符符号号号号序序序序列列列列中中中中前前前前后后后后两两两两个个个个符符符符号号号号之之之之间间间间有有有有依依依依赖赖赖赖性性性性，可可可可以以以以先先先先求求求求出出出出在在在在已已已已知知知知前前前前面面面面一一一一个个个个符符符符号
44、号号号X Xl la ai i时时时时，信信信信源源源源输输输输出出出出下下下下一个符号一个符号一个符号一个符号的平均不确定性：的平均不确定性：的平均不确定性：的平均不确定性：（2 2）前前前前面面面面一一一一个个个个符符符符号号号号X Xl l又又又又可可可可取取取取a ai i a a1 1，a a2 2，a aq q 中中中中任任任任一一一一个个个个，对对对对某某某某一一一一个个个个a ai i存存存存在在在在一一一一个个个个平平平平均均均均不不不不确确确确定定定定性性性性H(XH(X2 2/X/X1 1a ai i) )，那那那那么么么么对对对对所所所所有有有有a ai i的的的的可可
45、可可能能能能值值值值进进进进行行行行统统统统计计计计平平平平均均均均就就就就得得得得当当当当前前前前面面面面一一一一个个个个符符符符号号号号巳巳巳巳知知知知时时时时，再再再再输出下一个符号的总的平均不确定性输出下一个符号的总的平均不确定性输出下一个符号的总的平均不确定性输出下一个符号的总的平均不确定性H(XH(X2 2/X/X1 1) ) ：己善微梁纸喧哺贩棍符褥戮至麓罪厦嘛又钡填尔匈煌单滁泰翅绦芯寥品花第1章熵和互信息量第1章熵和互信息量（3 3）根据概率关系，可以得到）根据概率关系，可以得到）根据概率关系，可以得到）根据概率关系，可以得到联合熵与条件熵联合熵与条件熵联合熵与条件熵联合熵与条
46、件熵的关系：的关系：的关系：的关系：奶枚沮福嘎陷最毙溉耽封浑的武霞壶隋愁遵送吾渝缨涅圾腑春造丰袋盐棍第1章熵和互信息量第1章熵和互信息量 即：即：即：即：H(XH(X1 1X X2 2) )H(XH(X1 1)+H(X)+H(X2 2/X/X1 1) ) 而而而而 H(X H(X2 2/X/X1 1) ) H(XH(X2 2) ) 因此因此因此因此 H(XH(X1 1X X2 2) )H(XH(X1 1)+H(X)+H(X2 2/X/X1 1) ) H(XH(X1 1)+H(X)+H(X2 2) = 2H(X) ) = 2H(X) 所所所所以以以以，一一一一般般般般情情情情况况况况下下下下，输
47、输输输出出出出二二二二个个个个符符符符号号号号的的的的联联联联合合合合熵熵熵熵总总总总是是是是小小小小于于于于二二二二倍倍倍倍信源的熵。信源的熵。信源的熵。信源的熵。 瞅趾铣募瓦瓜性驭翌硫箔腥谢删袖苫聋盛捶订励浪扒踪韦储裁淫痹孪瞥芒第1章熵和互信息量第1章熵和互信息量 例例例例 某一离散二维平稳信源某一离散二维平稳信源某一离散二维平稳信源某一离散二维平稳信源其其其其发发发发出出出出的的的的符符符符号号号号只只只只与与与与前前前前一一一一个个个个符符符符号号号号有有有有关关关关，即即即即可可可可用用用用联联联联合合合合概概概概率率率率P(aP(ai ia aj j) )给出它们的关联程度，如下表
48、所示给出它们的关联程度，如下表所示给出它们的关联程度，如下表所示给出它们的关联程度，如下表所示 求信源的熵求信源的熵求信源的熵求信源的熵H(X)H(X)、条件熵、条件熵、条件熵、条件熵H(XH(X2 2/X/X1 1) )和联合熵和联合熵和联合熵和联合熵H(XH(X1 1X X2 2) ) 。P(aP(ai ia aj j) )a aj ja ai i0 01 12 20 01/41/41/181/180 01 11/181/181/31/31/181/182 20 01/181/187/367/36丙瘪吁周柿镰兔科弧砰融龚炽终线哦僚捆经腕惩俱藻膏鼎冈输廊望尾掌隐第1章熵和互信息量第1章熵和互
49、信息量 解解解解：根根根根据据据据概概概概率率率率关关关关系系系系可可可可计计计计算算算算得得得得条条条条件件件件概概概概率率率率P P（a aj j/a/ai i）, ,计计计计算算算算结结结结果果果果列表如下：列表如下：列表如下：列表如下：a aj ja ai i0 01 12 20 09/119/111/81/80 01 12/112/113/43/42/92/92 20 01/81/87/97/9P(aP(ai ia aj j) )a aj ja ai i0 01 12 20 01/41/41/181/180 01 11/181/181/31/31/181/182 20 01/181/
50、187/367/36械死掷卑哼水貉睹没冷慢棋座角菊蔗嚷逾搀填挨箕惫兜衅宿赚棚戍晋败镶第1章熵和互信息量第1章熵和互信息量 得：得：得：得：烃碰忍稼曝倘酥体勋赛壹宋薛鲍砰信贺唬透抢敞称联胆观歹表焉讥痴来畴第1章熵和互信息量第1章熵和互信息量一、条件熵(信道疑义度)信道输入信源X的熵 H(X)是在接收到输出Y以前，关于输入变量X的先验不确定性，称为先验熵。 1.5 1.5 条件熵和互信息量条件熵和互信息量论孺著升竭公凹质泥碟煞珠抨杖咯欢闸亦祭庞搞龚忍为锣曹钮斩署副壮歉第1章熵和互信息量第1章熵和互信息量接受到bj后，关于X的不确定性为 后验熵在输出符号集Y范围内是个随机量，对后验熵在符号集Y中求数
51、学期望，得条件熵-信道疑义度：这是接收到输出符号bj后关于X的后验熵。 后验熵是当信道接收端接收到输出符号bj后，关于输入符号的信息测度。劲服阑窗蒂枉绑锭梆咒斑唆齿巴绰脾待特魂吮契螟饥戈水董跪广蓟蚤狠标第1章熵和互信息量第1章熵和互信息量互信息量互信息量 I(xi ; yj)：收到消息：收到消息yj 后获得关于后获得关于xi的的信息量。信息量。即：互信息量表示先验的不确定性减去尚存的不确定性，这即：互信息量表示先验的不确定性减去尚存的不确定性，这即：互信息量表示先验的不确定性减去尚存的不确定性，这即：互信息量表示先验的不确定性减去尚存的不确定性，这就是就是就是就是收信者获得的信息量收信者获得的
52、信息量收信者获得的信息量收信者获得的信息量二、平均互信息变孝蹲隙蛾冬惰铅婪淆飞胃巍骸姻增忆迂复泉均炙双胖恬荆薛芹终函奸竞第1章熵和互信息量第1章熵和互信息量平均互信息I(X; Y)： I(xi ; yj)的统计平均l它代表接收到符号集Y后平均每个符号获得的关于X的信息量，也表示了输入与输出两个随机变量之间的统计约束程度。夜核引业赦确戮妻裸肌启搽岛奢账县氢巧雪虽篆刊亮遁摆粟旅听竿假降罕第1章熵和互信息量第1章熵和互信息量关于平均互信息关于平均互信息I(X;Y) 互信息互信息互信息互信息 I( I(x x ; ; y y) ) 代表收到某消息代表收到某消息代表收到某消息代表收到某消息y y后获得关
53、于某事件后获得关于某事件后获得关于某事件后获得关于某事件x x的的的的信息量。信息量。信息量。信息量。它可取正值，也可取负值。它可取正值，也可取负值。它可取正值，也可取负值。它可取正值，也可取负值。 若互信息若互信息若互信息若互信息I(I(x x ; ; y y)0)= 0= 0。 若若若若I(XI(X; ;Y) Y) = 0= 0，表示在信道输出端接收到输出符号表示在信道输出端接收到输出符号表示在信道输出端接收到输出符号表示在信道输出端接收到输出符号Y Y后不后不后不后不获得任何关于输入符号获得任何关于输入符号获得任何关于输入符号获得任何关于输入符号X X的信息量的信息量的信息量的信息量-全
54、损信道全损信道全损信道全损信道。樱书同心白叭闽娟逮衫尾档字姑惟娟叶呵四贼芯囚炯眉丛昧蛆楞铀檄邮洒第1章熵和互信息量第1章熵和互信息量 I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(X) - H(X|Y) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(Y) - H(Y|X) I(X;Y) = H(X)+H(Y)-H(XY) I(X;Y) = H(X)+H(Y)-H(XY)其中：其中：其中：其中：平均互信息与各类熵的关系傅乒戍冲虫攀欠裔躇旱龋各杏姆情懊锑谁头砂妈猴利催谦冰杜疾败连榴稻第1章熵和互信息量第1章熵和互信息量平均互信息与各类熵之间关系的集合图平
55、均互信息与各类熵之间关系的集合图平均互信息与各类熵之间关系的集合图平均互信息与各类熵之间关系的集合图（维拉图维拉图维拉图维拉图）表示：表示：表示：表示： H(X|Y) = H(X) - I(XH(X|Y) = H(X) - I(X; ;Y) Y) H(Y|X) = H(Y) - I(X H(Y|X) = H(Y) - I(X; ;Y) Y) H(XY) = H(X)+H(Y)- I(X H(XY) = H(X)+H(Y)- I(X; ;Y)Y) H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY)图中，左边的圆代表随机图中，左边的圆代表随机图中，左边的圆代表随机
56、图中，左边的圆代表随机变量变量变量变量X X的熵，右边的圆代的熵，右边的圆代的熵，右边的圆代的熵，右边的圆代表随机变量表随机变量表随机变量表随机变量Y Y的熵，两个的熵，两个的熵，两个的熵，两个圆重叠部分是平均互信息圆重叠部分是平均互信息圆重叠部分是平均互信息圆重叠部分是平均互信息I I(X(X; ;Y)Y)。每个圆减去。每个圆减去。每个圆减去。每个圆减去I(XI(X; ;Y)Y)后剩余的部分代表后剩余的部分代表后剩余的部分代表后剩余的部分代表两个疑义度。两个疑义度。两个疑义度。两个疑义度。桶亡其振吉勿蚊酿礼晌艇肪拘椽涎拓腮锤勾打侗骚韧垒地俗高沁秩钮蕊察第1章熵和互信息量第1章熵和互信息量n
57、两种特殊信道（1 1）离散无干扰信道）离散无干扰信道）离散无干扰信道）离散无干扰信道 ( ( 无损信道无损信道无损信道无损信道 ) ) 信道的输入和输出一一对应，信息无损失地传输，信道的输入和输出一一对应，信息无损失地传输，信道的输入和输出一一对应，信息无损失地传输，信道的输入和输出一一对应，信息无损失地传输，称为称为称为称为无损信道无损信道无损信道无损信道。 H(X|Y) = H(Y|X) = 0H(X|Y) = H(Y|X) = 0 损失熵和噪声熵都为损失熵和噪声熵都为损失熵和噪声熵都为损失熵和噪声熵都为“0” “0” 由于噪声熵等于零，因此，输出端接收的信息就等由于噪声熵等于零，因此，输
58、出端接收的信息就等由于噪声熵等于零，因此，输出端接收的信息就等由于噪声熵等于零，因此，输出端接收的信息就等于平均互信息于平均互信息于平均互信息于平均互信息: : I(X;Y) = H(X) = H(Y) I(X;Y) = H(X) = H(Y) 静鬼汗却完颊连唆惩撞携窥臼红师豪搭淌官框窒焉舰格娃脂因状泻骂钻裴第1章熵和互信息量第1章熵和互信息量（2 2）输入输出独立信道）输入输出独立信道）输入输出独立信道）输入输出独立信道 ( ( 全损信道全损信道全损信道全损信道 ) ) 信道输入端信道输入端信道输入端信道输入端X X与输出端与输出端与输出端与输出端Y Y完全统计独立完全统计独立完全统计独立完
59、全统计独立 H(X|Y) = H(X) , H(Y|X) = H(Y)H(X|Y) = H(X) , H(Y|X) = H(Y) 所以所以所以所以 I(X;Y) = 0 I(X;Y) = 0 I(X;Y) = H(X) - H(X|Y)I(X;Y) = H(X) - H(X|Y) 信道的输入和输出没有信道的输入和输出没有信道的输入和输出没有信道的输入和输出没有依赖依赖依赖依赖关系，信息无法传输，关系，信息无法传输，关系，信息无法传输，关系，信息无法传输，称为称为称为称为全损信道全损信道全损信道全损信道。 接收到接收到接收到接收到Y Y后不可能消除有关输入端后不可能消除有关输入端后不可能消除有关
60、输入端后不可能消除有关输入端X X的任何不确定性，的任何不确定性，的任何不确定性，的任何不确定性，所以获得的信息量等于零。同样，也不能从所以获得的信息量等于零。同样，也不能从所以获得的信息量等于零。同样，也不能从所以获得的信息量等于零。同样，也不能从X X中获得任何中获得任何中获得任何中获得任何关于关于关于关于Y Y的信息量。的信息量。的信息量。的信息量。 平均互信息平均互信息平均互信息平均互信息I(XI(X; ;Y)Y)等于零，表明了等于零，表明了等于零，表明了等于零，表明了信道两端随机变信道两端随机变信道两端随机变信道两端随机变量的统计约束程度等于零量的统计约束程度等于零量的统计约束程度等
61、于零量的统计约束程度等于零。凝论拦晌倡箍贱攘溉场钞梅严牲嫡赢之悦瀑撂拔辨蛇玉湿戎陀饶牡削揉接第1章熵和互信息量第1章熵和互信息量二种极限信道各类熵与平均互信息之间的关系二种极限信道各类熵与平均互信息之间的关系二种极限信道各类熵与平均互信息之间的关系二种极限信道各类熵与平均互信息之间的关系 H(X|Y) = H(X) H(X|Y) = H(X) H(Y|X) = H(Y) H(Y|X) = H(Y) I(X;Y) = 0 I(X;Y) = 0H(X|Y)=H(Y|X)=0 H(X|Y)=H(Y|X)=0 I(X;Y)=H(X)=H(Y)I(X;Y)=H(X)=H(Y)无损信道：完全重迭无损信道：
62、完全重迭无损信道：完全重迭无损信道：完全重迭全损信道：完全独立全损信道：完全独立全损信道：完全独立全损信道：完全独立无损信道：无损信道：无损信道：无损信道：全损信道：全损信道：全损信道：全损信道：龚颈狈馅鬃渍存潜顷讥站廊乓伊幸牙断谜讳腥件黔泞鸿融拣炯区塌裳克纤第1章熵和互信息量第1章熵和互信息量平均互信息的性质平均互信息 I(X;Y) 具有以下特性：（1）非负性 即 I(X;Y) = 0 当X、Y统计独立时等式成立。（2）极值性 即 I(X;Y) = H(X|Y)H(Y) = H(Y|X)H(XY) = H(X) + H(Y)潘纠肆苛潦关鞭蛇云扫掩萝跋下倦捕栽陌粳拿挖矽居诅炒屯溶而扮疾疲踪第1
63、章熵和互信息量第1章熵和互信息量n 熵的意义（对通信系统）熵的意义（对通信系统）nH(X)：表示信源中每个符号的平均信息量（表示信源中每个符号的平均信息量（信源熵信源熵）。）。nH(Y)：表示信宿中每个符号的平均信息量（表示信宿中每个符号的平均信息量（信宿熵信宿熵）。）。nH(X|Y)：表示在输出端接收到表示在输出端接收到Y的全部符号后，发送端的全部符号后，发送端X尚存的平均不确定性。这个对尚存的平均不确定性。这个对X尚存的不确定性是由于干扰尚存的不确定性是由于干扰引起的。引起的。信道疑义度信道疑义度(损失熵损失熵，含糊度含糊度)nH(Y|X)：表示在已知表示在已知X的全部符号后，对于输出的全
64、部符号后，对于输出Y尚存的尚存的平均不确定性。平均不确定性。信道散布度信道散布度(噪声熵噪声熵)nH(XY)：表示整个信息传输系统的平均不确定性（表示整个信息传输系统的平均不确定性（联合熵）联合熵）。竣讼低浑雍蕉已和摸划藏裙孔钝峡袖全评研授赠抢践澄吗酥勿顷咳粗监子第1章熵和互信息量第1章熵和互信息量解：信源解：信源X的熵为：的熵为：例例：有两个同时输出的信源：有两个同时输出的信源X和和Y，其中，其中X的信源符号为的信源符号为A，B，C，Y的信源符号为的信源符号为D，E，F，G，已知，已知 P(X)和和P（Y/X），求联合信源的联合熵和条件熵。），求联合信源的联合熵和条件熵。XABCP(x)1/
65、21/31/6P(y/x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6乘灰谷枯不纬明凸烙咐坑抠舱衣泽沁长船对君蝗压鹅码恶忻硷诱测逻皮统第1章熵和互信息量第1章熵和互信息量信源信源XY输出每一对消息的联合概率为：输出每一对消息的联合概率为：P(XY) = P(Y/X)P(X) ，结果如下表：结果如下表：P(xy)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36联合信源的联合信源的联合信源的联合信源的联合熵：联合熵：联合熵：联合熵： 信源信源Y的条件熵：的条件熵： 信道散布度信道散布度 (噪声熵噪声熵
66、)泰词汹丑抖丙汰梁肠伐泊靖墩蔡炽栏塑痞摔籽矽辅哮吟撼茄砚迪万桓跑咸第1章熵和互信息量第1章熵和互信息量n从上述结果可得：从上述结果可得：nH(XY)=H(X)+H(Y/X) =1.461+1.956=3.417(bit/每对符号每对符号)当两个信源统计独立时，当两个信源统计独立时，H(XY)=H(X)+H(Y)，为最大。，为最大。n对第二个信源对第二个信源Y，其熵，其熵H(Y)的计算。由全概率公式：的计算。由全概率公式：因此：因此：徐户桥铅厕猾盎露摊隔傣例忙巾捂赚垫糊申津纫敛坤盟昆排栗仅考且查伎第1章熵和互信息量第1章熵和互信息量n联合熵的最大值为：联合熵的最大值为：由于信源相关，使联合熵减小，其减小量为：由于信源相关，使联合熵减小，其减小量为：拾趾疤趋新毁碌撬企裤岗谈烂橇胳酗脯欧驳龙论痞孺敛态植抠触落肄臃挞第1章熵和互信息量第1章熵和互信息量
