《信息论各种熵之间的关系》由会员分享，可在线阅读，更多相关《信息论各种熵之间的关系（28页珍藏版）》请在金锄头文库上搜索。
1、2.1.5 2.1.5 各种熵之间的关系各种熵之间的关系X YX YX YX YX Y2.2.1 无记忆扩展信源的熵无记忆扩展信源的熵2.2.2离散平稳信源的熵离散平稳信源的熵2.2.3马尔可夫信源马尔可夫信源2.2.4信源的冗余度信源的冗余度2.2 扩展信源扩展信源无记忆的离散信源序列无记忆的离散信源序列离散有记忆序列信源离散有记忆序列信源离散平稳信源离散平稳信源马尔可夫信源马尔可夫信源无记忆扩展信源无记忆扩展信源每次发出一组每次发出一组含两个以上含两个以上符号的符号序列代表符号的符号序列代表一个一个消息消息，而且所发出的各个符号是，而且所发出的各个符号是相互独立相互独立的，各个符号的出现概
2、率的，各个符号的出现概率是它自身先验概率。序列中符号组的长度即为是它自身先验概率。序列中符号组的长度即为扩展次数扩展次数。离散平稳信源离散平稳信源随机矢量中的各随机变量的统计特性都不随随机矢量中的各随机变量的统计特性都不随时间时间推移而变化。推移而变化。1、离散无记忆、离散无记忆二进制二进制信源信源X的二次扩展信源的二次扩展信源每每两两个个二二进进制制数数字字构构成成一一组组，则则新新的的等等效效信信源源X的的输输出出符符号号为为00，01，10，11。若单符号离散信源的数学模型为若单符号离散信源的数学模型为二次扩展信源的数学模型为二次扩展信源的数学模型为其其中中，X2表表示示二二次次扩扩展展
3、信信源源。这这里里，a1=00,a2=01,a3=10,a4=11。且有且有2.2.1无记忆扩展信源的熵无记忆扩展信源的熵2、离散无记忆信源离散无记忆信源X的的N次扩展信源次扩展信源（1）数学模型）数学模型设单符号离散信源的数学模型为设单符号离散信源的数学模型为满足满足则其则其N次扩展信源用次扩展信源用XN来表示，其数学模型为来表示，其数学模型为满足满足每个符号每个符号ai对应于某个有对应于某个有N个个xi组成的序列。组成的序列。在在N次次扩扩展展信信源源XN中中，符符号号序序列列构构成成的的矢矢量量其其各各分分量量之之间间是是彼彼此统计独立的，即此统计独立的，即（2）熵）熵N次扩展信源的熵按
4、信息熵的定义为次扩展信源的熵按信息熵的定义为其单位为其单位为比特比特/符号序列符号序列。H(XN)=H(X1X2XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+H(XN/X1X2XN-1)由由于于无无记记忆忆扩扩展展信信源源的的各各Xi之之间间是是彼彼此此独独立立的的，且且各各个个 H(Xi)=H(X),所以所以H(XN)=H(X1X2XN)=H(X1)+H(X2)+H(X3)+H(XN)=NH(X)单符号信源如下单符号信源如下,求二次扩展信源熵求二次扩展信源熵扩展信源：扩展信源：例例离散平稳信源离散平稳信源各维联合概率均与时间起点各维联合概率均与时间起点无关的完全平稳信源。无关的
5、完全平稳信源。对对于于随随机机变变量量序序列列X=X1X2XN,若若任任意意两两个个不不同同时时刻刻i和和j(大大于于2的的任意整数任意整数)，信源发出消息的概率分布完全相同，即，信源发出消息的概率分布完全相同，即一维平稳信源一维平稳信源P(Xi=x1)=P(Xj=x1)=p(x1)P(Xi=x2)=P(Xj=x2)=p(x2)P(Xi=xn)=P(Xj=xn)=p(xn)2.2.2离散平稳信源的熵离散平稳信源的熵1.定义定义二维平稳信源二维平稳信源P(Xi=x)=P(Xj=x)=p(x)P(Xi=x1,Xi+1=x2)=P(Xj=x1,Xj+1=x2)=p(x1x2)其中其中x1,x2X=(
6、x1,x2,xn)离散平稳信源离散平稳信源P(Xi)=P(Xj)P(XiXi+1)=P(XjXj+1)P(XiXi+1Xi+2Xi+N)=P(Xj Xj+1Xj+2Xj+N)反映信源记忆特性的两方法反映信源记忆特性的两方法：用用联合概率联合概率反映信源记忆特性反映信源记忆特性用用条件概率条件概率反映信源记忆特性反映信源记忆特性122.二二维维信源信源每组中的后一个符号与前一个符号有统计关联关系，而这种概率性每组中的后一个符号与前一个符号有统计关联关系，而这种概率性的关联与时间的起点无关。假定符号序列的的关联与时间的起点无关。假定符号序列的组与组组与组之间是统计独立之间是统计独立的。的。一般地例
7、例原始信源：原始信源：条件概率：条件概率：X1X2H(X1X2)= H(X1)+ H(X2/X1)=1.542+0.870=2.412(比特/符号)3.N维离散平稳有记忆信源维离散平稳有记忆信源(1)熵熵平均符号熵：平均符号熵：平均符号熵：平均符号熵：极限熵：极限熵：极限熵：极限熵：(2)极限熵极限熵（3）性质）性质条件熵条件熵H(XN|X1X2XN-1)随着随着N的增加而递减的增加而递减证明：证明：H(XN|X1X2XN-1)H(XN|X2XN-1)（条件熵小于等于无条件熵）条件熵小于等于无条件熵）=H(XN-1|X1X2XN-2)（序列的平稳性）序列的平稳性）若若N一定，则平均符号熵大于等
8、于条件熵一定，则平均符号熵大于等于条件熵HN(X)H(XN|X1X2XN-1)证明：证明：NHN(X)=H(X1X2XN)=H(X1)+H(X2|X1)+H(XN|X1X2XN-1).=H(XN)+H(XN|XN-1)+H(XN|X1X2XN-1)（序列平稳性）序列平稳性）NH(XN|X1X2XN-1)（条件熵小于等于无条件熵）条件熵小于等于无条件熵）所以所以HN(X)H(XN|X1X2XN-1)平均符号熵也随平均符号熵也随N的增加而递减的增加而递减证明：证明：NHN(X)=H(X1X2XN)=H(XN|X1X2XN-1)+H(X1X2XN-1)=H(XN|X1X2XN-1)+(N-1)HN-
9、1(X)HN(X)+(N-1)HN-1(X)所以所以HN(X)HN-1(X)，即即序序列列的的统统计计约约束束关关系系增增加加时时，由由于于符符号号间间的的相相关关性性，平平均均每每个符号所携带的信息量减少。个符号所携带的信息量减少。如果如果H(X)，则存在则存在，并且，并且作业：2.17 2.18 2.17某一无记忆信源的符号集为某一无记忆信源的符号集为0,1，已知，已知P(0) =1/4，P(1)=3/4。(1)求符号的平均熵；求符号的平均熵；(2)有有100个符号构成的序列，求某一特定序列（例如有个符号构成的序列，求某一特定序列（例如有m个个“0”和（和（100-m）个）个“1”）的自信息量的表达式；）的自信息量的表达式；(3)计算计算(2)中序列的熵。中序列的熵。2.18设有一个信源，它产生设有一个信源，它产生0，1序列的信息。它在任意时间序列的信息。它在任意时间而且不论以前发生过什么符号，均按而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的的概率发出符号。概率发出符号。(1)试问这个信源是否是平稳的？试问这个信源是否是平稳的？(2)试计算试计算H(X2),H(X3/X1X2)及及H；(3)试计算试计算H(X4)并写出并写出X4信源中可能有的所有符号。信源中可能有的所有符号。
