《新版精选联合熵与条件熵必备》由会员分享，可在线阅读，更多相关《新版精选联合熵与条件熵必备（17页珍藏版）》请在金锄头文库上搜索。
1、本资料来源于网络 如有重复请联系本尊删除联合熵与条件熵第6讲联合熵与条件熵信息熵H(X)反映了随机变量X的取值不确定性。当X是常量时，其信息熵最小，等于0；当X有n个取值时，当且仅当这些取值的机会均等时，信息熵H(X)最大，等于logn比特。我们拓展信息熵H(X)的概念，考虑两个随机变量X和Y的联合熵H(XY)和条件熵H(Y|X)。1.联合熵设X，Y是两个随机变量，则(X,Y)是二维随机变量，简写为XY。二维随机变量XY的联合概率分布记为p(xy)，即()Pr,pxyXxYy=根据信息熵的定义可知，XY的信息熵为,1()()()()log()xyxyHXYpxyIxypxypxy=定义二维随机
2、变量XY的信息熵H(XY)称为X与Y的联合熵（jointentropy）。它反映了二维随机变量XY的取值不确定性。我们把它理解为X和Y取值的总的不确定性。练习：假设有甲乙两只箱子，每个箱子里都存放着100个球。甲里面有红蓝色球各50个，乙里面红、蓝色的球分别为99个和1个。试计算H(XY)我们将联合熵概念推广到任意多离散型随机变量上。定义一组随机变量12,NXXXL的联合熵定义为121212,12()()()NNNNxxxHXXpxxxIxXxx=LLLL注：为了简化记号，我们有时把12NXXXL记为XN，把12NxxxL记为xN。物理意义：（1）12()NXHXXL是这一组随机变量平均每一批
3、取值1212,NNxXxXXx=L所传递的信息量。（2）若N-维随机变量12NXXXL表示某信源产生的任意一条长度为N的消息，则12()NXHXXL是平均每条长度为N的消息的信息量。因此，若该信源产生一个长度为N的消息，则在不知道其它条件的情况下，对该消息所含信息量的最优估计为N-维信息熵12()NXHXXL。联合熵的性质：联合熵熵函数的一种特殊形式，所以熵函数的任何数学性质都适用于联合熵，包括：非负性、可加性、严格上凸性和最大离散熵原理，等等。当然，联合熵还有自己的特殊性质。定理（联合熵的独立界）2121()()()()NNHXXHXHXHXX+LL其中等号成立的充要条件是所有随机变量相互独
4、立。证明：这里仅证明()()()HYXXHHY+，一般情形可类似证明。设对于XY的联合分布为p(xy)，X和Y的概率分布简记为p(x)，p(y)。由于()()()(),yxpxpxypypxy=我们有()(),-=log()()xypxxxpyypyp左右注意，()()pxpy构成一个概率分布。应用信息不等式可得()(),()0()logxypxpypxpxyy其中等号成立的充要条件是()()()pxypxpy=，即X与Y相互独立。证毕2.条件熵条件自信息：1(|)log(|)Iyxpyx=对于任何取值x，|YXx=是一个带条件的随机变量，其信息熵为(|)(|)log(|)yHYXxpyxpy
5、x=-再对所有x求熵的平均值可得如下条件熵：定义设X,Y是两个离散型随机变量，联合分布为p(xy)。X相对于Y的条件熵H(X|Y)定义为条件自信息I(X|Y)的期望，即,(|)()(|)xyHXYpxyIxy=物理意义：H(X|Y)表示在已知Y取值的前提下，X取值的不确定性，亦即X的每个取值平均所提供的与Y无关的信息量。定理（条件熵非负性）对于任何离散型随机变量X与Y，都有H(Y|X)0，其中等号成立当且仅当Y是X的函数，即X的取值可确定Y的取值。证明根据定义,(|)()log(|)0xyHYXpxypyx=-由于上述加式中各加项都0，所以该加式=0的充要条件是各加项=0，即对于任何x和y，p
6、(y|x)=1或者p(y|x)=0，亦即对于任何x，P(Y|x)是退化分布。这表明当X的取值确定时，Y的取值随即确定，即Y是X的函数。证毕定理（熵的链法则）对于随机变量序列X1,X2,和任何N1112111()()(|)(|)NNNHXXHXHXXHXXX-=+LLL简记为12?()NNHXHHH=+?+其中H1=H(X1)，H2=H(X2|X1)，HN=H(XN|X1X2XN-1)。证明：首先根据定义直接可得H(XY)=H(X)+H(Y|X)应用上述等式，对N用归纳法可证明熵的链法则。细节略。证毕意义：将多个随机变量的联合熵转化为这些随机变量的条件熵之和，可简化计算。注：链法则与熵的可加性是
7、等价的。思考：下列不等式是否成立，其中各等号成立的充要条件是什么？112123()()()HXHXXHXXX这个性质说明什么？请读者尝试命名该性质。定理（条件熵递减性）对于任何随机变量X和Y，有H(Y|X)H(Y)其中等号成立的充要条件是Y与X相互独立。证明一：根据链法则，H(XY)=H(X)+H(Y|X)再根据联合熵的独立界定理，立刻可得H(Y|X)H(Y)其中等号成立的充要条件是X与Y统计独立。证毕在条件熵中，条件越少，熵值越大。相反，条件越多，熵值越小。这可理解为，我们知道的越多，则事物的不确定性越小。证明二：应用Jessen不等式证明。证毕3.计算公式令X，Y为离散的随机变量。公式1.
8、(|)()()HYXHXYHX=-公式2.(|)()(|)HYXPXHPYX=其中P(X)是X的概率分布，为行向量，P(Y|X)是X到Y的条件概率矩阵，(|)HPYX是条件概率矩阵中各个行分布(|)PYx的熵(|)HYx所组成的列向量。证明：,(|)()log(|)()(|)log(|)()(|)log(|)()(|)()(|)xyxyxyxHYXpxypyxpxpyxpyxpxpyxpyxpxHYxPXHPYX=证毕例设()(0.4,0.6)PX=且0.960.04(|)0.040.96PYX?=?则(|)()(|)0.960.04(0.4,0.6)()0.040.96(0.96,0.04)
9、(0.4,0.6)(0.04,0.96)(0.96,0.04)HYXPXHPYXHHHH=?=?=?=记号：以后对于任何N，我们将N维随机向量X1,X2,XN简记为XN。注：上述条件熵概念可以推广到多个随机变量熵，例如H(Y|X1X2XN)是在已知随机向量X1,X2,XN取值的前提下，随机变量Y的不确定性，亦即Y的每个取值可以提供的与X1,X2,XN取值无关的新信息量。练习设p(xy)如下表所示。试计算(1)H(XY)(2)H(X),H(Y)(3)H(X|Y),H(Y|X)练习已知平均100人中有2人患有某种疾病，为了查明病情，必须进行某项指标的化验。这种化验的结果对于有病的人总是阳性的，对于
10、健康的人来说有一半可能为阳性、一半可能为阴性。若X表示一个人是否罹患这种疾病，Y表示其化验结果是否为阳性，试计算H(XY)。作业51.范九伦等所着教材第38页习题（三）设X和Y的联合分布(,)uxy由下表给出：.试计算(),(),(),(|),(|),(;)HXHYHXYHYXHXYIXY2.设一个信源有6种信号，先后输出的信号是独立同分布的，其概率分布为(1/2,1/4,1/8,1/16,1/32,1/32)（1）该信源输出1个符号所提供的平均信息量。（2）该信源输出100个符号所提供的平均信息量。3.在一段时间内，某城市交通的忙闲天数按天气阴晴和气温冷暖进行分类统计如下：（1）计算交通忙闲状态的无条件熵。（2）计算天气和气温状态下的条件熵。（3）计算从天气和气温状态所获得的关于交通状态的信息。4.世界职业棒球锦标赛为7场赛制，只要其中一队赢得4场，比赛就结束。设随机变量X代表在比赛中A队和B队较量的可能结果。X的可能取值为AAAA，BABABAB和BBBAAAA，其中A,B分别表示A队和B对获胜。设Y代表比赛的场数，取值范围为4到7。假设A队和B队是同等水平的，且每场比赛相互独立。试计算H(X)，H(Y),H(Y|X)和H(X|Y)。晴阴暖8天忙冷27天暖16天晴阴暖15天闲冷4天暖12天冷12天冷8天17
