《信息科学基础讲义三卷》由会员分享，可在线阅读，更多相关《信息科学基础讲义三卷（109页珍藏版）》请在金锄头文库上搜索。
1、1周次：第 5 次时间：2007 年 9 月 18 日章节：第 2 章 信息的统计度量 P1431作业：2.10，2.15，2.17，2.18提纲：三、熵1. 定义2. 含义3. 联合、条件4. 性质1) 非负性2) 对称性3) 确定性4) 扩展性5) 最大熵定理6) 可加性7) 强可加性8) 极值性9) 上凸性10) 递增性2诸位同学，大家上午好！咱们开始上课，在开始新的内容之前，按照惯例咱们先把上次课的内容复习一下。上次课的内容是第二章信息的统计度量，讲了一个大问题？是什么？（互信息量）大家需要掌握的问题有这样几个。1、流经信道的信息量是如何度量的？2、互信息量的公式是什么？3、互信息量的
2、含义是什么？4、互信息量的三个表达形式是什么？5、联合互信息量和条件互信息量的公式分别是什么？6、互信息量的性质分别是什么？分别说明它们的含义。好，这些问题都是上次课的重点内容，希望大家能够掌握。咱们开始今天的内容。前面课程讲到了自信息量，它是信源发出某个符号所携带的信息量大小，信源各个符号的概率不同，因此每个符号所携带的信息量大小怎么样？也各不相同。因此自信息量也是一个随机变量，随着信源发出符号的不同而变化。现在我们想要找到一个能够对信源信息量进行整体度量的方法，而不是仅考虑单个符号的信息量。也就是说，我们要解决的问题是：从整体上信源有多少不确定度或者多少信息量。这样我们就可以针对不同概率分
3、布的信源，从总体上对它们的信息量进行比较。请问，这个问题怎么解决？你们有类似的经验吗？举一个例子，假设有两个班，学生数不一定相同，每位学生的信息论期末成绩可能各不相同。要从整体上比较这两个班的考试成绩，应该怎么办？一个学生、一个学生的比显然比不出来，人数还不一样多。怎么比？对，用平均成绩的办法进行比较。同样道理对信源信息量大小进行整体度量也用平均信息量的概念，也就是熵 entropy。只是对于这个平均数的计算，我们需要特别说明一下。大家接触比较多的就像计算平均成绩一样，先把各个分量求总和，然后除以总数，这称为算术平均数。公式：nx.xxxnxnnii211如果随机变量的 n 个取值，且都是等概
4、率出现的。算术平均数可以反映整体状况，如果 n 个取值的概率不同，我们应该把概率考虑进去，这个时候平均数等于每个分量乘以它的概率再求和，称为加权平均数，或者随机变量的数学期望。公式：)p(xx.)p(xx)p(xx)p(xxE(X)nnniii2211你会看到算术平均数其实是加权平均数的特例，当随机变量等概率分布时，算术平/n)p(xi1课前回顾。引题信息量如何从整体上度量3均数与加权平均数相等。我们对信源计算信息量的时候就使用加权平均数，一定要考虑符号的概率，我们知道概率小的信息量大，但是由于概率小，它起的作用也小。下面我们给出熵的定义： iiiiiii)p(x)p(x)I(xp(x)I(x
5、EH(X)log 注意：熵就是信源符号的平均信息量。公式里负号是自信息量带的符号，是求和运算符号，是 n 项求和，其中求和的每一项都是概率乘以概率的对数，n 项求和的展开式iii)p(x)p(xlog为：。)p(x)p(x.)p(x)p(x)p(x)p(xnnlogloglog2211我们再明确一下熵的含义：熵是信源符号的平均信息量，是信源符号的平均不确定度，是信源概率分布的整体描述。给定信源概率分布后，信源熵是一个固定的常数，因此可以作为信源整体信息量的度量。熵的单位与自信息量单位一致，对数的底数不同单位不同。好，关于熵的定义和公式我们就讲这么多。大家需要记住熵的公式，而且需要理解熵的含义，
6、熵的含义是什么？大家说说看。熵是信源符号的平均信息量，是信源符号的平均不确定度，是信源概率分布的整体描述。好，下面咱们做几个例题，来练习一下熵的公式。例 1：某地二月份天气的概率分布统计如下： 8/18/1)()(4/12/1)()( )(4321雪雨阴晴xxxx XPX计算信源的平均信息量。解：bit.)p(x)p(xH(X)iii751 81log81 81log81 41log41 21log21log例 2：电视屏上约有个格点，按每点有 10 个不同的灰度等级考虑，则功能5103600500组成个不同的画面。按等概率计算，平均每个画面可提供的信息量是多少？另外，有一篇千字510310文
7、章，假定每字可从万字表中任选，则共有篇不同的千字文，仍按照等概率计算，400010001010000平均每篇千字文可提供的信息量是多少？定义熵说明熵函数含义例题4解：bit)p(x)p(x(X)Hiii65103110322. 310310log log5bit)p(x)p(x(X)Hiii4340002103 . 1322. 310410log log请问，这两个信息量那个比较大？画面的信息量比较大。在日常生活中人们经常会说一句话，叫做“一图胜千文” 。这种说法在这个例子中从信息论的角度给与了证明，它确实是成立的。例 3：一个布袋内放 100 个球，其中 80 个球是红色的，20 个是白色的
8、，若随即摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量，以及平均信息量。 2 . 08 . 0)(21xxXPX解：bit.)p(x)p(xH(X)bitxp)I(xbitxp)I(xiii2270)20log2080log80( log322. 22 . 0log)(log322. 08 . 0log)(log2211如果在熵的公式中再引入一个随机变量。两个随机变量之间有联合和条件的关系，在这种情况下就有联合熵和条件熵的概念。它们与熵的本质没有区别，都是平均不确定度的度量，因此联合熵就是联合自信息量的平均值，而条件熵就是条件自信息量的平均值。这里分别给出它们的公式，注意公式中的差别
9、。联合熵： ijjijiji)yp(x)yp(x)yI(xEH(XY)log条件熵： ijjijiji)yp(x)yp(x)yI(xEY)H(X/log/注意：又称为信道疑义度，表示收到后，对随机变量仍然存在不确定度，这是Y)H(X /YX关于的后验不确定度。它又代表信源信息量在信道上的损失大小，因此又称为损失熵。YX又称为噪声熵，表示发出随机变量后，对随机变量仍然存在的不确定度。如果信X)H(Y /XY5道中没有噪声，发送端和接收端比存在确定的对应关系，发出后必能确定对应的，现在不能完全XY确定对应的，这显然是由于噪声引起的，因此又称为噪声熵。YX)H(Y /针对这个联合和条件熵，我们做一个
10、例题。例 4：已知，XY 构成的联合概率为： ，1 , 0,YX)p()p(1100 8/1，计算条件熵。 （联合熵？）8/31001)p()p(Y)H(X /解：bit)yp(x)yp(xH(XY)bit)yp(x)yp(xY)H(X/)/p(yyp(x)/yp(x/)/p(yyp(x)/yp(x/)/p(yyp(x)/yp(x/)/p(yyp(x)/yp(x/)yp(x)yp(x)p(y/)yp(x)yp(x)p(yijjijiijjiji811. 183log83 81log812 log406. 041log81 43log83 43log83 41log81/log/41434341
11、2181831110121838110000222222212111212111112221212111到目前为止，我们已经了解了熵的定义和含义，并且通过例题对这些公式进行了练习。下面我们介绍熵函数的性质，来加深对熵的理解。熵函数总共有十个性质，分别是非负性、对称性、确定性、扩展性、最大熵定理、可加性、强可加性、极值性、上凸性、递增性。下面我们分别介绍一下这十个性质。性质：(1) 非负性 0H(X)含义：信源每个符号的信息量，是什么？是自信息量，我们知道自信息量是非负的，也就是说不论信源符号概率大小，它的信息量都是正的，那么请问，这些符号信息量的平均值是非负的吗？当然是了。道理上容易理解，大家
12、能够给出数学证明吗？下面我们给出严格的证明。证明：性质熵函数600 )I(x)p(x)I(xp(x)I(xEH(X)iiiiiiQQ00 iiiii )I(xp(xH(X)I(xp(x(2) 对称性含义：这个对称性和互信息量的对称性名称相同，但内涵不同，大家需要引起注意，不要搞混淆。熵是描述信源整体不确定度的，交换信源中若干个符号的概率，只影响这些符号的自信息量大小，但是不影响熵的大小，也就是说信源整体的不确定度不变。例如： 8/18/14/12/1)(4321xxxx XPX 8/12/14/18/14321yyyy P(Y)Y信源 Y 的概率分布，是对信源 X 的概率分布中两个符号的概率交
13、换得到的。因此，符号和1x符号的自信息量有变化，但是两个信源的熵一样。大家能看出来吗？因为，这种交换在求和公式里，3x只改变求和运算的顺序，对结果没有影响。证明：无(3) 确定性 000100101),.,H(.),H(),H(含义：一个信源不论有多少个符号，只要有一个符号的概率是 1，其它符号的概率多少？当然其它符号的概率必然为 0，这个信源的熵一定为 0。也就是说这个信源是一个确定信源，没有不确定度，自然平均不确定度也就是平均信息量为 0。特别说明一下： 当时，则1)p(xi0)I(xi0)I(xp(xii当时，则0)p(xi)I(xi0)I(xp(xii大家可以去验证一下。证明：无(4)
14、 扩展性 ),.,p,p(pH,.,p,p(pHnnnn212110)lim含义：有 n 个符号的信源，增加一个概率非常小的符号，当这个新增符号的概率趋于 0 时，信源熵不变。也就是说，新增的符号对信源不确定度没有任何贡献。证明：7 对分子分母求导数型极限，用洛比塔法则其中：0loglim1log1lim1loglimloglim)log.loglogloglimlog.loglogloglim)log()(lim.loglimloglim)lim20 22000212211022110011002110ee,.,p,p(pHpppppppppppppppp)p(x)p(x,.,p,p(pHn
15、nnnnnnniiinn(5) 最大熵定理 nH(X)log含义：含有 n 个符号的信源，虽然包含的符号个数相同，但概率分布不同，则熵不同。当信源符号等概率分布时，熵最大，也就是不确定度最大。请问信源有 4 个符号，最大熵是多少？/n)p(xi1信源概率如何分布？8 个符号呢？256 个符号呢？证明：nH(X)p(xn)np(x)p(x)np(x)p(xn)p(x)p(x)p(xn)p(x)p(xnH(X)ii iiiiiiiii iiiiiilog01111log log1log logloglog等号成立的条件：信源符号等概率分布n)p(x)np(xii 111不等式证明的技巧：在这里我们提
