《信息论与编码ch05作业讲解》由会员分享，可在线阅读，更多相关《信息论与编码ch05作业讲解（10页珍藏版）》请在金锄头文库上搜索。
1、2006-9-222第二章 信源熵第二章 信源熵作业题作业题作业题作业题1 12.2.2.2.居住某地区的女孩子有居住某地区的女孩子有居住某地区的女孩子有居住某地区的女孩子有2525是大学生，在女是大学生，在女是大学生，在女是大学生，在女 大学生中有大学生中有大学生中有大学生中有7575是身高是身高是身高是身高160160厘米以上的，而女厘米以上的，而女厘米以上的，而女厘米以上的，而女 孩子中身高孩子中身高孩子中身高孩子中身高160160厘米以上的占总数的一半。假厘米以上的占总数的一半。假厘米以上的占总数的一半。假厘米以上的占总数的一半。假 如我们得知如我们得知如我们得知如我们得知“ “身高身
2、高身高身高160160厘米以上的某女孩是大厘米以上的某女孩是大厘米以上的某女孩是大厘米以上的某女孩是大 学生学生学生学生” ”的消息，问获得多少信息量。的消息，问获得多少信息量。的消息，问获得多少信息量。的消息，问获得多少信息量。2006-9-223第二章 信源熵第二章 信源熵作业题作业题作业题作业题1 1解答：解答：解答：解答：设设设设A A表示表示表示表示“ “大学生大学生大学生大学生” ”这一事件，这一事件，这一事件，这一事件，B B表示表示表示表示“ “身身身身 高高高高1.601.60米以上米以上米以上米以上” ”这一事件，它们出现的概率为这一事件，它们出现的概率为这一事件，它们出现
3、的概率为这一事件，它们出现的概率为22( )0.25( )0.5(/)0.75 ()( ) (/)0.75 0.25(/)0.375( )( )0.5 (/)log(/)log 0.3751.42p Ap Bp B A P ABP A p B AP A BP BP B I A BP A Bbit= = = =2006-9-224第二章 信源熵第二章 信源熵作业题作业题作业题作业题2 22.3.2.3.一幅充分洗乱了的牌（含一幅充分洗乱了的牌（含一幅充分洗乱了的牌（含一幅充分洗乱了的牌（含5252张牌），试问张牌），试问张牌），试问张牌），试问 (1) (1) 任一特定排列所给出的信息量是多少？
4、任一特定排列所给出的信息量是多少？任一特定排列所给出的信息量是多少？任一特定排列所给出的信息量是多少？ (2) (2) 若从中抽取若从中抽取若从中抽取若从中抽取1313张牌，所给出的点数都不相同张牌，所给出的点数都不相同张牌，所给出的点数都不相同张牌，所给出的点数都不相同 能得到多少信息量？能得到多少信息量？能得到多少信息量？能得到多少信息量？2006-9-225第二章 信源熵第二章 信源熵作业题作业题作业题作业题2 2解答解答解答解答： (1)(1)任意排列共有任意排列共有任意排列共有任意排列共有种，则任一排列的自信息量种，则任一排列的自信息量种，则任一排列的自信息量种，则任一排列的自信息量
5、 为：为：为：为：(2)(2)应将点数相同花色不同的牌看作一类，则任意抽取应将点数相同花色不同的牌看作一类，则任意抽取应将点数相同花色不同的牌看作一类，则任意抽取应将点数相同花色不同的牌看作一类，则任意抽取 的的的的1313张牌应在张牌应在张牌应在张牌应在1313类中分别进行。其概率为类中分别进行。其概率为类中分别进行。其概率为类中分别进行。其概率为信息量为：信息量为：信息量为：信息量为：52 5252!P=22log (1/52!)log 52!225.58bit=1313 524pC=13213 524log13.21bitC=2006-9-226第二章 信源熵第二章 信源熵MATLAB
6、function?factorial(N), for scalar N, is the product of all the integers from 1 to N, i.e. prod(1:n). When N is an N- dimensional array, factorial(N) is the factorial for each element of N. ?C = nchoosek(n,k) where n and k are nonnegative integers, This is the number of combinations of n things taken
7、 k at a time.?E = entropy(I) returns E, a scalar value representing the entropy of grayscale image I. Entropy is a statistical measure of randomness that can be used to characterize the texture of the input image. 2006-9-227第二章 信源熵第二章 信源熵作业题作业题作业题作业题3 32.3.2.3.设离散无记忆信源，其设离散无记忆信源，其设离散无记忆信源，其设离散无记忆信源，
8、其 发出的消息为发出的消息为发出的消息为发出的消息为 (202120130213001203210110321010021032011223(202120130213001203210110321010021032011223 210)210) 1. 1.此消息的自信息量是多少？此消息的自信息量是多少？此消息的自信息量是多少？此消息的自信息量是多少？ 2. 2.在此消息中平均每个符号携带的信息量是多在此消息中平均每个符号携带的信息量是多在此消息中平均每个符号携带的信息量是多在此消息中平均每个符号携带的信息量是多 少？少？少？少？12340123()3/81/41/41/8XxxxxP X=20
9、06-9-228第二章 信源熵第二章 信源熵作业题作业题作业题作业题3 3解答解答解答解答： (1)(1)对于离散无记忆信源对于离散无记忆信源对于离散无记忆信源对于离散无记忆信源此消息中总共有此消息中总共有此消息中总共有此消息中总共有4545个符号个符号个符号个符号1414个个个个“ “0 0” ”，1313个个个个“ “1 1” ”，1212个个个个“ “2 2” ”，6 6个个个个“ “3 3” ”， 因此总的信息量为因此总的信息量为因此总的信息量为因此总的信息量为(2)(2)此消息中总共有此消息中总共有此消息中总共有此消息中总共有4545个符号，携带个符号，携带个符号，携带个符号，携带8
10、7.8187.81比特信息量，则此消息中平比特信息量，则此消息中平比特信息量，则此消息中平比特信息量，则此消息中平 均每个符号携带的信息量为均每个符号携带的信息量为均每个符号携带的信息量为均每个符号携带的信息量为12223242(0)log (3/8)1.415(1)log (1/4)2(2)log (1/4)2(3)log (1/8)3I xbitI xbitI xbitI xbit= = = = =123414 (0) 13 (1) 12 (2)6 (3)87.81II xI xI xI xbit=+=+=+=/451.95IIbit =2006-9-229第二章 信源熵第二章 信源熵作业
11、题作业题作业题作业题3 3进一步思考进一步思考进一步思考进一步思考 第第第第(2)(2)问求出的平均每个符号携带的信息量，并不完全等于该离散无记问求出的平均每个符号携带的信息量，并不完全等于该离散无记问求出的平均每个符号携带的信息量，并不完全等于该离散无记问求出的平均每个符号携带的信息量，并不完全等于该离散无记 忆信源平均每个符号携带的信息量，即信源熵，忆信源平均每个符号携带的信息量，即信源熵，忆信源平均每个符号携带的信息量，即信源熵，忆信源平均每个符号携带的信息量，即信源熵，H(X)H(X)与与与与只是近似相等，不是完全相同。原因是只是近似相等，不是完全相同。原因是只是近似相等，不是完全相同
12、。原因是只是近似相等，不是完全相同。原因是是在此特定的消是在此特定的消是在此特定的消是在此特定的消 息中求得的，此特定消息中各符号出现的概率并不完全等于信源息中求得的，此特定消息中各符号出现的概率并不完全等于信源息中求得的，此特定消息中各符号出现的概率并不完全等于信源息中求得的，此特定消息中各符号出现的概率并不完全等于信源X X 中各符号的概率，所以存在差异。由此可进一步理解，信源的信息中各符号的概率，所以存在差异。由此可进一步理解，信源的信息中各符号的概率，所以存在差异。由此可进一步理解，信源的信息中各符号的概率，所以存在差异。由此可进一步理解，信源的信息 熵是一统计量，是表征信源的总体测度
13、信息的。熵是一统计量，是表征信源的总体测度信息的。熵是一统计量，是表征信源的总体测度信息的。熵是一统计量，是表征信源的总体测度信息的。42 1()( )log( )1.906/ii iH Xp xp xbit symbol= II2006-9-2210第二章 信源熵第二章 信源熵作业题作业题作业题作业题4 41234562,()0.20.190.180.170.160.17()log 6XxxxxxxP XH X= 2.6设信源求这信源的熵，并解释为什么不满足信源熵的极值性。2006-9-2211第二章 信源熵第二章 信源熵作业题作业题作业题作业题4 462 122222261()( )log( )0.2log 0.20.19log 0.190.18log 0.182(0.17log 0.17)0.16log 0.162.66(/)log 62.58( )0.20.190.180.170.160.171.071ii ii iH Xp xp xbit symbolp x= = +=+=解答：概率空间不满足归一化不满足最大离散熵定理
