《信息论与编码理论习习题答案全解》由会员分享，可在线阅读，更多相关《信息论与编码理论习习题答案全解（31页珍藏版）》请在金锄头文库上搜索。
1、第二章 信息量和熵 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此 每个码字的信息量为 2=23=6 bit 因此，信息速率为 61000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。 解：(1) 可能的组合为 1，6,2，5,3，4,4，3,5，2,6，1=得到的信息量 = bit (2) 可能的唯一，为 6，6 = 得到的信息量= bit 经过充分洗牌后的一副扑克（52张），问：(a) 任何一种特定的排列所给出的信息量是多少(b) 若从中抽取13张牌，所给出
2、的点数都不相同时得到多少信息量解：(a) = 信息量= bit (b) = 信息量= bit 随机掷3颗骰子，X表示第一颗骰子的结果，Y表示第一和第二颗骰子的点数之和，Z表示3颗骰子的点数之和，试求、。 解：令第一第二第三颗骰子的结果分别为，相互独立，则， =6= bit = =2(36+18+12+9+)+6 = bit =-=- 而=，所以= 2-= bit 或=-=+- 而= ，所以=2-= bit= bit=+=+= bit 设一个系统传送10个数字，0，1，9。奇数在传送过程中以的概率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解：=-因为输入等概，由信道条件可
3、知，即输出等概，则=10= =- =0- = - =25+845 =1 bit=-=10 -1=5= bit 令为一等概消息集，各消息相应被编成下述二元码字 =0000，=0011，=0101，=0110，=1001，=1010，=1100，=1111通过转移概率为p的BSC传送。求：(a)接收到的第一个数字0与之间的互信息量。(b)接收到的前二个数字00与之间的互信息量。(c)接收到的前三个数字000与之间的互信息量。(d)接收到的前四个数字0000与之间的互信息量。解：即， =+= =1+ bit = = bit = =31+ bit = = bit 计算习题中、。解：根据题分析=2(+)
4、 = bit =-=-= bit =-=-= bit =-=-= bit =-=-= bit =-=-=0 bit 对于任意概率事件集X,Y,Z，证明下述关系式成立 (a)+，给出等号成立的条件 (b)=+ (c) 证明：(b) =- =- =- =+ (c) =- =- - =- = 当=，即X给定条件下，Y与Z相互独立时等号成立 (a) 上式(c)左右两边加上，可得+于是+ 令概率空间，令Y是连续随机变量。已知条件概率密度为 ，求： (a)Y的概率密度 (b) (c) 若对Y做如下硬判决 求，并对结果进行解释。 解：(a) 由已知，可得= = =+ = (b) = bit = = =2 b
5、it =-= bit (c) 由可得到V的分布律V-101p1/41/21/4 再由可知V-101p(V|x=-1)1/21/20p(V|x=1)01/21/2 bit =1 bit = bit 令和是同一事件集U上的两个概率分布，相应的熵分别为和。 (a)对于，证明=+是概率分布 (b)是相应于分布的熵，试证明+ 证明：(a) 由于和是同一事件集U上的两个概率分布，于是0，0 =1，=1 又，则=+0 =+=1 因此，是概率分布。 (b) = = （引理2） =+第三章 信源编码离散信源无失真编码 试证明长为的元等长码至多有个码字。证：在元码树上，第一点节点有个，第二级有，每个节点对应一个码
6、字，若最长码有，则函数有=，此时，所有码字对应码树中的所有节点。码长为1的个；码长为2的个，码长为的个总共=个 设有一离散无记忆信源。若对其输出的长为100的事件序列中含有两个或者少于两个的序列提供不同的码字。 (a) 在等长编码下，求二元码的最短码长。 (b) 求错误概率（误组率）。解: (a)不含的序列 1个长为100的序列中含有1个的序列 =100个 长为100的序列中含有2个的序列 =4950个 所需提供码的总数M=1+100+4950=5051于是采用二元等长编码 =，故取=13(b)当长度为100的序列中含有两个或更多的时出现错误，因此错误概率为=-= 设有一离散无记忆信源，U=，
7、其熵为。考察其长为的输出序列，当时满足下式(a)在=，=下求(b)在=，=下求(c)令是序列的集合，其中 试求L=时情况(a)(b)下，T中元素个数的上下限。解：= bit =-= =则根据契比雪夫大数定理(a) =1884(b) =(c) 由条件可知为典型序列，若设元素个数为，则根据定理其中，可知 (i) ， 下边界： 上边界：= 故 (ii) ， =故 对于有4字母的离散无记忆信源有两个码A和码B，参看题表。字母概率码A码Ba111a20110a3001100a400011000(a) 各码是否满足异字头条件是否为唯一可译码(b) 当收到1时得到多少关于字母a的信息(c) 当收到1时得到多
8、少关于信源的平均信息解：码A是异头字码，而B为逗点码，都是唯一可译码。码A bit码B bit码A U= = bit 码B =0 bit（收到1后，只知道它是码字开头，不能得到关于U的信息。） 令离散无记忆信源(a) 求最佳二元码,计算平均码长和编码效率。(b) 求最佳三元码,计算平均码长和编码效率。解：(a) = bit平均码长 =效率 (b)平均码长 =效率 令离散无记忆信源 (a) 求对U的最佳二元码、平均码长和编码效率。(b) 求对U的最佳二元码、平均码长和编码效率。(c) 求对U的最佳二元码、平均码长和编码效率。 解：(a)=1+2+2= bit (b) 离散无记忆 H(UU)=2H
9、(U)= bitp(aa)=, p(aa)=, p(aa)=, p(aa)=, p(aa)= p(aa)=, p(aa)=, p(aa)=, p(aa)=(c) 有关最佳二元类似 略 令离散无记忆信源且0P(a)P(a). P(a)1，而Q1=0，今按下述方法进行二元编码。消息a的码字为实数Q的二元数字表示序列的截短（例如1/2的二元数字表示序列为1/210000，1/40100）,保留的截短序列长度n是大于或等于I(a)的最小整数。(a) 对信源构造码。(b) 证明上述编码法得到的码满足异字头条件，且平均码长满足H(U)H(U)+1。解：(a)符号QiLC040000400014001040
10、011401003011210211 (b) 反证法证明异字头条件令kk，若是的字头，则又由可知， 从而得 这与假设是的字头（即）相矛盾，故满足异字头条件。由已知可得对不等号两边取概率平均可得即 扩展源DMC，(a)求对U的最佳二元码、平均码长和编码效率。(b)求对U的最佳二元码、平均码长和编码效率。(c)求对U的最佳二元码、平均码长和编码效率。(d)求对U的最佳二元码、平均码长和编码效率。解：(a) ，=1，=1 bit(b) DMC信道，(c)= =%(d) 略 设离散无记忆信源 试求其二元和三元Huffman编码。解： 设信源有K个等概的字母,其中K=,12。今用Huffman编码法进行
11、二元编码。（a）是否存在有长度不为j或j+1的码字，为什么（b）利用和j表示长为j+1的码字数目。（c）码的平均长度是多少 解：Huffman思想：将概率小的用长码，大的用短码，保证，当等概时，趋于等长码。a) 对时，K=2j，则用长度为j码表示；当时，用K=2j+1，用长度为j+1码表示。平均码长最短，则当12时，则介于两者之间，即只存在j，j+1长的码字。b) 设长为j的码字个数为Nj，长度为j+1的码字数目为Nj+1，根据二元Huffman编码思想（必定占满整个码树），即从而，c） = 设二元信源的字母概率为，。若信源输出序列为 1011 0111 1011 0111 (a) 对其进行算术编码并进行计算编码效率。 (b) 对其进行LZ编码并计
