《信息论习题.doc》由会员分享，可在线阅读，更多相关《信息论习题.doc（10页珍藏版）》请在金锄头文库上搜索。
1、。信息理论基础习题集【考前必看】一、 判断：1、 必然事件和不可能事件的自信息量都是0 。2、 自信息量是的单调递减函数。3、 单符号离散信源的自信息和信源熵都具有非负性。4、 单符号离散信源的自信息和信源熵都是一个确定值。5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的6、自信息量、条件自信息量和联合自信息量之间有如下关系： 7、自信息量、条件自信息量和互信息量之间有如下关系： 8、当随机变量X和Y相互独立时，条件熵等于信源熵。9、当随机变量X和Y相互独立时，I（X；Y）=H（X） 。10、信源熵具有严格的下凸性。11、平均互信息量I（X；Y）对于信源概率分布p（xi）和
2、条件概率分布p（yj/xi）都具有凸函数性。 12、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。 13、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。 14、定长编码的效率一般小于不定长编码的效率。 15、信道容量C是I（X；Y）关于p（xi）的条件极大值。 16、离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。 17、信道无失真传递信息的条件是信息率小于信道容量。18、最大信息传输速率，即：选择某一信源的概率分布（p（xi），使信道所能传送的信息率的最大值。 19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的
3、不确定性就越小，获得的信息量就越小。 20、率失真函数对允许的平均失真度具有上凸性。21、信源编码是提高通信有效性为目的的编码。 22、信源编码通常是通过压缩信源的冗余度来实现的。 23、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。 24、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。 25、在编m（m2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。 26、对于BSC信道，信道编码应当是一对一的编码，因此，消息m的长度等于码字c的长度。 27、汉明码是一种线性分组码。28、 循环码也是一种线性分组码。 29、 卷积码是一种特殊的线性分组码。 30
4、、 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ）31、线性码一定包含全零码。 （ ）32、确定性信源的熵H(0,0,0,1)=1。 （ ） 33、信源X的概率分布为P(X)=1/2, 1/3, 1/6，对其进行哈夫曼编码得到的码是唯一的。 （ ）34、离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。 （ ）35、非奇异的定长码一定是唯一可译码。 （ ）36、信息率失真函数R(D)是在平均失真不超过给定失真限度D的条件下，信息率容许压缩的最小值。 （ ）37、信源X的概率分布为P(X)=1/2, 1/3, 1/6，信源Y的概率分布为P(Y)=1/3,1/2,1/6，则
5、信源X和Y的熵相等。 （ ） 38、互信息量I(X;Y)表示收到Y后仍对信源X的不确定度。 （ ）39、对信源符号X=a1,a2,a3,a4进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。 （ ） 40、设C = 000000, 001011, 010110, 011101, 100111, 101100, 110001, 111010是一个二元线性分组码，则该码最多能检测出3个随机错误。 （ ）二、选择题（共10 分，每题2分）1.下面表达式中正确的是（ ）。A. B.C. D.4.线性分组码不具有的性质是（ ）
6、。A.任意多个码字的线性组合仍是码字B.最小汉明距离等于最小非0重量C.最小汉明距离为3D.任一码字和其校验矩阵的乘积cmHT=05.率失真函数的下限为（ ）。A .H(U) B.0 C.I(U; V) D.没有下限6.纠错编码中，下列哪种措施不能减小差错概率（ ）。A. 增大信道容量 B. 增大码长 C. 减小码率 D. 减小带宽7.一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出的信息量（
7、）。A. 0bit B. log6bit C. 6bit D. log240bit8.下列陈述中，不正确的是（ ）。A.离散无记忆信道中，H（Y）是输入概率向量的凸函数B.满足格拉夫特不等式的码字为惟一可译码C.一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、纠错能力越强D.满足格拉夫特不等式的信源是惟一可译码10.下列离散信源，熵最大的是（ ）。A. H（1/3,1/3,1/3）； B. H（1/2,1/2）； C. H（0.9,0.1）； D. H（1/2,1/4,1/8,1/8)11.下列不属于消息的是（ ）。A.文字 B.信号 C.图像 D.语言12.为提高通信
8、系统传输消息有效性，信源编码采用的方法是（ ）。A.压缩信源的冗余度 B.在信息比特中适当加入冗余比特C.研究码的生成矩阵 D.对多组信息进行交织处理13.最大似然译码等价于最大后验概率译码的条件是（ ）。A.离散无记忆信道 B.无错编码 C.无扰信道 D.消息先验等概14.下列说法正确的是（ ）。A.等重码是线性码 B.码的生成矩阵唯一C.码的最小汉明距离等于码的最小非0重量 D.线性分组码中包含一个全0码字15.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0:一个0发出 u1:一个1发出 v0 :一个0收到 v1:一个1收到 则已知收到的符号，被告知
9、发出的符号能得到的信息量是（ ）。A. H(U/V) B. H(V/U) C. H(U,V) D. H(UV)16. 同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（ ）。A. log36bit B. log36bit C. log (11/36)bit D. log (11/36)bit17.下列组合中不属于即时码的是（ ）。A. 0，01，011 B. 0，10，110 C. 00，10，11 D. 1，01，0018.已知某（6，3）线性分组码的生成矩阵，则不用计算就可判断出下列码中不是该码集里的码是（ ）。A. 000000 B. 110001 C
10、. 011101 D. 11111120.设有一个无记忆信源发出符号A和B，已知，发出二重符号序列消息的信源，无记忆信源熵 为（ ）。A.0.81bit/二重符号 B.1.62bit/二重符号 C.0.93 bit/二重符号 D .1.86 bit/二重符号21.给定xi条件下随机事件yj所包含的不确定度和条件自信息量p(yj /xi)，（ ）A数量上不等，单位不同B数量上不等，单位相同C数量上相等，单位不同D数量上相等，单位相同22.条件熵和无条件熵的关系是：（ ）AH(Y/X)H(Y)BH(Y/X)H(Y)C H(Y/X)H(Y)DH(Y/X)H(Y)23.根据树图法构成规则，（ ）A在树
11、根上安排码字B在树枝上安排码字C 在中间节点上安排码字D在终端节点上安排码字24.下列说法正确的是：（ ）A奇异码是唯一可译码B非奇异码是唯一可译码C 非奇异码不一定是唯一可译码D非奇异码不是唯一可译码25.下面哪一项不属于熵的性质：（ ）A非负性B完备性C对称性D确定性三、二元对称信道如图。1）若，求、和； 2）求该信道的信道容量。 解：1）共6分 2） ，此时输入概率分布为等概率分布。四、已知信源（1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长;（4分）（3）计算编码信息率;（2分）（4）计算编码后信息传输率;（2分）（5）计算编码效率。（2分）（1） 编码结果为：（2）（
12、3）（4）其中，（5）五、一个一阶马尔可夫信源，转移概率为【说明：以书上的解法为准】。(1) 画出状态转移图。(2) 计算稳态概率。(3) 计算马尔可夫信源的极限熵。(4) 计算稳态下,及其对应的剩余度。解：(1)(2)由公式有得(3)该马尔可夫信源的极限熵为：(4)在稳态下：对应的剩余度为六、设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积)。试计算(1) (2) (3) (4) ;解：(1)Z01P(Z)3/41/4(2) (3) (4) 七、，通过一个干扰信道，接受符号集为，信道转移矩阵为试求：（1）H(X),H(Y),H(XY); (2) H(Y|X),H(X|Y); (3) I(Y;X)。(4)该信道的容量C（5）当平均互信息量达到信道容量时，接收端Y的熵H（Y）。计算结果保留小数点后2位,单位为比特/符号。八
