《信息理论与编码基础》由会员分享，可在线阅读，更多相关《信息理论与编码基础（4页珍藏版）》请在金锄头文库上搜索。
1、信息理论与编码基础（一）信息理论与编码基础（一） 一、判断题一、判断题(每空每空 1 分，共分，共 10 分分) 1有记忆信源输出符号之间是统计相关的。 （ ） 2条件熵不大于无条件熵。 （ ） 3离散信源的序列熵等于各个符号熵之和。 （ ） 4互信息量可为正值、负值或零 （ ） 5平均互信息 I(X;Y)是输入信源概率分布p(ai),i=1,2,.n的下凸函数。 （ ） 6当信源的符号数一定时，符号间的记忆长度越长，极值熵H 越小，从而 HH0 就越大，这说明冗余度越大，意味着信源可压缩的程度越大。 （ ） 7在限失真信源编码中，容许的失真度 D 越大，所要求的信息率 R 就越小。 （ ）8
2、某信道输入端的熵为 H(X)，输出端的熵为 H(Y)，该信道为无噪有损信道， 其容量为 H(X)。 （ ） 9克拉夫特不等式可以判别唯一可译码的存在性，也可以用克拉夫特不等式来 判别某码组是否为唯一可译码。 （ ） 10若要求纠正 1 个差错，同时检测 2 个差错，则要求最小码距 dmin= 4。 （ ） 二二 填空题填空题(每空每空 1 分，共分，共 10 分分) 1加密编码主要用于解决信息传输中的_(有效性、可靠性、安全性)。2一信源有五种符号a,b,c,d,e，先验概率分别为 Pa=0.5，Pb=0.25，Pc=0.125，Pd=Pe=0.0625，则符号“a”的自信息量为bit，此信源
3、的熵为 bit/符号。 3对称 DMC 信道的输入符号数为 n，输出符号数为 m，信道转移概率矩阵为 pij，则该信道的容量为 。 4采用 m 进制编码的码字长度为 Ki，码字个数为 n，则克劳夫特不等式为 ， 它是判断 的充要条件。 5信源编码的概率匹配原则是：概率大的信源符号用 ，概率小的信源符 号用 。 （短码或长码） 6某离散无记忆信源 X，其符号个数为 n，则当信源符号呈 分布情况下， 信源熵取最大值 。 三、计算题三、计算题 （本题共（本题共 4 小题；第小题；第 1 小题小题 10 分，第分，第 2 小题小题 14 分，第分，第 3 小题小题 14 分，第分，第 4 小题小题 1
4、0 分，共分，共 48 分）分） 1从大量统计资料知道，男性中红绿色盲的发病率为 7%，女性发病率为 0.5%，如果你问 一位男士：“你是否是色盲？”他的回答可能是“是” ，可能是“否” ，问这两 个回答中各含多少信息量，平均每个回答中含有多少信息量？如果问一位女士， 则答案中含有的平均自信息量是多少？2已知二元信道的传递矩阵为 ，其中 试求： （1）H(X)，H(X/Y)，H(Y/X) 和 I(X；Y)；（8 分） （2）求该信道的信道容量及其达到信道容量时的输入概率分布。 （6 分） 3有一个二元对称信道，其信道矩阵为 。设该信源以 1500bit/s 的速度传输输入符号。现有一消息序列共
5、有 14000 个二元符号，并设 P(0) = P(1) = 1/2，问从消息传输的角度来考虑，多少秒钟内能将这消息序列无 失真的传递完？4一个四元对称信源 ，接收符号 Y = 0, 1, 2, 3， 其失真矩阵为 求这信源的 Dmin、Dmax。四、证明题（本题共四、证明题（本题共 2 小题，每小题小题，每小题 4 分，共分，共 8 分）分） 1证明：平均互信息量同信息熵之间满足：I(X;Y)=H(X)+H(Y)-H(XY)。2证明：有两个随机变量 X 和 Y，其和为 Z = X + Y（一般加法） ，若 X 和 Y 相互独立，求证： H(Y) H(Z)五、综合题（共五、综合题（共 24 分
6、）分） 1设有一单符号离散无记忆信源 X，其概率分布为： P（X）=0.2，0.19，0.18，0.17，0.15，0.1，0.01，求： （1）编二进制香农 码，并计算其平均码长；（8） （2）用费诺编码编成二元变长码，并计算其平均码长；（8 分） （3）用哈夫曼编码编成二元变长码， ，并计算其平均码长；（8）信息理论与编码试卷答案 B一、判断题（(对划“” ，错划“” ，本题共 10 小题；每小题 1 分，共 10 分）1 2 3 4 5 6 7 8 9 10 二、填空题（本题 空，每空 分，共 分） 1. 安全性 2. 1，1,875 3. 4. ，唯一可译码存在 5. 短码，长码 6. 等概，
