《信息论完整版》由会员分享，可在线阅读，更多相关《信息论完整版（10页珍藏版）》请在金锄头文库上搜索。
1、 第 0 页信息论与编码 模拟题一 、填空题 1、已知 8 个码组为（000000） 、 （001110） 、 （010101） 、 （011011） 、 （100011） 、 （101101） 、 （110110） 、 （111000） 。则该码组的最小码距是 3 ，若只用于检错可检测 2 位错码，若只用于 纠错可纠正 1 位错码。 2、同时掷两个正常的骰子，也就是各面呈现的概率都是 1/6，则“两个 1 同时出现”这一事 件的自信息量为 5.17 比特。 3、已知信源的各个符号分别为字母A，B，C，D，现用四进制码元表示，每个码元的宽度为 10ms，如果每个符号出现的概率分别为1/5，1/
2、4，1/4，3/10，则信源熵H（x）为 1.985 比特/ 符号，在无扰离散信道上的平均信息传输速率为 198 bit/s。 41948 年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息 论。 5对离散无记忆信源来说，当信源呈_等概_分布情况下，信源熵取最大值。6、对于某离散信道，具有3 x 5的转移矩阵，矩阵每行有且仅有一非零元素，则该信道噪声熵为 0 ；最大信息传输率为 2.32 。7、二元删除信道 BEC(0.01)的信道转移矩阵为 ，信道容量为 ；信道矩阵为的 DMC 的信道容量为 3 。100 001 010 001 0102log8数据处理定理：当消息
3、经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间 的平均互信息量 趋于变小 。 9.(7,3)码监督矩阵有 4 行,生成矩阵有 3 行。 10.对线性分组码,若要求它能纠正3个随机差错,则它的最小码重为 7 ,若要求它能在纠错2位的 同时检错3位,则它的最小码重为 8 。 11汉明码是一种线性分组码，其最小码距为 3 。 12.信道编码的目的是提高数字信息传输的 可靠性 ,其代价是降低了信息传输的 有效性。 13.在通信系统中,纠检错的工作方式有 反馈重发纠错 、 前向纠错 、 混合纠错 等。 14.离散对称信道输入等概率时，输出为( 等概)分布。 15.根据码字所含的码元的个数，
4、编码可分为( 定长 )编码和(变长 )编码。16、线性循环码中，生成多项式的最高项次数为 n-k ，校验多项式的( , )n k( )g x( )h x最高项次数为 k ，和满足 h(x)=(xn-1)/g(x) 的关系，若其最小码( )g x( )h x距，则能检错的位数为 d-1 ，能纠错的位数为 (d-1)/2 。d17、若有一离散无记忆平稳信道，其容量为，输入序列长度为L,只要待信息率 时，任何编码的必大于零，且当时，。RCePL 1eP 第 1 页18、(7,4)线性分组码中，接受端收到分组 R 的位数为 7 ，伴随式 S 可能的值有 8 _ 种,差错图案 e 的长度为 7 ，系统生
5、成矩阵 Gs为 4 行的矩阵，系统校验矩阵 Hs为 3 行的矩阵，Gs和 Hs满足的关系式是 Gs*HsT=0 。19、设有一个信道，其信道矩阵为 ，则它是 对称 信道 （填对称，0.250.50.25 0.250.250.5 0.50.250.25 准对称） ， 其信道容量是 0.85 比特/信道符号。20、在下面空格中选择填入数学符号“，”或“”= 。XYH YXHYH| XHYH21、信源编码的主要目的是提高 有效性 ，信道编码的主要目的是提高 可靠性 。22、一个八进制信源的最大熵为 3bit 。23、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码 。24、一个事件发生
6、概率为 0.125，则自信息量为 3bit 。二 、选择题1、设有一个离散无记忆信源 X，其符号数为 n,则有（ A ）成立。A、; B、; 2()logH Xn2()logH XnC、; D、以上结论都不对。2()2logH Xn2、通信系统的性能指标主要有（ A ） 。 A、有效性 可靠性 安全性 经济性 B、有效性 可行性 安全性 保密性 C、保密性 可靠性 安全性 经济性 D、高效性 可行性 安全性 经济性3、信源存在冗余度的主要原因是（ C ） 。 A、信源符号间的相关性 B、信源符号分布的不均匀性 C、信源符号间的相关性和分布的不均匀性 D、以上都不对4、下列关于信源编码和信道编码
7、的说法中错误的是（B ） A、信源编码是减少冗余度，信道编码是有意的增加冗余度。 B、信源编码提高了可靠性，降低了有效性。 C、首先对信源进行编码，到信道的输入端再对其进行信道编码。 第 2 页D、信道编码提高了可靠性，降低了有效性。5、以下关于平稳离散信源的说法不正确的是（ C ）。 A、平稳信源发出的符号序列的概率分布与时间起点无关。 B、平均符号熵随着L的增大而减小。 C、对于平稳信源一般情况下，齐次包括平稳，平稳不包括齐次。 D、平稳信源的概率分布特性具有时间推移不变性。6、关于线性分组码，下列说法正确的是（ B ） A、卷积码是线性分组码的一种。 B、最小码距是除全零码外的码的最小重
8、量。 C、具有封闭性，码子的组合未必是码子。 D、不具有封闭性，码子的组合未必是码子。7、若一离散无记忆信源的符号熵为,对信源符号进行 m 元变长编码，()H X一定存在一种无失真编码方法，其码字平均长度满足（ A ） 。KA、； B、；22()()1loglogH XH XKmm22()()1loglogH XH XKmmC、； D、。2()1logH XKm2() logH XKm8、有一离散无记忆信源 X，其概率空间为，则 125. 0125. 025. 05 . 04321xxxx PX其无记忆二次扩展信源的熵 H(X2)=( B )A、1.75 比特/符号； B、3.5 比特/符号；
9、C、9 比特/符号； D、18 比特/符号。9、信道转移矩阵为，112132425363(/)(/)000000(/)(/)000000(/)(/)P yxP yxP yxP yxP yxP yx 其中两两不相等，则该信道为( D )(/)jiP yxA、一一对应的无噪信道 B、具有归并性能的无噪信道C、对称信道 D、具有扩展性能的无噪信道10、设信道容量为 C，下列说法正确的是：（ A ）A、互信息量一定不大于 C B、交互熵一定不小于 C C、有效信息量一定不大于 C D、条件熵一定不大于 C 三 、计算题 1、设有离散无记忆信源，其概率分布如下：第 3 页1234567 1111111(
10、)24816326464xxxxxxxXP X对其进行费诺编码，写出编码过程，求出信源熵、平均码长和编码效率。641log641 641log641 321log321 161log161 81log81 41log41 21log21)(2222222xH=1.9482*6*6415*3214*1613*812*411*21%100948. 1948. 1)(948. 12*6*6415*3214*1613*812*411*21kxHk2.一个离散无记忆信源123456 111111( )1616161642xxxxxxx p x对其进行 2 进制费诺编码，写出编码过程，求出信源熵、平均码长
11、和编码效率。 （保留两位小数）%100)(21*212*414*4*16121log21 41log414*161log161)(24*4*1611*411*21222kxHxHk3.设有离散无记忆信源，其概率分布如下：1234567 ()0.20.190.180.170.150.100.01Xxxxxxxxq X对其进行 2 进制赫夫曼编码，写出编码过程，求信源熵、平均码长和编码效率。 （保留两位 小数）%96.9571. 261. 2)(72. 24*01. 04*1 . 03*15. 03*17. 03*18. 02*19. 02*2 . 061. 201. 0log01. 01 . 0
12、log1 . 0 15. 0log15. 017. 0log17. 018. 0log18. 019. 0log19. 02 . 0log2 . 0)(2222222kxHkxH4.信道输入符号集 X = x1, x2，输出符号集 Y = y1, y2, y3, y4，给定信道转移概率矩第 4 页阵，求该信道的信道容量 C。 （保留四位小数，单位取为：比特/符号）1111 4288 1111 8248 P PsignbitH/75. 1)81log81 21log21 41log41()81,81,21,41(222方法一： 025. 075. 1775. 1)81,81,21,41()(ma
13、x775. 1)81log81 21log212*163log163()(max81 163 21 16381 41 21 8181 81 21 412/12/1 222| HYHCYHPPPxyxy方法二：878741 21 8181 21 411 p 81812p025. 0)81log81 87log87(75. 11log)81,81,21,41(2log8/1, 8/1; 8/7, 8/72221222211 kkkMNHCMNMN5、设有一个离散无记忆信道，其信道矩阵，求信道 8/18/12/14/18/18/14/12/1P容量 C。 （要求保留四位小数，单位取为：比特/符号） 方法一：第 5 页signbitHYHCYHPPPsignbitHxYxY/0613. 075. 18113. 1)81,81,41,21()(max8113. 12*)83log83 81log81()(max81 81 83 8381 81 21 4181 81 41 2121 21/75. 1)81log81*241log41 21log21()81,81,41,21(22|222 方法二：21 4141 211P
