《2010信息论期末考试样卷》由会员分享，可在线阅读，更多相关《2010信息论期末考试样卷（27页珍藏版）》请在金锄头文库上搜索。
1、一、概念简答题（共 10 题，每题 5 分）1.简述离散信源和连续信源的最大熵定理。2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。5.设某二元码字 C=111000，001011，010110，101110，假设码字等概率分布，计算此码的编码效率？采用最小距离译码准则，当接收序列为 110110 时，应译成什么码字？6.一平稳二元信源，它在任意时间，不论
2、以前发出过什么符号，都按 发出符号，求 和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。8.二元无记忆信源，有 求：（1）某一信源序列由 100 个二元符号组成，其中有 m 个“1”，求其自信息量？（2）求 100 个符号构成的信源序列的熵。9.求以下三个信道的信道容量：， ，10.已知一（3，1，3）卷积码编码器，输入输出关系为：试给出其编码原理框图。二、综合题（共 5 题，每题 10 分）1.二元平稳马氏链，已知 P（0/0）=0.9，P（1/1）=0.8，求：（1）求该马氏信源的符号熵。（2）每三个符号合成一个来编二进制 Huff
3、man 码,试建立新信源的模型，给出编码结果。（3）求每符号对应的平均码长和编码效率。2.设有一离散信道，其信道矩阵为 ，求：（1）最佳概率分布？（2）当 ， 时，求平均互信息 信道疑义度（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率 最小，并求此3.设线性分组码的生成矩阵为 ，求：（1）此（n，k）码的 n=？ k=？，写出此（n，k）码的所有码字。（2）求其对应的一致校验矩阵 H。（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。（4）若接收码字为 000110，用伴随式法求译码结果。4.二元对称信道的信道矩阵为 ，信道传输速度为 1500 二元
4、符号/秒，设信源为等概率分布，信源消息序列共有 13000 个二元符号，问：（1）试计算能否在 10 秒内将信源消息序列无失真传送完？（2）若信源概率分布为 ，求无失真传送以上信源消息序列至少需要多长时间？5.已知（7，4）循环码的生成多项式 ，求：（1）求该码的编码效率？（2）求其对应的一致校验多项式（3）写出该码的生成矩阵，校验矩阵。（4）若消息码式为 ，求其码字。 模拟试题一答案一、概念简答题（共 10 题，每题 5 分）1.答：离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大。2.答：平均自信
5、息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息为 表示从 Y 获得的关于每个 X 的平均信息量，也表示发 X 前后 Y 的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。3.答：等长信源编码定理：对于任意 ，只要 ，则当 L 足够长时必可使译码差错 。变长信源编码定理：只要 ，一定存在一种无失真编码。等长码和变长码的最小平均码长均为 ，编码效率最高可达 100%。4.答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下，将接收序列译为与其距离最小的码
6、字。三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。5.答：1）2）令接收序列为 ，则有 ， ， ，故接收序列应译为 010110。6.答：7.答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道容量。8.答：1）2）9.答：P1 为一一对应确定信道，因此有 。P2 为具有归并性能的信道，因此有 。P3 为具有发散性能的信道，因此有 。10.答：二、综合题（共 5 题，每题 10 分）1.答：1）由 得极限概率：则符号熵为2）新信源共 8 个序列，各序列
7、的概率为信源模型为一种编码结果（依信源模型中的序列次序）为 0，11，1001，1010，1011，10000，100010，1000113）2.答：1）是准对称信道，因此其最佳输入概率分布为 。2）当 ， 时，有则3）此时可用最大似然译码准则，译码规则为且有3.答：1）n=6，k=3，由 C=mG 可得所有码字为：000000，001011，010110，011101，100101，101110，110011，1110002）此码是系统码，由 G 知， ，则3）由 H 可知，其任意 2 列线性无关，而有 3 列线性相关，故有 ，能纠一位错。错误图样 E伴随式10000010101000011
8、00010000110001001000000100100000010014）由 知 E010000，则4.答：1）信道容量为信源序列信息量为而 10 秒内信道能传递的信息量为故不能无失真地传送完。2）此时信源序列信息量为信息传输率为则5.答：1）2）3） ，而4）6.答：1）无错传输时，有即则2）在 时，最大熵对应的输入概率密度函数为一、 （15 分）解：（1）由图可知一阶马尔可夫信源的状态空间 ，平稳后信源的2,10AE概率分布就等于一阶马尔可夫信源状态的极限分布，即， ； ， ； -)(iiaPEQ3,21iai-（1 分）从状态图中分析可知，这三个状态都是正规常返态，所以此马尔可夫链具
9、有各态历经性，平稳后状态的极限分布存在。可得状态一步转移矩阵，P0-1)2()0()0(1)(QT-（2 分）得： ， -3/)(1)(-（2 分）则可得： ； -/1)2()0(pp-（2 分）(2) 一阶马尔可夫信源的熵321()|)iiiHQEHX(0)|(|1(2)|)PPHX,0),333P； -logl(-（4 分）(3) 当 , 当 , ； -0PH1P-（2 分）因为信息熵是表示信源的平均不确定性，题中当 或 时表明信源从某一状态0P1出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。当 时，1P从 0 状态一定转移到 2 状态，2 状态一定转移到 1 状态，1
10、状态一定转移到 0 状态。所以不论从何状态起信源输出的序列一定是 021021 序列，完全确定的。当 时，0P状态永远处于 0 状态，1 状态永远处于 1 状态，2 状态用于处于 2 状态。信源输出的符号序列也是确定的。所以当 或 时，信源输出什么符号不存在不确定性，完P0全是确定的，因此确定信源的信息熵等于零。 -（4分）二、 （20 分）解：如下图所示, 其中； -PQ1 q2-（2 分）-（2 分）它们都是二元对称离散信道；又因为 ， ；1()CHP21()q所以这个和信道容量为：-122212logl()()cipqC-（4 分）其中，Q 1 的利用率 qpCP111 )()(1其中，
11、Q 2 的利用率 -q22-（2 分）由此得： qpqpPaP11243 1121 )()()( )(-（2 分）三、 （12 分）解：要将此信源编码成为 r 元唯一可译变长码，其码字对应的码长)3,21,(),(654321ll必须满足克拉夫特不等式，即； -3232161 rrrrili-（5 分）所以要满足 ，其中 r 是大于或等于 1 的正整数； -23r-（2 分）可见，当 时，不能满足 Kraft 不等式； -1r-（1 分）当 时, ,不能满足 Kraft； -1824-（1 分）当 时 , ,满足 Kraft； -3r2769-（1 分）所以，求得 的最大值下限值等于 3。 -
12、（2 分）四、(15 分) 解：信源的概率分布为：)152,513()isp二元霍夫曼码：00，10，11，010，011； -（7 分）码长：2，2，2，3，3； -（2 分）当信源给定时，二元霍夫曼码是最佳二元码；所以对于概率分布为 的)51,51(信源，其最佳二元码就是二元霍夫曼码。 -（2 分）这二元霍夫曼码一定是三个信源符号的码长为 2（码符号/信源符号） ，另二个信源符号的码长为 3（码符号/信源符号） ，其平均码长最短。因此，上述对概率分布为 信源)152,513(所编的二元霍夫曼码也是概率分布为 信源的最佳二元码。 -)51,51(-（4 分）五、(20 分) 解：令信道输入为
13、 时输出 的转移概率为 ，则最小错误概率译mxy(|)NmPyx码实际上为最大后验概率译码，其中 -)(|)|(ywxPmQyPNMmmNxyPQyw1)|()(-（3 分）对于给定的 和所有的 ，其 必然相同，所以 就可() )|()|(yp化为比较如下式子-)|()|() mNmNxyPQxyP-（3 分）则当先验等概时 上式化为 ，此即最大()|()|(mNmNxyPxy似然译码。-（4 分）所以，当先验等概时，最小错误概率译码与最大似然译码是等价的。-（ 2 分）因为 且输入等概，所以由题可知，当收到 判为 时应为错，同理，M 2y1x收到 区间1y中任一序列，判为 也为错。这样：2x； -)1(4321pPPee -（4 分）当收到的序列属于 Y3 时无法判定为 X1 或 X2，但此时必然有错误发生。所以，有错而不能判决的概率为： -
