《信息论与编码试卷及答案2》由会员分享，可在线阅读，更多相关《信息论与编码试卷及答案2（19页珍藏版）》请在金锄头文库上搜索。
1、篇一：信息论与编码期末题(全套)一7、某二元信源一、判断题共10 小题，总分值20 分.1. 当随机变量X和Y相互独立时，条件熵H(X|Y等于信源熵H(X).2. 由于构成同一空间的基底不是唯一的，所以不同的基1X0P(X)1/21/2，其失真矩阵0a，那么该信源的 Dmax=Da0三、此题共4 小题，总分值50 分.1、某信源发送端有2种符号xi(i1,2),p(x1)a；接收端底或生成矩阵有可能生成同一码集符号y(j1,2)，转移概率矩阵为有3种,33. 一般情况下，用变长编码得到的平均码长比定长编码大得多. 4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小 的
2、误差概率实现可靠的通信 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. 6. 连续信源和离散信源的熵都具有非负性.7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不 确定性就越小，获得的信息量就越小.8. 汉明码是一种线性分组码. 9. 率失真 函数的最小值是 0.10. 必然事件和不可能事件的自信息量都是 0. 二、填空题共6 小题，总分值20 分.1、检、纠错能力取决于.2、信源编码的目的是的目的是.3、把信息组原封不动地搬到码字前k位的(n,k码就叫做.4、香农信息论中的三大极限定理是、.5、设信道的输入与输出随机序列分别为X和Y,那么
3、I(XN,YN)NI(X,Y)成立的条件6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是. iP1/21/201/21/41/4.1 计算接收端的平均不确定度 H(Y)； 2计算由于噪声产生的不确定度H(Y|X)；3计算信道容量以及最正确入口分布.2、一阶马尔可夫信源的状态转移图 2-13图如右图所示，信源X的符号集为0,1,2.1求信源平稳后的概率分布；2求此信源的熵；3近似地认为此信源为无记忆时，符号的概率分布为平X)稳分布求近似信源的熵H(并与H进行比拟.4 、设二 元(7,4) 线1给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；),试计算出其对应
4、的伴随式S并按照最小距离译码准那么试着对其译码. 二一、填空题共 15 分,每空 1 分1、信源编码的主要目的是 ,信道编码的主要目的是。2、信源的剩余度主要来自两个方面,一是 ,二是。XY3、三进制信源的最小熵为 ,最大熵为。 4、无失真信源编码的平均码长最小理论 极限制为。5、当时,信源与信道到达匹配。 6 、根据信道特性是否随时间变化,信道可以分 为和。7、根据是否允许失真,信源编码可分为和。8、假设连续信源输出信号的平均功率为 2,那么输出信号幅度的概率密度是 时,信源具有最大熵,其值为值 。 9 、在下面空格中选择填入数学 符号“,或“1当 X 和 Y 相互独立时，HXYH(X)+H
5、(X/Y)H(Y)+H(X)。 2 HHX1X2HX1X2X32X2H3X33假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)O,H(Y/X)0,I(X;Y)H(X) 。三、16 分信源Ss1s2s3s4s5s6P0.20.20.20.20.10.11用霍夫曼编码法编成二进制变长码；6分2计算平均码长L;4分3计算编码信息率R;2分 4计算编码后信息传输率 R; 2 分 5计算编码效率。 2 分四、10分某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出 现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s。计算：1信息传输速率Rt5
6、分五、(16 分)一个一阶马尔可夫信源，转移概率为PS|S23|S111, PS213,PS1|S21,PS2|S20。(1) 画出状态转移图。 (4 分)(2) 计算稳态概率。 (4 分)(3) 计算马尔可夫信源的极限熵。 (4 分)(4) 计算稳态下H1,H2及其对应的剩余度。(4分)六、设有扰信道的传输情况分别 如以下图。试求这种信道的信道容量。七、(16分)设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。 定义另一个二元随机变量Z=XY(一般乘积)。试计算(1)HX,HZ;(2) HXY,HXZ;(3) HX|Y,HZ|X;(4) IX;Y,IX;Z;八、(10 分)设离散
7、无记忆信源的概率空间为Xx1x2P0.80.2，通过干扰信道，信道输出端的接收符号集为 Yy1,y2，信道传输概率如以以下图所示。x1y1x2 y2(1) 计算信源X中事件x1包含的自信息量；(2)计算信源X的信息熵；(3)计算信道疑义度HX|Y； (4)计算噪声熵HY|X；(5) 计算收到消息Y后获得的平均互信息量。信息论根底 2 参考答案一、填空题共15 分，每空1 分1、信源编码的主要目的是提高有效性，信道 编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符 号间的相关性，二是信源符号的统计不均匀性。3、三进制信源的最小熵为 0，最大熵为 log324、无失真信源
8、编码的平均码长最小理论极限制为信源熵或H(S)/logr二Hr(S)。5、当R=C或信道剩余度为0时，信源与信道到达匹配。6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7 、根据是否允许失真，信源 编码可分为无失真信源编码和限失真信源编码。8、假设连续信源输出信号的平均功率为2，那么输出信号幅度2的概率密度是高斯分布或正态分布或fx2x 时，信源具有最大熵，其值为值 1log2e22。9、 在下面空格中选择填入数学符号“,”或“ 1当X和Y相互独立时，HXY =H(X)+H(X/Y)=H(Y)+H(X)。 2 HHX1X2HX1X2X32X2H3X33假设信道输入用X表示，
9、信道输出用Y表示。在无噪有损信道中，H(X/Y)0,H(Y/X)=0,I(X;Y)H(X) 。 三、16 分信源Ss1s2s3s4s5s6P0.20.20.20.20.10.11用霍夫曼编码法编成二进制变长码；6分2计算平均码长L;4分3计算编码信息率R;2分2 分 4计算编码后信息传输率 R; 2 分 5计算编码效率 1 S10.200S20.21S1.030.20S140.21S050.11S60.11编码结果为：S100S201S3100S4101S5110S61116 2 LPii0.420.632.6 码元i1 3 Rlogr=2.6 4 RHS2.530.973bit2.6其中，H
10、SH0.2,0.2,0.2,0.2,0.1,0.12.53 5 HSSlogrH0.973评分：其他正确的编码方案：1，要求为即时码2 ，平均码长最短 四、10 分某信源输出 A、B、C、D、E 五种符号，每一个符号独立出现出现概率分别为1/8、1/8、1/8、1/2、1/8。如果符号的码元宽度为0.5s。计算: 1信息传输速率Rt5分 1 R1ttHXHXHX18log184112log21log81log222312log22log22log22bitR2bitts41060.5bps五、(16 分)一个一阶马尔可夫信源，转移概率为PS211|S13,PS2|S13,PS1|S21,PS2
11、|S20。(1) 画出状态转移图。 (4 分)(2) 计算稳态概率。 (4 分)(3) 计算马尔可夫信源的极限熵。 (4 分)(4) 计算稳态下H1,H2及其对应的剩余度。(4分)解：(1)1(2)由公式 PSi2PSi|SjPSjj1有PS1PS|SPS2PS1PS21iii132PS12PS2|SiPSiPS1i13PS1PS21PS3 得 14PS124(3) 该马尔可夫信源的极限熵为：22HPSiPSj|SilogPSj|Sii1j13423log2311343log3120.578141.5990.681bit 符号 0.472nat 符号 0.205hart(4)在稳态下:2Px3
12、311ilogPxii14log44log40.811bit 符号H2H0.205hart 符号 0.472nat0.681bit对应的剩余度为H10.81111H10.189012log11122log221H20.681H10.3190112log2112log2六、设有扰信道的传输情况分别如以下图。试求这种信道的信道容量。XY解：信道传输矩阵如下112200011P220Y|X1001221122可以看出这是一个对称信道，L=4，那么信道容量为Clog4H112,2,0,0LlogLpyj|xilogpyj|xij1log42112log21bit七、(16分)设X、Y是两个相互独立的二
13、元随机变量，其取0或1的概率相等。 定义另一个二元随机变量Z=XY(一般乘积)。试计算HX,HZ;(2)HXY,HXZ; HX|Y,HZ|X;(4)IX;Y,IX;Z;HXH12,121bitH(2)H34,140.8113bit(2)HXYHXHY112bit 对HXZHXHZ|X11112H1,012H2,21.5bit 对(3) HX|YHX1bitHZ|X112H1,02H112,20.5bit(4) IX,YHYHY|XHYHY0IX,ZHZHZ|X0.81130.50.3113bit八、(10 分)设离散无记忆信源的概率空间为Xx1x2P0.80.2，通过干扰信道，信道输出端的接收
14、符号集为Yy1,y2,信道传输概率如以以下图所示。x1y1x2y2(6) 计算信源X中事件x1包含的自信息量；(7)计算信源X的信息熵；(8)计算信 道疑义度HX|Y； (9)计算噪声熵HY|X；(10)计算收到消息Y后获得的平均互信息量。解：(1)Ix1log0.80.322bit0.0969hart0.223nat(2)HXH0.8,0.20.722bit0.5nat0.217hart 符 号(3)HXYH23,215,320,1201.404bit 符号0.973nat0.423hartHYH49/60,11/600.687bit0.476nat0.207hart 符号HX|YHXYHY0.717bit0.497nat0.216hart(4)HY|XHXYHX0.682bit0.473nat 符号 0.205hart 符号(5)IX;YHXHX|Y0.00504bit 符号 0.00349nat 符号 0.00152har
