《暨南大学考试卷》由会员分享，可在线阅读，更多相关《暨南大学考试卷（8页珍藏版）》请在金锄头文库上搜索。
1、第 1 页 共 8 页 暨 南 大 学 考 试 试 卷 得分评阅人 一、选择题（共 5 小题，每小题 3 分，共 15 分） 1.下列关于离散随机变量信息熵的论断中错误的是（ D ） 。 X ()H X A、信息熵表示了信源输出前，信源的平均不确定性； B、信息熵是其概率空间中每个事件所含有的自信息量的数学期望； C、信息熵表示了信源输出后，每个消息或符号所提供的平均信息量； D、信息熵并不反映随机变量的随机性。 X 2.对于连续信源，若平均功率受限（方差受限）时，则其概率密度函数是 X （ A ）时，差熵具有最大值。 A、高斯分布 B、均匀分布 C、三角分布 D、非均匀分布 3.下图给出了两
2、个离散信源 X、Y 的概率空间，其熵值间满足（ B ） 。 12341234 ( )0.150.250.40.2( )0.250.250.250.25 XxxxxYyyyy p xp y A、H(X) H(Y) B、H(X) H(Y) C、2H(X) =H(Y) D、H(X) =2H(Y) 课程类别课程类别 必修必修 选修选修 考试方式考试方式 开卷开卷 闭卷闭卷 教教 师师 填填 写写 20 12 - 20 13 学年度第 一 学期 课程名称： 信息论与编码 授课教师姓名： 谭晓青 考试时间: 2013 年 1 月 16 日 试卷类别试卷类别(A(A、B)B) A A 共共 8 8 页页 考
3、考 生生 填填 写写 学院(校) 专业 班(级) 姓名 学号 内招内招 外招外招 题题 号号一二三四五六七八九十总总 分分 得得 分分 . . . . . 学习参考 4.某无记忆信源 U 为，接收符号，其失真 101 111 ( ) 333 U p u 11 , 22 V 矩阵，则该信源的 Dmax= （ A ） 。 12 11 21 D A、 B、 C、 D、 4 3 2 3 1 3 5 3 5.某一信道，其输入 U 的符号集为，输出 Y 的符号集为，信道 1 0,1 2 0, 1 矩阵，现有四个消息的信源通过这信道传输（消息等概率出现） 。 10 11 22 01 P 若对信源进行编码，我
4、们选这样一种码 12 1 1 :,01(1,2) 2 2 i Cx xxi 或 其码长为。这样编码后信息传输率等于（ B ） 。4n A、 B、 C、 D、 1 3 1 2 1 4 2 3 得分评阅人 二、填空题（共 5 小题，每小题 3 分，共 15 分） 1.对于离散有噪无损信道，用 表示输入变量的符号个数，用 表示输出变 rXs 量的符号个数，其信道容量 C = 。 Y logr 2.若连续信源 X 的取值区间 为，其概率密度函数为， 0,) ( ) x m e p x m 其中，m 是 X 的数学期望，则 连续信源 X 的差熵0 x () C HX me 2 log 。 3.有噪信道编
5、码定理 ：有噪信道的信道容 量为 C，只RC若信息传输率 . . . . . 学习参考 要码长 足够长 ，必存在一种信道编码和相应的译码规则，使译码n 平均错误概率为 任意小 。 E P 4.已知在 GF(2)x上有，构造(7, 4)循环码可 7323 1(1)(1)(1)xxxxxx 以选择生成多项式=。( )g x 332 (1)(1)xxxx或 5.若纠错码的最小距离为 dmin，要检测个随机错误，则要求；f min 1df 要纠正个随机错误，则要求；要纠正个同时检测个随机错e min 21deef 误，则要求。 min 1def 得分评阅人 三、计算题（共 6 小题，每小题 10 分，
6、共 60 分） 1. 某一无记忆信源的符号集为0, 1，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵；（3分） (2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100m） 个“1”）的自信息量的表达式；（4分） (3) 计算(2)中序列的熵。 （3分） 解：(1) 。 。 。 。 。 。 。 。 。 。 。 。 。3symbolbitxpxpXH i ii / 811 . 0 4 3 log 4 3 4 1 log 4 1 )(log)()( 分分 (2) 。 。 。 。 。 。 。 。 。 。 。 。 。4 分 分 bitmxpxI xp m
7、 ii m mm i 585 . 1 5 . 41 4 3 log)(log)( 4 3 4 3 4 1 )( 100 100 100 100 100 (3) 。 。 。 。 。 。 。 。 。 。 。 。 。3 分 分symbolbitXHXH/ 1 . 81811 . 0 100)(100)( 100 2. 求下列可抹信道的容量，其条件概率P(Y/X)为。 1212 2112 1 1 ssss ssss 解：可抹信道是一个准对称信道，把信道矩阵分解成两个子矩阵如下： . . . . . 学习参考 mik k kk Myp j Myp j k Myp j k mik s k kk Hypyp
8、mC s yp m yp yp s ypyp m yp yp m yp yp sssxypxpxypxpyp ssssxypxpxypxpyp ssssxypxpxypxpyp HypypmYXIC s s M sss sss M j j kj )(log)( 1 )( )( )( 2/1 2 )()( )( )( )( )( 2/2/)/()()/()()( 2/12/ )1 (2/)/()()/()()( 2/12/2/ )1 ()/()()/()()( )(log)();(max , 1 1 2 2 1 1 3 2 )( 2 1 21 1 )( 1 )( 1112321313 12122
9、221212 12212121111 2 1 1 1 2 212 221 1 2 1 7 分 分 3 分分 11 212112212121222 1 1212212222 11 (2loglog) (1)log (1)loglog 22 1 (1)log(1)log (1)log/ 2 ss ssssssssss s sssssssbit symbol 3. 对信源： 01 . 0 1 . 015 . 0 17 . 0 18 . 0 19 . 0 2 . 0)( 7654321 xxxxxxx XP X ，编三进制哈夫曼 码，并计算平均码长和码率。 解：三进制哈夫曼码： 。 。 。 。 。 。
10、 。 。 。 。 。 。 。7 分分 xip(xi)编码码字ki s31 s20.540 s10.261 x10.2221 x20.190002 x30.181012 x0.172022 x50.150102 x60.11112 x70.012122 . . . . . 学习参考 %4 .91 3log8 . 1 609 . 2 log )()( 8 . 1 )01 . 0 1 . 015. 017 . 0 18 . 0 19 . 0 (22 . 01)( 2 2 m L K XH R XH xpkK i ii 。 。 。 。 。 。 。 。 。 。 。 。 。 3 分分 4.设信源 pp x
11、x XP X 1)( 21 （p 0.5） ，其失真度为汉明失真度，试问当允 许平均失真度 D = 0.5p 时，每一信源符号平均最少需要几个二进制符号表示？ 解：因为二元信源率失真函数： a D HpHDR)()( 其中 a = 1（汉明失真）, 所以二元信源率失真函数为： )()()(DHpHDR 。 。 。 。 。 。 。 。 。 。 。 。 。5 分 分 当2 p D 时， 。 。 。 。 。 。 。 。 。 。 。 。 。 5 分分 symbolnat pppp pppp p HpH p R/ 2 1ln 2 1 2 ln 2 )1ln()1 (ln 2 )( 2 5. 设有一连续随
12、机变量 X，其概率密度函数，试求 Y = 2 301 ( ) 0 xx p x 其他 2X 的熵 Hc(Y)。 解： 0101 2 y x 。 。 。 。 。 。 。 。 。 。 。 。 。4 23 2 0 2 02 ( )()(2)() 2 1 3 8 3 ( )( ) 8 Y y y y FyP YyPXyP X x dxy f yF yy 分分 2 2 3 ( )( )log( )( )log 8 3 log( )( )log 8 c RR RR H Yf yf y dyf yy dy f y dyf yy dy . . . . . 学习参考 。 。 。 。 。 。 。 。 。 。 。 。 。6 分 分 2 33 loglog 84 328 loglog 83 21 log3log1 3 2 ( )log3log1 / 3 R c yydy e e H Yebit symbol 6. 下面是某(n, k)线性二元码的全部码字： 1234 5678 000000000111011001011110 101011101100110010110101 CCCC CCCC （1） 求n, k为
