《信息论与编码试卷及答案解析》由会员分享，可在线阅读，更多相关《信息论与编码试卷及答案解析（25页珍藏版）》请在金锄头文库上搜索。
1、一、（11）填空题（1 ） 1948年，美国数学家 香农发表了题为通信的数学理论”的长篇论文，从而创立了信息论。（2） 必然事件的自信息是_0。（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍 。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为_信源符号等概分布_。（5）若一离散无记忆信源的信源熵H（X ）等于2.5,对信源进行等长的无失真二进制编码，则编码长度至少为 。（6） 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的。（7） 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出 个码元错误，最 多能纠正_1_个码元错误。（8）设有一离散无记忆平稳信
2、道，其信道容量为C，只要待传送的信息传输率R_小于_C （大 于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9） 平均错误概率不仅与信道本身的统计特性有关，还与译码规则 和编码方法_有关三、（5）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的， 而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上这一事件，则故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0
3、.375 (2分)I(A|B)=-log0.375=1.42bit (1分)、（5）证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：2分）工工 p x y og p Xi j i y同理I(X ;Y)= H (y) H C|X )1分）H C|X )= H (y ) I(X ;Y )因为H(XY )= H(X )+ H (Y|X )1分）故H(XY )= H(X )+ H(Y ) I(X ;Y )五、（18）.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。 假设图上黑白
4、消息出现前后没有关联，求熵H（X）；2）假设黑白消息出现前后有关联，其依赖关系为，求其熵H（X）。g3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。解：1）信源模型为卜厂黑 叫二白（1分）0. 30. 72）由题意可知该信源为一阶马尔科夫信源。釦符号（2分） 由f2尸（气）=三尸（吟）尸阿暑I = 1,2戸+F（%） = 1（4分）得极限状态概率响=|I黑J（2分）3）H (X)log 22二 0.1193分）H (X)Glog 22二 0.447（1分）（1分）Y2 Yi。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，
5、冗余度越大，依赖关系就越大。（2分）六、（18）.信源空间为_ X _ P( X) _=xxxxxxx1234567_0.20.190.180.170.150.10.01_，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。信源消息 符号也符号概率累加概率片-1啤两）码字长度人码字0.20023230000.19223930010J80392.473011a40J70.5725631000J50.742.7431010.100.8933241110仏0-010.996.64711111107L 二乞 p(a )1 二 3.14iiH(X) _ 2.613.14 =
6、 0-8310. 200000. 150. 190. 390Q00. 1.90. 180. 170.101.0-110.()1 丄7=2 72=码元/符号律2比特/符号0. 180. 1.5Q 2 fi0. 35Q 39tI卄丄!0. 20/0. 260, 35(k 190. 20 p/ 0. 26-U(k 18 丄V 0. 19 _J(L 17 J信源符号略概率別妨码字咒码长A0.20102a20J9112叫0J80003a40J70013兔0J50103%OJO01104a70.0101114p( x) _-1 41/2七（6 ） 设有一离散信道，其信道传递矩阵为1/61/31/31/21
7、/61/61/31/2，并设 p(x ) _ 2 2试分别按P(X3)_ 4最大后验概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率1）（3分）最小似然译码准则下，有，= |2）（3分）最大后验概率准则下，有，pW =珂”盹）=花八（10）二元对称信道如图。1 ）若pG）= 3 , pG=-，求H（X）、H（X I Y）和I（X;Y）；442）求该信道的信道茫习=1出了2 = 1解：1）共6分= 0.S113旅打符号H（X IY）= 0.749bit/ 符号7） =0.0616 如打符号2）” U = 0.0免 血f符号（3分）此时输入概率分布为等概率分布。（1分） ro 0
8、0 1 1 1_九、（18）设一线性分组码具有一致监督矩阵H =01100110 10 111）求此分组码n二?,k二?共有多少码字？2 ）求此分组码的生成矩阵G。3）写出此分组码的所有码字。(Rm)(用)0 I I 0 0 IM 0 0o UH u寸 s -o OH oyE s zo UHU書、(yqo)直舊e 0 - M g OH oooo0 e 寸OH uoo Vo t zOH uoo(CN、(q s 卜 8.T7RsgK邑匚 q h 即应LnCN90.0%dHpd 、sCNTOd、sCN.OHqd、901只胡0巽潮卅、07、PJ、q、e 丽应s旧皿黑 7 o隼m呱霊而菱晋& 0J(00
9、死0尿叩曾專)鄭(01-I)(t-loot101-I)只妣s、( mt )F3!hz(lootlotIJ 兆州映es 嫌田冊(RCN) (09 H s咖ryH H zsffl(寸(0 寸)ooos Lorn 匚P(y |xm)，对所有m/m时， 将y判为m，则称该准则为(D )A最大后验概率译码准则B最小错误概率准则C最大相关译码准则D最大似然译码准则3、线性分组码不具有的性质是(C )A 任意多个码字的线性组合仍是码字B 最小汉明距离等于最小非0重量C 最小汉明距离为3D 任一码字和其校验矩阵的乘积 cmHT= 04、关于伴随式的描述正确的是（A ）A伴随式s与传送中信道出现的错误图样e有关
10、B通过伴随式S可以完全确定传送中信道出现的错误图样eC伴随式S与发送的具体码字有关D伴随式s与发送的具体码字有关，与传送中信道出现的错误图样e也有关5、率失真函数的下限为（B）AH（U）B0CI（U; V）D没有下限6、纠错编码中，下列哪种措施不能减小差错概率（D）A增大信道容量B增大码长C减小码率D减小带宽7、已知某无记忆三符号信源a,b,c等概分布，接收端为二符号集，其失真矩阵为，则信源的最大平均失真度Dmax为（D）A 1/3 B 2/3 C 3/3 D 4/38、一珍珠养殖场收获240 颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有 微小差异的假珠换掉1 颗。一人随手取
11、出3 颗，经测量恰好找出了假珠，不巧假珠又滑落进去， 那人找了许久却未找到，但另一人说他用天平最多6 次能找出，结果确是如此，这一事件给出的 信息量（ A）。A 0bit B log6bit C 6bit D log240bit9、已知随机噪声电压的概率密度函数p（x） =1/2，x的取值范围为-1V至+1V,若把噪声幅度从 零开始向正负幅度两边按量化单位为0.1V做量化并且每秒取10个记录求该信源的时间熵:B ）A 21.61bit/s B 43.22bit/s C 86.44 bit /s D 以上都不对10、彩色电视显像管的屏幕上有5x105个像元，设每个像元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个组合之间相互独立。每秒传送25帧图像所需要的信道容量（C）A 50.106 B 75.106 C 125.106 D 250.106第 7 章 线性分组码1.已知一个（5, 3）线性码C的生成矩阵为：_ 1100G 二0110100111（1）求系统生成矩阵；（2）列出C的信息位与系统码字的映射关系；（3 ）求其最小Hamming距离，并说明其检
