《信息论与编码试卷及答案》由会员分享，可在线阅读，更多相关《信息论与编码试卷及答案（10页珍藏版）》请在金锄头文库上搜索。
1、一、概念简答题（每题5分，共40分）1. 什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。3-1平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示 通信前后整个系统不确定性减少的量。（无F = -5#3方屈虱了了）2. 简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为23. 解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概 率间分别是什么关系？信息
2、传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。 信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的C型凸函数，是信道传递概率的U型凸函数。4. 对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有、，。说明经数据处理后，一般只会增加信息的损失。5. 写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为bi J，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和
3、带宽。PP101g= 30 dB =1000 i，虬即站呼Q = 5000kg2(l + 1000)=49836 瑚aA 、g)6. 解释无失真变长信源编码定理。1中目期，当n足够长时，一定存在一种无失真编码。7. 解释有噪信道编码定理。答：当RVC时，只要码长足够长，一定能找到一种编码方法和译码规则，使译 码错误概率无穷小。1次以)=01 3)1 -D =0a08.什么是保真度准则？对二元信源 ，其失真矩阵，求a0时率失真函数的疏和岫？答：1)保真度准则为：平均失真度不大于允许的失真度。= 0 ZL= min(1 - tu)ge? (saf2)因为失真矩阵中每行都有一个0，所以有 皿财,而
4、风七二、综合题(每题10分，共60分)1. 黑白气象传真图的消息只有黑色和白色两种，求：1)黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图 上黑白消息出现前后没有关联，求熵尹伯/白）= 0.9具黑f白）= 0.12）假设黑白消息出现前后有关联，其依赖关系为：，户包黑） = 0.2 R黑凛）=庭m3），求其熵；可=黑知二白0. 30. 7答：1）信源模型为2R （龙1 =-旗户（妇1籍典妇=0.日81觇J符号 打3)=()典口/%)，E =1,24J-L2）由知十FK)=1财X）=-旗云F）F0J 0）1。幻典V%）= 0.5533淑J符号 则2.
5、 二元对称信道如右图。31若即）=即七求心温心）1）若，求 和；2）求该信道的信道容量和最佳输入分布。丑（为=0.&113虹符号答：1）7（7） = 0.0616血打符号2）C = 0.032度打符号，最佳输入概率分布为等概率分布。3.信源空间为SL S2 弓 % % S7 气0.4 0.2 0.1 0.1 0.05 0.05 0.05 0.05试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。答：1）二元码的码字依序为：10，11，010，011，1010，4 = 2.6 如F符号 =0.97平均码长，编码效率1011, 1000， 1001。2）三元码的码字依序为：1，00，02，2
6、0，21，22，010，玲=1.7奇打符号 7s平均码长，编码效率0.936011。4.设有一离散信道，其信道传递矩阵为3126_6131_2J， 1顶形广！并设k，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。答：1）最小似然译码准则下，有F顷J =五Fg =沔卢皿）=灼心24112）最大错误概率准则下，有100001H0100010000100010000100015.巳知一（8, 5）线性分组码的生成矩阵为00001H1求：1）输入为全00011和10100时该码的码字；2）最小码距。答：1）输入为00011时，码字为00011110 ；输入为1010
7、0时，码字为10100101。6. 设某一信号的信息传输率为5.6kbit/s,在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5X10-6mw/Hz。试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。7. 答：1）无错传输时，有5.6 为1/ =4xl03log2（；l即0.0328 *则P = 0.0328 阳神2）在时He = llog2 gF） = -5.4 bit 洎由度最大熵 2对应的输入概率密度函数为*）血06*10一3.65SK1IT32）最大错误概率准则下，有5. 答：1）输入为00011时，码字为000
8、11110；输入为10100时，码字为10100101。氏女1 =附”熟（1十里一N押6. 答：1）无错传输时，有5.5 刘1/ =4xl03log,n +工耳即2 睥/莎苻即0.0328 明神则p = 0 0328% = 唱(总月=-5.4胡很自由度2)在时，最大熵 上心=对应的输入概率密度函数为17o.206xW3onagerL (59 居住在某地区的女垓中有脂，昌【学牛，在女大学生中有丁宓是身高L6米以上的, 而女孩中0扇：6米以上.时占总藐的一半。假如我怕得知“身高1直米以上的某女孩是大学生的藉息，问荻得多少信息量蜂 世此表示“大学生这一事件.E表示“身高160以上这一事件.HHP ：
9、A) =0. 25 p (EJ =C. pB|A)=O. 75故 p(A|B)-p(AED /p (B) -p(A)p (B A) /p (B)-0. 75+fl. 25/0. 5-0. 375 危分)I (A |B) =-Loea. 375=1. 42bi 7 口分)四* (5)证明：平均侦信息量同信息烯之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明:/附)=落相膑*= -yy P(Jlog(A)_ _ yy .ryjlogp( J. )分X VL x F_同理(1分)(可x)=(v)/(x；yj因为(xr) = (x)+(yx) (i 分)故JJ(XY= (X)十 H(Y-1(X
10、Y)即/(X；r)= (x)+ H(Y)-H(XY)(1 分)/l.（18）.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为03白色出现的概率为0.7。绐出这个只有两个符号的信源X的数学模型。侵设图上黑臼消息出现胡后没有美联，求埔（X）：2）假设黑白消息出现前后有关联，其依赖关系为崩向,9, P（黑/白）01P白/黑)=0.2. R黑/ 黑) = 0.8.求其隔 8（X3）分别求上述两种信源的冗余度.比较它们的大小并说明其物理意义.解：1）信源模型为”】=黑a广白（1分）0. 30.7, *为=-1（角）屠脚）=0 881版/符号（2分）2）由题意可知该信源为一阶马尔科夫信源
11、。（2分）由珀】)十%) = 1得极限状态槌率如)=F(霎)=!（2分）丑20） =-女（3怎齐）屠？0“电=0.5533 况/符号（3分）?-1 -13)*3=0447L log： 2（1分）（1分）为八.说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱.而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）六、（180 .信源空间为X I丐与 丐P(X)rl 0-2 0.19 0.18卜 告 & xi0.17 0.15 0.1 0.01，试分别构造二元香农码和二元霍夫信源消息 符号q.符号概 率（）累加概率P,.Iogp(q)码字长度L码字0.2002.
12、323000“20.190.22.393001（%0.180.392.473011(140.170.572.5631000.150.742.743101(lG0.100.893.3241110a70.010.996.6471111110曼码，计算其平均码长和编码效率（要求有编码过程）.以=3.14(X) 2.61八=U.oOLL 3.140- 200. 200. 260. 350. 190. 190. 180. 170. 150. 180. 170. 150. 200. 190. 18,0. 390. 26。 350. 20，0. 19 10. 26 J0. 39A 61.0信源符号概率p（q
13、）码字V码长1,.%0.20102a20.1911230.180003a40.1700130.1501030.1001104.0.0101114o. loy 0.11 J o. oi_lJ能竺=鲍=。.96L 2.72比特/符号Z = !（，= 2.72码元/符号九、（18）设一线性分组码具有一致监督矩阵二1)2)3)4)求此分组码0=Zk=?共有多少码字？求此分组码的生成矩阵Ge写出此分组码的所有码字。若接收到码字C101001）,求出伴随式并给出翻译结果。解：1） n=6.k=3,共有8个码字。（3分）2）设码/ 二（仪悠环。）由优=。得qwq =0G ec3 c0 = o沌Ggg = 0（3分）
