《东南大学《信息论与编码》课后答案》由会员分享，可在线阅读，更多相关《东南大学《信息论与编码》课后答案（62页珍藏版）》请在金锄头文库上搜索。
1、习题（第 1 章） 习题（第 1 章） 1. 一位朋友很不赞成“通信的目的是传送信息”及“消息中未知的成分才算是信息”这些说法。他举例说：我多遍地欣赏梅兰芳大师的同一段表演，百看不厌，大师正在唱的正在表演的使我愉快，将要唱的和表演的我都知道，照你们的说法电视里没给我任何信息，怎么能让我接受呢？请从信息论的角度对此做出解释。（主要从狭义信息论与广义信息论研究的内容去理解和解释） 答： 从狭义信息论角度说，虽然将要表演的内容观众已知，但每一次演出不可能完全相同。而观众在欣赏的同时也在接受着新的感观和视听享受。从这一角度来说观众还是可以得到新的信息的。另一种解释可以从广义信息论角度来说，它涉及了信息
2、的社会性，实用性等主观因素，同时受知识水平、文化素质的影响。京剧朋友们在欣赏京剧时也因为主观因素而获得了享受，因此属于广义信息论范畴。 2利用图1.2 所示的通信系统分别传送同样时间（例如十分钟）的重大新闻公告和轻音乐，它们在接收端各方框的输入中所含的信息是否相同，为什么？ 答： 重大新闻是语言，频率为300-3400Hz,而轻音乐的频率为20-20000Hz。同样的时间内轻音乐的采样编码的数据要比语音的数据量大，按码元熵值，音乐的信息量要比新闻大。但在信宿端，按信息的不确定量度信息量就应分别对待，对于新闻与音乐的信息量大小在广义来说因人而异。 1 习题（第 2 章） 习题（第 2 章） 1
3、一珍珠养殖场收获 240 颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉 1 颗。 （1）一人随手取出 3 颗，经测量恰好找出了假珠，问这一事件大约给出了多少比特的信息量； （2）不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多 6 次能找出，结果确是如此，问后一事件给出多少信息量； （3）对上述结果作出解释。 解： （1）从240 颗珠子中取3 颗，含1 颗假珠的概率为 801 3 2402 239=CCP（2） 240 颗中含1找到假珠， 是必然事件，因n 对信息量的定义，只有事件含有不确知成分，才有信息量，且每帧电视图像可以认为是由310
4、5个象素组成，所有象素均独立变化，且每一电视图像每个像素取128 个不同的亮度电平，并设电平等概率出现，则每颗假珠， 用天平等分法最多6 次即可此信息量为0。 （3）按照shanno不确知成分越大， 信息量越大， 必然事件则没有信息量。 但从广义信息论来说，如果那人不知用天平二分法找假珠，另一人告之此事，使他由不知到知，也应该含有一定的信息量。 2象素又取128 个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？如果一个广播员在约10000个汉字的字汇中选取1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，且彼此独立）？若要恰当
5、地描述此图像，广播员在口述中至少需用多少汉字？ 解：设个像素亮度含有的信息量为 )(H7128 = lb比特/像素 化的， 则每帧图像信亮度信源的无记忆N 次扩NHXH 比特/每帧 从10000 个汉字字汇中选取的，假设汉率分)(32.680loglog22bitPI = =X一帧中像素均是独立变源就是离散展信源。得每帧会图像含有的信息量为 =XN6101 . 2)()(=广播口述时，广播员是字字汇是等概布的，则汉字字汇中每个汉字含有的信息量 1 ( )1000013.H Ylb=29比特/字 从此汉字字汇信源中独立00个字来描述的。所比特/千字 汇信源Y中独立地选取汉字来描述电视图像， 每次
6、口述一个汉字含有信息量是H(Y)，每帧电视图像含有的信息量是XH，则广播员广播员口述电视图像是地选取10以，广播员描述此帧图像所广播的信息量为 N4410329. 1101000)()(=lbYNHYH若广播员仍从此汉字字)(N口述此图像至少需要的汉字数等于 1580001058. 129.13101 . 2 )()(56XHN =YH字 已知 X： 1, 0 p (1) 求证解释其含义。 2） H(p)曲线说明，当0与1等概出现时，即p=0.5时，熵最大。当p由0.5分别证明H(X3|X1X2) H(X2|X1)，并说明等式成立的条件。 X1,X2,X3,。又设3P(X)： p, 1 ：H(
7、X) = H(p) (2) 求H(p)并作其曲线，（1）证明 (H （该趋向于0和1时，熵逐渐减小至0。 4证明：设离散平稳信源输出的随机符号序列为H(p)10.5 10p)0()1 () 1 ()IppIX+=)()1 ()1 (pHplbpplbp=2 11Xx ,22Xx ,而 且都 取 自 于 同 一 符 号 集33Xx 321,xxxgaaaA,21?=，并满足有 1)()()(, 1)|(, 1)|(, 1)|(3213323212132312=XXXXXXxPxPxPxxxPxxPxxP)()()()()()(1)(1)()()(2132131321323213213132213
8、21123132312xxPxxxPxxPxxxPxxPxxxPxxxPxxPxxPxxPXXXXXXXXXXXX=在区域0，1内设f(x)=xlogx, f(x)在0，1内是型凸函数，所以满足詹森不等式 =qiqiiiiixPfxfP11)()( 其中 11i= =qiP现今)|(123xxxPxi=,设其概率空间为，并满足 )|(21xxP=11)|(21 XxxP 所以根据詹森不等式得 )|()|(log)|()|()|(log)|()|()|(log)|(log)|(213212132121321321212121111111xxxPxxPxxxPxxPxxxPxxxPxxPxxxPx
9、xxPxxxxPXXXXi Xi Xii所以 3 )()|()()|()()(22322313232111 xPxxPxPxxxPxxPxxxPXX=上式对所有的取值都成立，所以 321,xxx)|(log)|()|(log)|()|()|()|()|()|(2323213231232132123231111xxPxxPxxxPxxxPxxPxxxPxxPxxPxxxPXXX=所以因为222, 1)(0XxxP，所以上式两边相乘，等号不变。有 )|(log)|()()|(log)|()(2323221323121xxPxxPxPxxxPxxxPxPX 上式对所有都成立，所以对所有求和下式也成立
10、 32,xx32,xx23123)|(log)()|(log)(2332213321 XXXXXxxPxxPxxxPxxxP 因为 H(X3|X1X2) H(X3|X2) 所以是平稳信源 H(X3|X2) = H(X2|X1) 得 H(X3|X1X2) H(X2|X1) 只有当)|()|(23213xxPxxxP=(对所有)时等式成立。 321,xxx5设有一概率空间，其概率分布为p1, p2, , pq，且p1p2。若取， ，其中0 =的小数 得 4 12 12122 121212 12121 1212(1)(1)ppapa ppppppppppa papppppppp+=+=+=+=因为f
11、(x)=xlogx是型函数，根据型凸函数的定义有 )()1 ()()1 (2121pfapafpaapf+ 所以 )()1 ()()(212pfapafpf+ 即 loglog)log()(22 2121 11 2122pppppppppppp+ 同理得 loglog)log()(22 2111 2121 11pppppppppppp+ 以上两不等式两边相加，不等号不变。 所以得 1122112()log()()log()loglog2pppppppp+ 6 某办公室和其上级机关的自动传真机均兼有电话功能。 根据多年来对双方相互通信次数的统计，该办公室给上级机关发传真和打电话占的比例约为3:7
12、，但发传真时约有5%的次数对方按电话接续而振铃， 拨电话时约有1%的次数对方按传真接续而不振铃。 求： （1） 上级机关值班员听到电话振铃而对此次通信的疑义度；（2）接续信道的噪声熵。 解： 设发传真和打电话分别为事件X1与X2,对方按传真和按电话接续分别为事件Y1和Y2,则 P(X1)=30%,P(X2)=70% P(Y1|X1)=95%, P(Y2|X1)=5%, P(Y1|X2)=1%, P(Y2|X2)=99% P(X1Y1)=0.285, P(X1Y2)=0.015 P(X2Y1)=0.007, P(X2Y2)=0.693 P(Y1)= P(X1Y1)+ P(X2Y1)= 0.292
13、 P(Y2)=1 P(Y1)= 0.708 5 H(X)= P(X1)lb P(X1) P(X2)lb P(X2) =0.8814 bit/符号 H(Y)= P(Y1)lb P(Y1) P(Y2)lb P(Y2) =0.8713 bit/符号 H(XY)= =1.0239 bit/两个信符 =I(X;Y)=H(X)+H(Y) H(XY)=0.7288 bit/信符 11 ji22 )()(XiYjlbPXiYjP（1）听到电话振铃的疑义度 H(X|Y2)= P(X1Y2)lb P(X1Y2) P(X2Y2)lb P(X2Y2)= 0.4575 bit/信符 （2）接续信道的噪声熵 H(Y|X)
14、=H(Y)I(X;Y)=0.1425 bit/信符 7四个等概分布的消息M1，M2，M3，M4被送入如图所示的信道进行传输，通过编码使M1 = 00，M2 = 01，M3 =10，M4 =11。求输入是M1和输出符号是0的互信息量是多少？如果知道第2个符号也是0，这时带来多少附加信息量？ X Y 0 0 p p 1 1 pp 图2.6 解：信源P(M1)= P(M2)= P(M3)= P(M4)=1/4, 信道为二元对称无记忆信道，消息Mi与码字一一对应，所以设)( 21iiixxM =设接收序列为Y=(y1y2) 接收到第一个数字为0，即y1=0。那么，接收到第一个数字0与M1之间的互信息为
15、 )0()|0(log)0;(111 11=yPMyPyMI 因为信道为无记忆信道，所以 pPxyPxxyPMyP=)0|0()0|0()00|0()|0(1211111111同理，得)|0()|0()|0( 121111iiiixyPxxyPMyI= 输出第一个符号是y1=0时， 有可能是四个消息中任意一个第一个数字传送来的。 6 所以 21)1|0() 1|0()0|0()0|0(41)|0)()0(1111413121114111=+=+=+= =xyPxyPxyPxyPMyMPyPiii故得 plbyMI+=1)0;(11比特 接收到第二个数字也是0时，得到关于M1的附加互信息为 )0;()00;()0|0;(11211121=yMIyyMIyyMI 其中 )00()|00(log)00;(21121 211=yyPMyyPyyMI 同理，因为信道是无记忆信道， 所以 )|0()|0()|00()|00(2121212121iiiii xyPxyPxxyy
