信息论与纠错编码题库 第二章 信息的度量 2.1 信在何种分布时，熵值最大？又在何种分布时，熵值最小？ 答：信在等概率分布时熵值最大；信有一个为1，其余为0时熵值最小 2.2 平均互信息量I(X;Y)与信概率分布q(x)有何关系？与p(y|x)又是什么关系？ 答： 假设信道给定，I(X;Y)是q(x)的上凸形函数； 假设信给定，I(X;Y)是q(y|x)的下凸形函数 2.4 设信道输入符号集为{x1,x2,……xk}，那么平均每个信道输入符号所能携带的最大信息量是多少？ 11答：H(X)-?q(xi)logq(xi)-log?logk kki 2.5 根据平均互信息量的链规那么，写出I(X;YZ)的表达式 答：I(X;YZ)?I(X;Y)?I(X;Z|Y) 2.6 互信息量I(x;y)有时候取负值，是由于信道存在干扰或噪声的原因，这种说法对吗？ 答：互信息量I(x;y)?logQ(xi|yj)，假设互信息量取负值，即Q(xi|yj)p,那么〔1-p〕/1，所以log1?p?0，在此区间上H(x),>0，pH(x)单调递增又该函数是在区间[0,1]上是关于p=1/2对称的函数，那么在区间[0.5,1]上单调递减。
所以，H(X)?H2(p)-plogp?(1?p)log(1?p)当p=1/2时，H(X)到达最大值 (2)二次扩展后的矩阵： [Xxx]?[121q(X)p(2)x1x2x2x1x2x2] 2p(1?p)p(1?p)(1?p) H(X)-p2logp2?p(1?p)logp(1?p)?p(1?p)logp(1?p)?(1?p)2log(1?p)2-2plogp?2(1?p)log(1?p)?2[?plogp?(1?p)log(1?p)]?2H(X) 2.10 一副扑克牌〔不用大小王〕，试问 (1) 任意特定排列给出的信息量是多少？ 〔2〕从52张牌中抽取13张，所给出的点数都不一样时得到多少信息量？ 〔3〕从52张牌中任意抽取1张，然后放回，结果试为从DMS中获得样本，这个DMS的熵为多少？ 〔4〕假设〔3〕中不计颜色，熵又为多少？ ?1?解：〔1〕I(xi)= —㏒-=225.6〔比特/符号〕 ?52!?52!413〔2〕I(xi)= -㏒(qi)= -log(13)=log(i13) 4*13!*39!c52(3)H(X)= N*H(x)=52*(-〔4〕H(x)= -log(11*log)=log52=2*log13=7.4(比特/符号) 52521)=3.7(比特/符号) 13 2.13平均每100个人中有2个患有某种病，为了查明病情进展某项指标的化验。
化验结果对病人总是阳性，而对于安康人来说，这项指标有一半可能为阳性，一半可能为阴性问这项化验对查明病情提供了多少信息量? 解： 病人：y1，安康人:y2 ?Y1Y2-Y--W(Y)-?149? -?5050-(X1|Y1)?1 ; ?(X1|Y2)-(X2|Y2)?P(X1Y1)?W(Y1)?(X1Y1)?P(X1Y2)?1 501 249 5049P(X2Y2)? 100H(Y|X)--p(XiYj)log?(yjyi)?0.056bit ij 2.14 一个8元编码系统，码长为4，每个码字的第一个字符一样〔用于同步〕，假设每秒产生1000个码字，求信息传输率Rt 答：信息传输率定义为Rt=H〔x〕/〔t*n〕 其中，H〔x〕= -错误！未找到引用logq〔xi〕 所以Rt=9*1000/4=2250〔Bit/Sec〕 2.17 等概信消息集：u0，u1，…u7，编码为u0=000，u1=001，… u7=111，通过错误概率为ｐ的二进制对称信道BSC传输，在接收u4=100的过程中，求： 〔1〕1与u4之间的互信息量； 〔2〕10与u4之间的互信息量； 〔3〕100与u4之间的互信息量。
答：〔1〕由I〔1；u4〕=log错误！未找到引用 又q(1)=错误！未找到引用 p(1|ui)=错误！未找到引用[4(1-p)+4p]=错误！未找到引用 推出I〔1；u4〕=log错误！未找到引用log2(1-p) 〔2〕同理，可得I〔10；u4〕=2log2(1-p) 〔3〕同理，可得I〔100；u4〕=3log2(1-p) 2.19 X,Y,Z为概率空间，证明下述关系式成立，并给出等号成立的条件 (1) H(YZ|X)<=H(Y|Z)+H(Z|X) (2) H(YZ|X)=H(Y|X)+H(Z|XY) (3) H(X|Z)<=H(X|Y)+H(Y|Z) 证明： (1)H(Y|Z)+H(Z|X)= -p(yizj)logij11-?p(zixj)log ?(yi|zi)ij?(zi|xi)= -p(yizj)logij?(zi|xi)； ?(yi|zi)H(YZ|X)--?p(xiyjzk)logp(yjzk|xi) ijk将其代入上式计算即可得原始成立； 第 页 共 页。