《信息论与编码试卷G》由会员分享，可在线阅读，更多相关《信息论与编码试卷G（9页珍藏版）》请在金锄头文库上搜索。
1、1设无记忆信源(X(-1 0 1、 p(X)丿J/3 1/3 1/3 丿，接收符号AY=1/2, 1/2,失真矩阵1 0 1(11 2则Dmax= (4/3)，Dmin= (1 )；达到Dmin时的转移概率矩阵P=(1 01 01 0),达到Dmax)。时的转移概率矩阵P=(判断题(本题10小题,每小题1分，共10分)1.V2.X3.X4.V5.V6.X7.V8.X9.V10.V校验矩阵的各行是线性无关的。(1)()(2)冗余度是表征信源信息率多余程度的物理量，它描述的是信源的剩余。()(3)当信道固定时，平均互信息1(X，Y)是信源分布的U型凸函数。(4)设(7，4)循环码的生成多项式为g(
2、x)=x3x+l，当接收码字为0010011时，接收码字中有错。(5)互信息I(X;Y)与信息熵H(Y)的关系为：I(X;Y)WH(Y)。(6)信息率失真函数R(D)的定义域为D . , D ，其中D . =0, D是满足R(D)二0的min maxmmmax所有D中的最大的。(7)若要求发现2个独立随机错误，则要求最小码距d min= 3(8)设P为某马尔可夫信源的转移概率矩阵，若存在正整数N使得PN中的元素全都为0,则该马尔可夫信源存在稳态分布。信道容量随信源概率分布的变化而变化。(10) 个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它码字的前缀。二填空题（本题15空，每空1
3、分，共15分）一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，但不幸被人用外观相同但重量仅有微小差异的假珠换掉1颗。一人随手取出3颗，经测量恰好找出了假珠，这一事件大-log 239 二 6.32约给出（2 C240）比特的信息量；不巧假珠又滑落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这一事件给出（O）bit信息量。设信道转移概率矩阵为1 -8081 -8081 -8P 二（log3- H（8 ,1-8 ）;信道转移概率矩阵为1 -8 -8则该信道的信道容量为8 88 1-8-8的信道，其容量为(1- 8-8) log(1- 8-8) + 8 log
4、8 - (1- 8) log( 0.5 - 0.58)。惟一可译码指的是（任意有限长的码元序列只能被惟一地分割成一个个的码字），惟一可E m 古 1译码存在的充要条件是（满足不等式i=1）。110，100，00，10是否是惟一可译码？（是）；00，01，10，11是否是惟一可译码？（是）5 一袋中有5个黑球、10个白球，以摸一个球为一次实验，摸出的球重新放进袋中。第一 次实验包含的信息量为（0.918bit ）；第二次实验包含的信息量为（0.918 bit）。两次实 验XI和X2的关系是（相互独立）。三名词解释(本题4小题,每小题5分，共20分)1相对熵连续信源的不确定度无穷大，因此通常用相对
5、熵来衡量连续信源的熵，它描述的是两个 连续信源之间的相对值或差值。2即时码也称为异前缀码，非延长码，任意一个码字都不是其他码字的前缀部分。3平均失真失真函数d(xi;yj)是随机变量，因此要分析整个信源的失真大小，失真函数的数学期望或D =埜p(x , y )d(x , y ) 统计平均值来描述，即平均失真日冃 j j4随机错误错误的出现是随机的，一般而言错误出现的位置是随机分布的，即各个码元是否发生错 误是互相独立的，通常不是成片地出现错误。这种情况一般是由信道的加性随机噪声引 起的。四 计算题(本题3小题，共25分)1设有一离散信道，其信道转移概率矩阵为1216131 13 61 12 3
6、1 16 21，并设 P(P (P (x ) = 132，试：1)按最大似然概率译码准则确定译码规则;2)计算在此规则下译码的平均译码错误概率。(3+3=6分)解：1)根据最大似然概率译码规则，得译码规则为：F(y1)=x1 F(y2)=x2 F(y3)=x3 2)Y的概率分布为：1/4 1/4 1/2 收到y1后的错误概率Pe1=1/2 收到y2后的错误概率Pe2=1/2 收到y3后的错误概率Pe3=1/2 在此译码规则下的平均错误概率为：PE=p(y1)Pe1+P(y2)Pe2+P(y3)Pe3=1/4 X (1/2)+1/4 X (1/2)+1/2 X (1/2)=1/22设有离散无记忆
7、信源X,其概率分布为P (X) =0.4, 0.18, 0.1, 0.1, 0.07, 0.06,0.05, 0.04，求：1）信源符号熵H （X）；2）用哈夫曼编码编成二元变长码，并计算其编码效率；3）如要求译码错误小于10-6，采用定长编码达到90%的编码效率，需要多少个信源符 号一起编码？（3+3+4=10分）H（X ） = P log P = 2.55bit / 符号 解：1）该信源符号熵为日符号XIX2X3X4：X5X6X7X8概率001011.00000100010100010100011编码2) 平均码长 L =0.4 X 1+0.18 X 3+0.1 X 3+0.1 X 3+0
8、.07 X 4+0.06 X 4+0.05 X 5+0.04*5=2.61 H(X)二-工p.log2p.信源信息熵i=2.55 bit/符号H (X)2.55编码效率为 n = L = 2.61 x 100%=97.7%3) 设采用定长二元码有：工 pI2(X.)b 2 二 E|(X.)2 -H(X)2 = .11 -H(X)2=7.87-6.50=1.37 bit2H (X)= 90% 8= 0.283编码效率为90%即H(X) + 8b 2P 1.7 x 107按译码错误10-6有，e L2个，所以，需要L7x 107各信源符号一起编码，才可以达到90%的编码效率。3 设有编码如表所示:
9、解: 1)设信息位gm2)，码字Cc c cc )3 2 10，由编码规则Ic = m41c = m32 c = m + m212c = m11c = m + m012c +c +C = 0432 c +c = 041c +c +c = 0v 4301 ； 10 0d011伴随式0000010101001011110112)译码表110错误图样00000000010001000100010001000000011(10100)00110(10001)(3)正确译码的概率为:1 - P一 p)3 p 2 + C 3 (1 一 p I p 3 + C 4 (1 一 p )p 4 + C 5 p 5
10、 =1 - 8(1 - p) p2 -10(1 - pp3 一 5(1 - p)p4 - p5(2+2+2+2=8 分)信息码字0000000010110110101111111010(1) 找出生成矩阵G与监督矩阵H；(2) 在二元对称信道下给出最大似然译码的译码表;(3) 求正确译码的概率。(3+3+3=9分)五、综合题（本题3小题，共30分）1 一个无偏色子，抛掷一次，如果出现1, 2, 3, 4点，则把一枚硬币投掷一次；如果出现5, 6点，则硬币投掷二次。令X=xl表示掷色子出现1, 2, 3, 4； X=x2表示出现5, 6点；Y表示出现硬币正面的次数。求硬币投掷中正面出现的次数对于
11、色子出现点数所提供的信息I（X;Y）?（8分）解：由题意知，X和Y的关系图如下:1/2 y0 (无正面)xl 1/2 1/4 yl (1次正面)1/2x21/4 y2(2次正面)可以得出X的概率分布为：P(X=x1)=2/3 P(X=x2)=1/3Y的概率分布是：P(Y=yO)=5/12 P(Y=y1)=1/2 P(Y=y2)=1/125 1121I(X; Y)二 H(Y) - H(Y/X)二 H(, , ) - H(Y/ X 二 x ) H(Y/ X 二 x ) 12 2 123132751121 11111二 H(一，一， )- H(,)- H二 0.158bit 则： 12 2 1232
12、 234 2 4硬币投掷中正面出现的次数对色子出现点数所提供的信息为1.58bit。2设某卷积码的转移函数矩阵为G （D） = （1+D, 1+D2）,1）试画出该卷积码的编码器结构图；2）求该卷积码的状态图；3）求该码的自由距离df。（3+4+3=10分）解：1）编码器结果如下所示：（3分）2）状态图:3）假设初始状态为00,可以由上述的状态图看出：经路径00100100又回到初始 状态，并容易验证这是一条最短路径，由此得自由距离df=4o（3分）3 一个马尔可夫过程的基本符号为 0，1，2，这3 个符号等概率出现，并且具有相同的转移概 率，试：1）画出一阶马尔可夫过程的状态图；2）求稳定状
13、态下的一阶马尔可夫信源熵H1和信源冗余度；3）求稳定状态下二阶马尔可夫信源熵H2和信源冗余度。（3X4=12 分）解：1） 1阶马尔可夫过程，共3个状态，每个状态转移到其他状态的概率均为1/3。其状态图 如下：1/31/3 1/31/3 1/31/3 1/31/3（4 分）W p = W y W = 12）设状态的平稳分布为W=（W1,W2,W3）,根据I i i ，可求得W=（l/3,l/3,l/3）Hl 阶马尔可夫信源熵为 2二 3 x - x H（丄丄丄）二 1.58bit/ fuhao33 3 31 H 0r = 1 2 = 0冗余度 H0（4 分）3）如 2）方法，求得状态的平稳分布为 W=（1/9,1/9,1/9,1/9,1/9,1/9,1/9,1/9,1/9）1H = 9 log 3 = 1.585bit/ fuhao2阶马尔可夫信源熵为39可得2阶马尔可夫信源的冗余度=0 （4分）
