《信息论与编码A》由会员分享,可在线阅读,更多相关《信息论与编码A(9页珍藏版)》请在金锄头文库上搜索。
1、填空题(本题15空,每空1分,共15分)一个消息来自于四符号集a,b,c,d,四符号等概出现。由10个符号构成的消息1/2 1/3 1/6_1 0 0,P =1/6 1/2 1/30 0 121/3 1/6 1/2,则此信道“abbbccddbb所含的信息量为(20 ) bit,平均每个符号所包含的信息量为(2 ) bit。P =1两个二元信道的信道转移概率矩阵分别为的信道容量C1=( 1bit/符号),信道2的信道容量C2=( 0.126bit/符号)。两信道串联P 二后,得到的信道转移概率矩阵为(1/2 1/3 1/61/3 1/6 1/2),此时的信道容量C=( 0.126bit/符号)
2、。条件熵H(Y/X)的物理含义为(唯一地确定信道噪声所需要的平均信息量),所以它又称为(噪声熵或散布度)。)。一袋中有5个黑球、10个白球,以摸一个球为一次实验,摸出的球重新放进袋中。第一次实验包含的信息量为(0.915bit/符号);第二次实验包含的信息量为(0.915bit/符号线性分组码的伴随式定义为(S=EHT ),其中错误图案E指的是(E=R-C (mod M)。二进制码中,差错个数可等效为(收码和发码的汉明距离)。6设有一个二元等概信源:u=0, 1, P0=P=l/2,通过一个二进制对称信道BSC,其失真 di 丰j p 二i 丰 j函数djj与信道转移概率气二卩/片)分别定义为
3、ij i = j, ji I* i二j,贝帙_0真矩阵叫=(L1 ),平均失真D= ( 8 )。(1) I(pi) = - logR被定义为单个信源消息的非平均自信息量,它给出某个具体消息信源的 信息度量。()二 判断题(本题10小题,每小题1分,共10分)1.V2.V3.X4.X5.X6.V7.X8.V9.X10.V信息度量。()(2) 异前置码一定是唯一可译码。()(3) 无记忆离散消息序列信道,其容量C鼻各个单个消息信道容量之和。()(4)冗余度是表征信源信息率多余程度的物理量,它描述的是信源的剩余。()(5) 当信道固定时,平均互信息,Y)是信源分布的U型凸函数。()(6) BCH码是
4、一类线性循环码,其纠错能力强、构造方便。()(7) R(D)被定义为在限定失真为D的条件下,信源的最大信息速率。()(8)设P为某马尔可夫信源的转移概率矩阵,若存在正整数N使得PN中的元素全都为0,则该马尔可夫信源存在稳态分布。()(9) 信道容量随信源概率分布的变化而变化。()(10)如果两个错误图样e1、e2的和是一个有效的码字,则它们具有相同的伴随式。()三 名词解释(本题4小题,每小题5分,共20分)1极限熵序列长度趋于无限大时,序列的平均符号熵称为极限熵,又称极限信息量。2最佳变长码变长编码中,所有编出的唯一可译码中平均码长最短的码即为紧致码。3限失真信源编码离散无记忆信源X的信息率
5、失真函数为R(D),当信息率大于R(D)时,只要信源序列的 长度足够长,一定存在一种编码方法,其译码失真小于或等于D+8 ;反之,则无论采用什么方法,其译码失真必大于D。4信道容量平均互信息I(X; Y)在转移概率p(y/x)定时,关于X的概率分布是上凸函数,因此c = max i( x ; y)有极大值存在,这个极大值定义为信道容量p (xi)四计算题(本题3小题,共25分)1216131 13 61 12 31 16 2,并设 P(+)= P(3)= 4,P(3)= 2,(71有一离散信道,其信道矩阵为试按最大似然概率译码准则确定译码规则,并计算其相应的平均译码错误概率。分) 解:根据最大
6、似然概率译码规则,得译码规则为:F(y1)=x1 F(y2)=x2 F(y3)=x3( 1 分)收到y1后的错误概率Pe1=1/2 (1分)收到y2后的错误概率Pe2=1/2 (1分)收到y3后的错误概率Pe3=1/2 (1分)Y的概率分布为:1/4 1/4 1/2 平均错误概率为: PE=p(y1)Pe1+P(y2)Pe2+P(y3)Pe3=1/4*(1/2)+1/4*(1/2)+1/2*(1/2)=1/2(3 分)2彩色电视显像管的屏幕上有5X105个像元,设每个像元有64种彩色度,每种彩色 度又有16种不同的亮度层次,如果所有的彩色品种和亮度层次的组合均以等概率出 现,并且各个组合之间相
7、互独立。试:1)计算一帧图像所包含的信息量;2)计算每秒传送25帧图像所需要的信道容量;3)如果信道上信号与噪声平均功率的比值为30dB,为实时传送彩色电视图像,信道的通频带应为多大?(3+3+3=9分)解:1)一帧图像的信息量=5*105*6*4bit=1.2*107bit (3 分)2)1秒送25帧图像所需的信道容量C=1.2*107*25/s=3*108bit/s (3分)3)根据香农公式C=Blog(1+SNR),可得: 通频带 B=C/log(1+1000)=1*108 Hz (3 分)3考虑一个(8, 4)系统线性分组码,其校验位与信息位的关系是:C3二聊1 +朋2 +眈4U2 =
8、険1+醴3 +诙4Ci = m2 + mzCo = 険2 + 戲m + 燃4,其中m叫是信息位(码兀),C3CQ是校验位。1)求出此分组码的生成矩阵G和校验矩阵H。(码字排列为m1m4C0C3)2)求此码的最小距离d .。min3)若输入信息m=(1010),试求对应的输出码字。4)若接收序列R= (10111010),试判断接收是否有错?并说明理由。(2+2+2+3=9 分)00111011010111011011=I4 P (1 分)100010G 二001011110001110010010110010校验矩阵H=11010001= PT I4(1 分)解:1)生成矩阵|_0002)该码
9、的最小汉明距离dmin=4 (2分)(2分)3)输入信息序列m=(1010),输出码字C=mG=10101001(3分)4)R=10111010,由RHt=1 0 0 0,不等于0,判断出接收有错。五 综合题(本题3小题,共30分)Xi信源符号x的概率空间为LPx x1 2.1 9,每次两个符号一起编码,试写出其哈夫曼编码,并求其平均码长L和编码效率。(4+4=8分)解:哈夫曼编码参考答案:0,11,100,101 (哈夫曼编码并不唯一)(4分) 平均码长=0.81+0.09*2+0.10*3=1.29bit/2 符号=0.645bit/符号 (2 分)耳=h( x)= h(0丄0.9)= _
10、047 = 073编码效率L 0,6450,645(2分)2设某卷积码的转移函数矩阵为G (D) = (1+D, 1+D2),1) 试画出该卷积码的编码器结构图;2) 求该卷积码的状态图;3) 求该码的自由距离df。(3+4+3=10分) 解:1)输出与输入之间的关系为:g1(x)=(110),g2(x)=(101) 输出 C0(i)=m0(i)+m0(i-1)C1(i)= m0(i)+m0(i-2)(3 分)编码器结果如下所示:2)状态图:00/000/13)自由距离df=6 (3分)3设有一个二进制二阶马尔可夫信源,信源符号集为0,1。条件概率为: p(0|00)=p(1|11)=p(1|
11、00)=p(0|11)=0.5二p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5。 试:(1)求出状态转移矩阵P = P(S/S);(2) 画出该马氏信源的状态转移图;j i(3) 求出各状态的平稳分布W ;igo(3+3+3+3=12 分)(4)求出该信源的极限熵H 解:1)状态转移矩阵(3分)1/201/201/201/2001/201/20 _1/201/21/2 1/22)共4个状态,(3分)1/21/21/2 1/2 3)根据 WP=W 和Wi =1 求 Wi(3 分)1/2W1=W2=W3=W4=1/4Hp(S = Si)H(U / S = Si) = 1bit / fuhao4) g m(3 分)