《信息论基础理论与应用考试题和答案》由会员分享，可在线阅读，更多相关《信息论基础理论与应用考试题和答案（10页珍藏版）》请在金锄头文库上搜索。
1、信息论基础论与应用考试题一填空题（每题 2分，共20分）1. 信息论研究的目的就是要找到信息传输过程的共同规，以提高信息传输的 （可靠性）（有效性）保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的）2. 电视屏上约有500x600=3x 105个格点，按每点有10个同的灰等级考虑，则可组成10 3 105个同的画面。按等概计算，平均每个画面可提供的信息约 为（106bit/ 画面）。（考点：信息的概及计算）3. 按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类）4. 英文电报有32个符号（26个英文字母加上6个字符），即q=3
2、2。r=2，N=1，即对信源S的逐个符号进二元编码， 则每个英文电报符号至少要用（5）位二 元符号编码才。（考点：等长码编码位数的计算）5. 如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概 的那个输入符号，则信道的错误概最小， 这种译码规则称为（最大后验概 准则）或（最小错误概准则）。（考点：错误概和译码准则的概）6. 按码的结构中对信息、序处方式同，可将纠带码分为（分组码）和（卷积 码。（考点：纠错码的分类）7. 码 C= （0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）是（4_， 力）线性分组码。（考点：线性分组码的基本概）8. 定义自信息
3、的数学期望为信源的平均自信息 ，即 （H（X） = E log 源=_丈 P（a ）log P（a ）。=厂（匕）i=1（考点：平均信息的定义）9. 对于一个（n,k）分组码，其最小距离为d，那么，能纠正 t个随机错误，同时能检测e （eNt）个随机错误，则要求（dt+e+1）。（考点：线性分组码的纠检常能概）10. 和离散信道一样，对于固定的连续信道和波形信道有一个最大的信息传输速，称之为（i。（考点：连续信道和波形信道的信道容）二判断题（每题 2分，共10分）1. 信源剩余的大小能很好地反映离散信源输出的符号序中符号之间依赖关系的强弱，剩余越大，表示信源的实际熵越小。（对）（考点：信源剩余
4、的基本概）2. 信道的噪声是有色噪声，称此信道为有色噪声信道，一般有色噪声信道是无记忆信道。（常）（考点：有色噪声信道的概）3. -组码中所有码字相同，即所有信源符号映射到同的码符号序，则称此码为非奇异码。（对）（考点：非奇异码的基本概）4, 在一个二元信道的n或无记忆扩展信道中，输入端有2n个符号序可以作为消息。（对）5. 卷积码的纠错能随着约束长的增加而增大-般情况下者积码的纠错能于分组码。（常）（考点：者积码的纠错能）三名词解释（每题 3分，共12分）1. 信源编码信源编码是对信源输出的”息进适当的变换和处，目的是为提高信息传输的效，所以又称为信源压缩编码。（考点：信源编码的基本概）2.
5、 马尔可夫信源信源某t时刻所处的状态由当前的输出符号和前一时刻（t-1）信源的状态唯一决定，则称此信源为马尔可夫信源。（考点：马尔可夫信源的基本概）3. 熵功平均功为 P的非高斯分布的信源具有熵为h，称熵也为h的高斯信源的,-“ C 二 1平均功为熵功 P，即熵功是 P =eh。2口 e（考点 :熵功的定义）4. 即时码在唯一可译变长码，有一类码，它在译码时无须参考后续的码符号就能即做出判断，译成对应的信源符号，则这类码称为即时码。（考点：即时码的定义）四简答题(每题 4分，共16分)1信息熵的基本性质有哪些？答：信息熵的基本性质包括对称性确定性非负性扩展性可加性可强加性递增性极值性上凸性。(
6、考点：信息熵的基本性质)2由香农公式可以得出的重要结论有哪些？答：(1)提高信号与噪声功之比能增加信道的信道容；(2) 当噪声功趋近于时，信道容趋于无穷大，这意味着无干扰连续信道的信道容为无穷大；(3) 信道容一定时，带宽传输时间和信噪功比三者之间可以互换；(4) 增加信道带宽(也就是信号的带宽)，并能无限制地使信道容增 大；(5) 给出无错误通信的传输速的论极限，成为香农极限。(考点：对香农公式的深入解所得出的重要结论)3 (n,k)线性分组码的重要性质有哪些？答：(1) (n,k)线性分组码由其生或矩阵G或校验矩阵H确定；(2) 封闭性；(3) 含有码字；(4) 所有许用不码字可由其中一组
7、k个独不码字线性组合而成；(5) 码的最小距离等于非码的最小重。(考点：(n,k)线性分组码的重要性质)4通信网络信道可划分或哪几种情况？答：(1)多址接入信道；(2)广播信道；(3)中继信道；(4)扰信道；(5) 双向信道；(6)多用户通信网；(7)具有反馈的信道。(考点：通信网络信道的划分)五计算题(每题 8分，共32分)1 有一布袋内放100个球，其中90个球是红色的，10个球是蓝色的，随机 推取-个球，猜测其颜色，求平均推取-或所能获得的自信息。(考点：自信息的基本概及计章方法 )解：这一随机事件的概空间为-X -=a a_ p(x) _0.9 0.i_匕表示推出的是红球a2 表示推出
8、的是蓝球被告知推出的是红球，那么获得的信息为I(a1 )=-logp(a1 )=-log0.9 比特被告知推出的是蓝球，那么获得的信息为I( a2 )=-logp( a2 )=-log0.1 比特每次推出一个球后又放回去， 再进第二次摸取。 那么摸取 n或后，红球 出现的次数为n p(a1 )或，蓝球出现的次数约为n p(a2)或。则推取n次后总共 所获得的信息为n p(a )I(a )+n p(a )I(a )1122所以，平均推取一次所能获得的信息约为H(X) = 一p(a1)log p(a1) + p(a2)log p(a2)=寸 p(a )log p(a )i=1=0.9log 0.9
9、 一 0.1log0.1=0.469比特/符号2设二进制对称信道的传递矩阵为2 13 31 23 3H(Y|X)和 H(X;Y)。p(0)=3/4，p(1)二1/4，求H(X) H(X|Y)（考点：信息熵和条件熵的计算）解：联合概矩阵为r21 r11 P rp(0) 0 a3-24XY 0p(1)1_ 323 _1_1216 _边缘概分布为P = p(0) p(1)d_111 1_75P = + + =丫 L 2 12 4 6|_12 12H(X)= p(0)log 2 p(0) p(1)log p(1) = 0.811bit132323又信道传递矩阵py |x= 13H(Y I X)=-色
10、2 p(xy )log p(y I x )i jj ii=1 j=112111112=_ log _ log - log _一 log -2234231223623=0.918bit7755H (Y)=-仍 log2 仍-仍 log212 = 0.98bitH (X IY) = H (X, Y) - H (Y)=H (X) + H (YI X) - H (Y)=0.811 + 0.918 - 0.98=0.749bitI(X; Y) = H(X) - H(Y I X) = 0.811 - 0.749 = 0.06bit3 有一个二元对称信道，其信道矩阵如下图所示，设该信道以1500个二元符号/
11、秒的速传时输入符号。现有一消息序共有 14000个二元符号，并设在这消息中P(0) = P(1)=-。问从信息传输的角夹考虑，10秒钟内能否将这消 2息序无失真的传送完。0.020.98(考点：对二元对称信道的最大的信息传输速，最大信息传时速和最大信息 的深入解及运用)群：消息是一个二元序，这二元符号是等概分布，即P(0) = P(1)=-，所以2消息信源的熵H(X) = 1 (比特/符号)，即每个二元符号含有1比特信息。 那么这消息序含有信息 =14000符号X1 (比特/符号)=1.4x104 (比特)现计算这二元对称信道能传输的最大的信息传输速。这信道是二元对称信道，信道传递矩阵0.98
12、 0.02一 P =_0.02 0.98_所以其信道容(即最大信息传输)C = 1 - H(p) = 1 - H(0.98)总 0.8586 比特/ 符号得最大信息传输速R注1500符号/秒*0.8586比特/符号w 1287.9比特/秒1.288 x 103 比特/秒此信道10秒钟内能无失真传输的最大信息为=10 x R w 1.288 x 104 比特可见，此信道10秒内能无失真传输的最大信息小于这消息序所含有的信息，所以从信道传输的角夹考虑，可能在 10秒钟内将这消息无失真的传送完。4.线性分组码生或矩阵为110 10 0 00 110 10 0G=0 0 110 100 0 0 1 1
13、 0 1(1)由该G矩阵指出(n,k)码的信息位和监督元位数。(2) 由G矩阵确七对应的(n,k)循环码生成多项式。(3) 给出对应的H矩阵(系统码形式)。(4) 该亥(n,k)码的最小汉明距离d尸多少？(考点：对线性分组码的深入解及应用)x-1 g (x)群：由G=虬Q =xg ( x)g (x),Q = PT, H = PI , d =尸解题r 0(1)信息位k=4,监督元位r =3,n =7。(2)日G矩阵得(7，4)循环码生成多项式g(x)=x3 + x2 +1G=(3)110 10 1100 0 110 0 0 10 0 01000101011 00 1 - -0 00 000110
14、0001 110 11101101=IQ kH = PI =QtI -=10 1110 01110 0 100 1110 0 1(4) 3汉明距离d0= r =3五：证明题(10公)1.设信道输入随机变为X，输出随机变为Y和Y。并且在已知X的条件下，12Y和Y为等概密分布。12证明：(1) I(X; YY ) = 21(X; Y) -1(Y; Y )(2)2倍的信道的信道容。12112信道I的信道容小（考点：对信道容的深入解及应用）证明：（1）已知I(X; YY ) = I(X; Y) +1(X; Y I Y)1 2121=h(YY ) - h(YY I X)1212=h(Y) - h(Y) + h(Y ) - h(Y ) + h(YY ) - h(Y I X)11221 21-h(Y I X) + h(Y I X) + h(Y I X) - h(YY I X)2121 2=h(Y) - h(Y I
