《信息论与编码习题》由会员分享,可在线阅读,更多相关《信息论与编码习题(3页珍藏版)》请在金锄头文库上搜索。
1、1. 通信系统的中心问题是在噪声下如何有效而可靠地_,以及实现这一目标的方法是_。2. 信源编码是以提高信息传输的_为目的的编码,信道编码是以提高信息传输的_为目的的编码,密码是以提高信息传输的_为目的的编码。3. 扔一枚硬币,结果是正面的不确定度为_,如果出现正面的概率为1,则该信源的信源熵为_。4. 二元随机变量X和Y,已知H(X)=0.5bit/符号,H(Y)=0.7bit/符号,若X和Y相互独立,则联合熵H(XY)= _,平均互信息I(X;Y)= _。5. 离散无记忆信源信源X中包含M个不同的离散消息时,当且仅当_时,信源熵取最大值_。6. 当消息经过多级处理后,随着处理器数目的增多,
2、输入消息与输出消息之间的平均互信息量趋于_。7. 信源编码按照码字的长度分为_编码和_编码。8. 如果一个码的任何一个码字都不是其他码字的前缀,则称该码为_。9. 设二元无记忆对称信道输入码字c=00101101,则其码重=_,设接收向量r=01001110,则差错图案e=_,c与r之间的码距d=_。10. 纠错码的最小距离为8,则该码字的检错能力为_,纠错能力为_。、 离散平稳无记忆信源,其信源熵为_,这个信源的二次扩展信源的熵为_。、 设输入序列R为1001 0111,输出序列C为1011 0100,则差错图样为_,汉明距离为_。、 纠错码的最小距离为5,则该码字的检错能力为_,纠错能力为
3、_。、 码字011010110的重量为_。1. 在通信系统中,在发送端通常先进行信道编码,再进行信源编码。( ) 2. 从一个事件获得另一个事件的平均互信息需要消除不确定度,一旦消除了不确定度,就获得了信息,这说明了信息就是负熵。( )3. 根据无失真信源编码定理和信道编码定理,信源熵H(x)、信息率R和信道容量C,三者之间的关系是CRH(x)。( )4. 由香农公式,当信道容量一定时,增大信道的带宽可以降低对信噪功率比的要求。( )5. 二进制变长码X=x1, x2, x3, x4 ,对应码长K1=1,K2=2,K3=2,K4=3,满足该码长的即时码(异前置码)存在。( )、 即时码一定是惟
4、一可译码。( )、 由香农公式,当信道容量一定时,增大信道的带宽可以降低对信噪功率比的要求。( )一个二进制信源X发出符号集0,1,经过离散无记忆信道传输,信道输出用Y表示,接收端除收到符号集0,1。已知X的先验概率:p(a0)=1/2, p(a1)= 1/2,XY0101联合概率 p(a0b0)=1/3, p(a0b1)= 1/6, p(a1b0)=1/6, p(a1b1)= 1/3求H(X), H(Y), H(X|Y), H(Y|X),H(XY)和I(X;Y)。设加性高斯白噪声信道中信道带宽3kHz,又设(信号功率+噪声功率)/噪声功率=20dB。试计算该信道的最大信息传输速率Ct。一信源X (x1, x2, x3, x4)经编码后得码字集合S (1, 01, 001, 0001)且一一对应。计算下列信道的信道容量,并写出信息率等于容量的条件(1) 信道转移概率矩阵;(2) 信道转移概率矩阵;设有一单符号离散无记忆信源对其进行二进制哈夫曼编码,并计算平均码长和编码效率。.