《信息论试题5》由会员分享，可在线阅读，更多相关《信息论试题5（15页珍藏版）》请在金锄头文库上搜索。
1、题 号一二三四五六七总 分得 分评卷人一、填空题（共25分，每空1分）1、连续信源的绝对熵为 。2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 。3、无记忆信源是指 。 4、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 码，对概率小的符号用 码，这样平均码长就可以降低，从而提高 。5、为了提高系统的有效性可以采用 ，为了提高系统的可靠性可以采用 。6、八进制信源的最小熵为 ，最大熵为 。7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 时，信源具有最大熵，其值为 。8、即时码是指 。 9、无失真
2、信源编码定理指出平均码长的理论极限值为 ，此时编码效率为 ，编码后的信息传输率为 。10、一个事件发生概率为0.125，则自信息量为 。11、信源的剩余度主要来自两个方面，一是 ，二是 。12、m阶马尔可夫信源的记忆长度为 ，信源可以有 个不同的状态。13、同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 比特，当得知“面朝上点数之和为8” 所获得的信息量为 比特。14、在下面空格中选择填入数学符号“，”或“” 。二、（5分）已知信源的概率密度函数为，计算信源的相对熵。三、（10分）一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。（1）已知信道上的
3、信号与噪声的平均功率比值为20，计算该信道的信道容量。（2）如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？（3）如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？四、（16分）一个离散无记忆信源1) 求和冗余度；2) 编成Fano码，计算编码效率；3) 编成Huffman码，计算编码效率 五、（6分）设一个离散无记忆信源的概率空间为它们通过干扰信道，信道输出端的接收符号集为，已知信道传输概率如下图所示。试计算： （1）信源中事件和分别含有的自信息量；（分）（2）收到信息后，获得的关于的信息量；（分）（3）信源的
4、信息熵；（分）（4）条件熵，；（分）（5）共熵、信道疑义度和噪声熵；（分）（6）收到消息后获得的关于信源的平均信息量。（分）六、（分）设某信道的传递矩阵为 （1）若输入符号，求和。（2）计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。七、（16分）有一个二元二阶马尔可夫信源，其信源符号集为0，1，初始概率大小为，。条件概率定为（1） 画出该信源的状态转移图。（2） 计算达到稳定后状态的极限概率。（3） 该马尔可夫信源的极限熵。（4） 计算达到稳定后符号0和1的概率分布。信息论基础试卷答案一、填空题（共25分，每空1分）1、连续信源的绝对熵为 无穷大。（或） 2、离散无记忆信源在进行
5、无失真变长信源编码时，编码效率最大可以达到 1 。3、无记忆信源是指 信源先后发生的符号彼此统计独立 。4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或或)时，信源具有最大熵，其值为 0.6155hart(或1.
6、625bit或)。8、即时码是指 任一码字都不是其它码字的前缀 。9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或Hr(S)或)，此时编码效率为 1 ，编码后的信息传输率为 lgr bit/码元 。10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。12、m阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 qm 个不同的状态。13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得
7、的信息量为 lg36/5=2.85 比特。14.在下面空格中选择填入的数学符号“=，”或“” H(XY) = H(Y)+H(XY) H(Y)+H(X)信息论基础试卷第15页二、(5分)已知信源的概率密度函数为，计算信源的相对熵。-3分bit/自由度-2分三、(10分)一个平均功率受限的连续信道，信道带宽为1MHz，信道噪声为高斯白噪声。(1)已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。(2)如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？(3)如果信道带宽降为0.5MHz，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少
8、？1) -3分b/s-1分2) Hz-3分3) =440-3分四、(16分)已知信源共7个符号消息，其概率空间为 试用霍夫曼编码法编成二进制变长码。并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。要求写出详细的编码过程和计算过程。-6分位-2分bit/符号-2分bit/码字-2分-2分bit/码元-2分五、(16分)设一个离散无记忆信源的概率空间为它们通过干扰信道，信道输出端的接收符号集为Y =b1,b2，已知信源传输概率如下图所示。试计算：(1)信源X中事件x1和x2分别含有的自信息量；(2分)(2)收到yj(j=1,2)后，获得的关于x1的信息量；(2分)(3)信源X的信
9、息熵；(2分)(4)条件熵H(Yx1)，H(Yx2)；(2分)(5)共商H(XY)、信道疑义度H(XY)和噪声熵H(YX)；(6分)(6)收到消息Y后获得的关于信源X的平均信息量。(2分) (1)I(x1)=-log0.5=1bit-1分I(x2)=-log0.5=1bit-1分(2)I(x1;y1)=lg0.831/0.5(或=lg0.98/0.59)=0.733-1分 I(x1;y2)=lg0.024/0.5(或=lg0.02/0.41)=-4.38-1分(3)H(x)=H(0.5,0.5)=1bit/符号-2分(4)H(yx1)=H(0.98,0.02)=0.142bit/符号-1分H(
10、yx2)=H(0.8,0.2)=0.722bit/符号-1分(5)H(y)=H(0.59,0.41)=0.977 H(xy)=H(0.49,0.01,0.1,0.4)=1.432bit/二符号-2分 H(xy)=H(xy)-H(y)=0.455bit/符号-2分 H(yx)=H(xy)-H(x)=1.432-1=0.432bit/符号-2分(6)I(x;y)=H(x)+H(y)-H(xy)=0.545bit/符号-2分六、(12分)设某信道的传递矩阵为(1)若输入符号P(x1)=P(x2)=1/4，P(x3)=1/2，求H(XY)和I(X;Y)。(2)计算该信道的信道容量，并说明达到信道容量的
11、最佳输入概率分布。(1)-写出公式2分H(XY)=，I(X;Y)=H(X)-H(XY)=1/3，同理：p(y2)=7/24，p(y3)=3/8-计算过程4分同理：p(x1y2)=2/7，p(x1y3)=1/9p(x2y1)=1/8，p(x2y2)=3/7，p(x2y3)=2/3p(x3y1)=1/2，p(x3y2)=2/7，p(x3y3)=2/3H(X)=-2(1/4)log(1/4)-(1/2)log(1/2)=1.5 bit/symbol-最终答案2分H(XY)= 1.383bit/symbolI(X;Y)=H(X)-H(XY)0.117 bit/symbol(2)对称离散信道C=logS-H(p的行矢量)-判断 公式3分 =log3-H(1/2,1/3,1/6)0.126bit/symbol-答案1分输入等概时，达到信道容量。-说明2分七、(16分)有一个二元二阶马尔可夫信源，其信源符号集为0,1，初始概率大小为P(0)=1/3，P(1)=2/3。条件概率定为P(000)= P(111)=0.8P(100)= P(011)=0.2P(001)= P(010)= P(101)= P(110)=0.5(1)画出该信源的状态转移图。(2)计算达到稳定状态的极限概率。(3)该马尔可夫信源的极限熵H。(4)计算达到稳定后符号0和1的概率分布。解：(1)-4分(2
