信息论与编码试卷及答案(多篇)

《信息论与编码试卷及答案(多篇)》由会员分享，可在线阅读，更多相关《信息论与编码试卷及答案(多篇)（111页珍藏版）》请在金锄头文库上搜索。

1、.一、概念简答题（每题5分，共40分）1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为。3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能

2、传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的型凸函数，是信道传递概率的U型凸函数。4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由得，则6.解释

3、无失真变长信源编码定理。.答：只要，当N足够长时，一定存在一种无失真编码。7.解释有噪信道编码定理。答：当RC时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。8.什么是保真度准则？对二元信源，其失真矩阵，求a0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。2）因为失真矩阵中每行都有一个0，所以有，而。二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；2） 假设黑白消息出现前后有关

4、联，其依赖关系为：，求其熵 ；2.二元对称信道如图。；1）若，求和； 2）求该信道的信道容量和最佳输入分布。3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。5.已知一（8，5）线性分组码的生成矩阵为。求：1）输入为全00011和10100时该码的码字；2）最小码距。6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5106mw/Hz。试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号

5、的最大连续熵是多少？写出对应的输入概率密度函数的形式。概念简答题（每题5分，共40分）1.2.3.答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的型凸函数，是信道传递概率的U型凸函数。4.567.答：当RC时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。8.二、综合题（每题10分，共60分）1.答：1）信源模型为2）由得则2.答：1） 2），最佳输入概率分布为等概率分布。3.答：1）二元码的码字依序为：10，11，010，01

6、1，1010，1011，1000，1001。平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。平均码长，编码效率4.答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。2）6.答：1）无错传输时，有即则2）在时，最大熵对应的输入概率密度函数为信息论习题集一、名词解释（每词2分）（25道）1、“本体论”的信息（P3） 2、“认识论”信息（P3） 3、离散信源（11）4、自信息量（12） 5、离散平稳无记忆信源（49） 6、马尔可夫信源（58） 7、

7、信源冗余度 （66） 8、连续信源 （68） 9、信道容量 （95） 10、强对称信道 （99） 11、对称信道 （101-102）12、多符号离散信道（109）13、连续信道 （124） 14、平均失真度 （136） 15、实验信道 （138）16、率失真函数 （139） 17、信息价值率 （163） 18、游程序列 （181）19、游程变换 （181） 20、L-D编码（184）、 21、冗余变换 （184）22、BSC信道 （189） 23、码的最小距离 （193）24、线性分组码 （195）25、循环码 （213）二、填空（每空1分）（100道）1、 在认识论层次上研究信息的时候，必须

8、同时考虑到 形式、含义和效用 三个方面的因素。2、 1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。3、 按照信息的性质，可以把信息分成 语法信息、语义信息和语用信息 。4、 按照信息的地位，可以把信息分成 客观信息和主观信息 。5、 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。6、 信息的 可度量性 是建立信息论的基础。7、 统计度量 是信息度量最常用的方法。8、 熵 是香农信息论最基本最重要的概念。9、 事物的不确定度是用时间统计发生 概率的对数 来描述的。10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用

9、随机矢量 描述。11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。12、自信息量的单位一般有 比特、奈特和哈特 。13、必然事件的自信息是 0 。14、不可能事件的自信息量是 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 18、离散平稳有记忆信源的极限熵，。19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。20、一维连续随

10、即变量X在a，b区间内均匀分布时，其信源熵为 log2（b-a） 。21、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=。22、对于限峰值功率的N维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率 之比 。25、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。26、m元长度为ki，i=1，2，n的异前置码存在的充要条件是：。27、若把掷骰子的结果作为一

11、离散信源，则其信源熵为 log26 。28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log218（1+2 log23）。29、若一维随即变量X的取值区间是0，其概率密度函数为，其中：，m是X的数学期望，则X的信源熵。30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 。31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 信道。33、具有一一对应关系的无噪信道的信道容量C= log2n

12、 。34、强对称信道的信道容量C= log2n-Hni 。35、对称信道的信道容量C= log2m-Hmi 。36、对于离散无记忆信道和信源的N次扩展，其信道容量CN= NC 。37、对于N个对立并联信道，其信道容量 CN = 。38、多用户信道的信道容量用 多维空间的一个区域的界限 来表示。39、多用户信道可以分成几种最基本的类型： 多址接入信道、广播信道 和相关信源信道。40、广播信道是只有 一个输入端和多个输出端 的信道。41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为 加性连续信道 。42、高斯加性信道的信道容量C=。43、信道编码定理是一个理想编码的存在性定

13、理，即：信道无失真传递信息的条件是 信息率小于信道容量 。44、信道矩阵代表的信道的信道容量C= 1 。45、信道矩阵代表的信道的信道容量C= 1 。46、高斯加性噪声信道中，信道带宽3kHz，信噪比为7，则该信道的最大信息传输速率Ct= 9 kHz 。47、对于具有归并性能的无燥信道，达到信道容量的条件是 p（yj）=1/m） 。 48、信道矩阵代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率Ct= 10kHz 。49、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。50、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的 极小值 。51、信

14、源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小。52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 也越小 。53、单符号的失真度或失真函数d（xi，yj）表示信源发出一个符号xi，信宿再现yj所引起的 误差或失真 。54、汉明失真函数 d（xi，yj）= 。55、平方误差失真函数d（xi，yj）=（yj- xi）2。56、平均失真度定义为失真函数的数学期望，即d（xi，yj）在X和Y的 联合概率空间P（XY）中 的统计平均值。57、如果信源和失真度一定，则平均失真度是 信道统计特性 的函数。58、如果规定平均失真度不

15、能超过某一限定的值D，即：。我们把称为 保真度准则 。59、离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N 倍。60、试验信道的集合用PD来表示，则PD= 。61、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的 最小值 。62、平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。63、平均失真度的上限Dmax取Dj：j=1，2，m中的 最小值 。64、率失真函数对允许的平均失真度是 单调递减和连续的 。65、对于离散无记忆信源的率失真函数的最大值是 log2n 。66、当失真度大于平均失真度的上限时Dmax时，率失真函数R（D）= 0 。67、连续信源X的率失真函数R（D）= 。68