信息理论与编码

《信息理论与编码》由会员分享，可在线阅读，更多相关《信息理论与编码（14页珍藏版）》请在金锄头文库上搜索。

1、1 一1、信息论与编码的关系信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。2、编码与通讯的关系通讯就是把信息从A 点传到 B 点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。3、什么是摩尔斯码？摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母、标点符号以及 10 个阿拉伯数字的编码， 通过这个编码就可以把通常的电报内容用电码形式传递出来。4、SOS 的含义这三个救急信号是摩尔斯码里的“”，不是英文缩写。5、

2、信息论的发展简史1917 年频分复用（载波） ；1924 年采样定理；1932 年摩尔斯电报系统；1948 年 Shannon发表论文“通讯的数学理论”，从而“信息论”诞生了。6、什么是加密编码？举例说明。利用密钥方法对信号进行加密，即是取09打乱作为明码，确定一个只有双方之间知道的密码。 例如字典码加密过程，即是取两本新华字典，一个字由五个数字组成，数字的前三位表示页码，后二位表示这个字在一页中的序码。7、编码需要解决通讯中的哪三个问题？2 1)压缩数据；2)检错和纠错；3)通讯过程中的加密。二1、什么是信息科学、信息论信息科学是研究所有信息现象的一门学科，信息论研究通讯中的信息传递、加密、

3、 压缩、纠错。2、信息论和信息科学的关系、区别信息论只要讲通讯里的信息处理问题，范围窄；信息科学讲的是所有领域的信息处理问题，例如知识论等，范围广。信息论是信息科学中的一部分。3、信息科学研究的范围和具体内容信息科学研究通信中的信息和信息的获取、传递、认知、 再生、 施效、组织等所有信息现象。三1、信息的定义维纳的信息定义信息就是信息，不是物质也不是能量。仙农的定义用来减少随机不定性的东西。我们自己的定义信息是内容和载体的统一体，指代了内容的载体就是信息。2、信息的三要素以及它们之间的关系3 信息三要素：载体、内容、指代；内容：传输的信息，指代的原像；载体：物质、场；指代：编码同一载体可指代不

4、同内容，同一内容也可指代不同载体。载体是物质的，内容是精神的，内容通过指代到载体。3、成为载体的三个必要条件必须是物质的、有两种以上可分辨状态、在时空位可排列和展开。四1、什么是符号集、时空位？符号集中的符号与时空位的区别？举例说明。符号集就是由符号组成的集合，例：英文26 个字母、汉字、0 到 9 阿拉伯数字；时空位就是通讯过程中的一个时空的点，其有不同的可分辨状态。这个时空点可填充不同符号，例：一排红绿灯中的某个灯、7 位 ASCII 码中的一位。时空位是指信息中一个时空的位置，即存放编码符号集的位子。2、什么是信息序列、信息流？信息序列：指代了内容的时空位序列；信息流：信息序列随时间变换

5、，由时空位构成的指代了内容信息载体。3、什么是信源、信宿以及信道？举例说明信源信息的产生和发送者，例：嘴；信宿信息接受者，例：耳朵；4 信道信源与信宿之间的信息传输媒介，例：空气。4、信息如何分类？语法信息、语义信息、语用信息；自然信息、编码信息；离散信息、连续信息。5、通讯中有哪三种编码？信源编码、信道编码、加密编码。6、信源编码与信道编码之间的关系、区别信源编码就是在信源端对数据进行的压缩编码，目的是信源端压缩数据使数据变短；信道编码就是使得信息可以在信道上传输以及正确传输，目的是在信道上正确传递数据，加了检验位和纠错位使得数据变长。7、什么是调制与解调？为什么要调制与解调？调制就是将需要

6、传输的信号加载到载波上去的过程；解调就是把信号从载波中取出的过程。原因：1)因为天线发射无线电波必须满足无线电波的半波长和天线的尺寸近似相等，才能有效地发射，必须把低频信号加载到高频信号上去；2)可实现 N 个人和 N 个人之间的通讯。五1、什么是载体和内容信息量？载体信息量：载体最大能承载的信息量；内容信息量：内容包含的信息的多少。2、物理量的一般定量方法的三个步骤5 1)寻找一个单位，单位保证不变，容易获取以及测量，不能消失；2)将待测量与单位比较，得到倍数关系；3)用测量倍数和单位得到测量值。3、信息的单位及换算关系信息单位：1)状态数（个）；2)bit （以二为底的对数） ；3)det

7、 （以十为底） ；4)nat （e） 。换算关系：用N 的单位为种， I 的单位为位bit ，换算公式为I=N2log（bit ）4、什么是Hartley公式？其单位是？1928 年 Hartley载体信息公式：I=N2log（ bit ） ，N 为可分辨状态数。5、如何来计算一张光盘的信息量？光盘中有n 个时空位，每个时空位有b 种表示，则光盘的信息量为: N=nb（种） ， I=nbnlog（bit ）6、如何提高一张光盘存储信息量？光盘储存信息量的决定因素为: 1)时空位的密度增加时空位的密度；2)一个时空位上的可分辨物理状态数提高一个时空位上的可分辨物理状态数。可据以上两个因素提高光盘

8、储存信息量。六6 1、十个天干和十二个地支分别是什么？今年、明年是什么年？天干：甲、乙、丙、丁、戊、己、庚、辛、壬、癸；地支：子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥。天干地支组合成如下六十个计时序号，作为纪年、月、日、时的名称，叫干支纪年法；用六十甲子依次纪年，六十年一个轮回。今年是庚寅年，计算方法：天干年数减3，除以 10 所得余数；地支年数减3，除以 12 所得余数。明年是辛卯年。2、易经中表示阴、阳的符号分别是什么？64 卦和二进制的关系式？阴：；阳：；64 卦对应的是：六位二进制编码；信息量= 6 （bit ）3、什么是内容信息量？其公式是？内容信息量：指代原像的多少，内容对应

9、的状态数对数的个数；计算公式为： I=N2log（bit ） ，N 为内容的可分辨状态数。七1、什么是满指代、容余？满指代：每一个载体状态上都指代了内容。容余： 载体里有一部分没有指代内容。2、为什么符号集中的符号等概率使用时，符号集中的符号利用率最高？7 根据 Shannon熵公式极值性有H （1p，Np）H(N1,，N1)=logN 由此可见，符号集中的符号等概率使用时，符号集中的符号利用率最高。3、什么是符号集的概率模型？模型：符号集状态可能性的模型。条件概率：有事件A、B，其中 P(A) 0，在 A 事件发生的条件下，B 事件发生的概率记为P(B/A) 。4、什么是信息熵？其公式、含义

10、、单位信息熵：有一定概率分布的符号集,在一个时空位上的平均载体信息量。公式：)(1l o g)(12b i tPPPHniii含义 :符号集在一个时空位上平均载体信息量。iP是符号iX出现的概率 ,iP1是以iP为等概率的符号集中符号的个数, iP1log2是以iP为等概率的符号集的载体信息量。八1、 符号集的概率空间如何获得？举例说明。概率空间由统计获得。nnPPPxxxxP.)(2121，其中 0iP1，niiP1=1 。2、什么是Shannon第一定理？给出了离散无记忆信源，无失真条件下， 信息的压缩编码极限。设sC为载体信息量，cC为8 需要传递的内容信息量，则通过信息编码得到的信源无

11、失真的充要条件是：sCcC。3、哈夫曼编码及其步骤？举例说明。哈夫曼编码是一种编码方式，一种可变长编码。步骤：1)将信源符号集的N 个符号概率从大到小排列；2)用 0 和 1 代表两个概率最小的信源符号，0 指代给二个符号中的大概率还是小概率可任意选择， 但编码过程中必须保持一致。将两个概率最小的符号合并成一个符号，合并后符号的概率为两个符号概率之和。将合并后的符号与原有符号组成新的符号集（N-1 ） ，这个新符号集称为缩减符号集；3)将缩减信源符号集中的符号再按概率从大到小排列，并且用0、1 表示两个概率最小的符号。然后将这两个最小概率符号再合并成一个符号，和其余符号构成N-2的缩减符号集；

12、4)以此类推，最后缩减为只有两个符号的缩减符号，将0,1,赋于这两个字符；5)从最后一个缩减符号回溯得到的二进制码序列即为哈夫曼编码。4、哈夫曼编码的特点是什么？为什么哈夫曼编码能压缩数据？特点：1)可以保证概率大的信源符号对应短码，概率小的对应长码；2)哈夫曼编码并非唯一；3)哈夫曼编码对不同的信源的编码效率不同；4)对信源进行哈夫曼编码后，形成一个哈夫曼编码表。解码时，必须参照这一哈夫编码才能正确译码。因为当载体信息量无限接近于内容信息量然后达到压缩极限就能压缩数据，数据压缩实质上9 是减少信息冗余量，冗余量的减少可以减少数据量而不减少信源的信息量。九、十1、什么是物理信道？举例说明？由物

13、理实体构成的信道，如：双绞线、同轴电缆、光纤、空气、真空等。2、什么是信息传输速率？单位时间内在信道中传输的载体信息量，用tR表示，单位：bit/s 3、什么是无噪声物理信道容量？物理信道内可达到的最大信息传输速率，用Cw 表示，单位： bit/s ，Cw=max（tR）4、什么是噪声平均误码速率、有噪物理信道容量？单位时间内，由于噪声干扰而产生的错误载体信息量，用NR表示，单位： bit/s 单位时间内可正确接收的最大载体信息量，Cw=max（tR-NR）bit/s 5、决定有噪物理信道容量的因素是什么？1)信道载体的时空位密度（与技术有关）；2)噪声水平（与环境有关）。6、什么是数学信道？

14、数学信道：由数学模型决定的信道。7、什么是信息传输码率？在信道中一个时空位可传输的载体信息量，用R 表示，单位为：bit/ 时空位8、什么是噪声平均错误码率？在信道中，由噪声引起的一个时空位中的错误信息量，用NR表示，单位bit/ 时空位。9、什么是数学信道容量？10 在数学信道中一个时空位最大可正确接收的载体信息量，用C 表示，单位为bit/ 时空位10 、什么是Shannon第二定理？在有噪声数学信道中，无失真信道纠错编码存在的充要条件是R C，其中 R 为信息传输码率， C 为信道容量， R=C 为编码极限。11 、什么是奇偶检验码？举例说明。奇偶校验码能检出几位错误码？能纠错吗？一种通

15、过增加容余位使得码字中“1”的个数恒为奇数或偶数的编码方法，它是一种检错码，是信道编码的一种。例：需传赵 -000 、钱 -100 、孙 -010 、李 -110 、周 -001 、吴 -101 、郑 -011 、王 -111 ，它们的奇偶检验码分别为赵-0000 、 钱-1001 、 孙-0101 、 李-1100 、 周-0011 、 吴-1010 、 郑-0110 、王-1111 奇偶校验码可以检查出一位错误，不能纠错。12 、 什么是重复码？举例说明。n 次重复码（n 为奇数）时可检出几位错误码？可纠正几位？重复码：各码字的码元是重复的，是信道编码的一种。例：需传赵 -000 、钱 -

16、100 、孙 -010 、李 -110 、周 -001 、吴 -101 、郑 -011 、王 -111 ，它们的重复码分别为赵-000 000 000、钱 -100 100 100、孙 -010 010 010、李 -110 110 110、周-001 001 001、吴 -101 101 101、郑 -011 011 011、王 -111 111 111 n 次重复码可以检出（n-1 ）位错，可纠正（n-1 ）/2 位错十一1、1)什么是失真？失真：信息序列中允许一定的错误时空位出现。11 2)什么是失真误码码率？一个时空位上的平均误码信息量。用DC表示， bit/ 时空位3)什么是限失真误码码率？一个时空位上允许的最大平均误码码率。用DC表示， bit/ 时空位2、什么是Shannon第三定理？举例说明限失真的压缩编码。第三定律：允许失真的信率压缩编码的极限。Cs 表示一个是时空位中的载体信息量，Cc 表示一个时空位中的内容信息量。信源限失真编码存在的必要条件是：sCCC-DC，其中sC