《信息论与编码 教学课件 ppt 作者 张莲 周登义 余成波 1》由会员分享，可在线阅读，更多相关《信息论与编码 教学课件 ppt 作者 张莲 周登义 余成波 1（41页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码,电子信息与自动化学院 周登义 二零零八年九月,一、学时数：48H 课程类型：考试课 二、成绩计算： 平时成绩：20% 期末考试：80%,1.1 信息的概念 1.2 信息传输系统的组成及其各部分的功能 1.3 信息论研究的对象和内容 1.4 信息论发展简史和现状的形成及发展,第一章 绪论,1.1 信息的概念,一、信息的定义、特征与性质 1、信息的定义：（P2） 信息是认识主体所感受的或所表达的事物的运动的状态和运动状态变化的方式。,有关信息的其他定义： 1 ）信息就是信息，既不是物质也不是能量。 2 ）信息是一种场 3 ）信息是事物相互作用的表现形式 4 ）信息是事物联系的普遍形式
2、 5 ）信息是物质的普遍属性 6 ）信息是选择的自由度 7 ）信息是通信传输的内容 8 ）信息是加工知识的原材料 9 ）信息是控制的指令 10）信息就是数据 11）信息就是情报 12）信息就是知识,2、信息的特征与性质： 参见（P3页）,二、信息的分类： 参见（P3-4页）,三、消息、信息、信号的区别： 一）消息： 用文字、符号、数据、语言、声音、图象等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动状态表达出来。 简单的说：消息是指包含信息的事物。,二）信息： 认识主体所感受的或所表达的事物的运动的状 态和运动状态变化的方式。 1）消息中包含信息，是信息的载体。 例如：足球赛的情
3、况可用报纸文字、短信、电视图像等不同消息来表述。 2）同一则消息可载荷信息可多可少。 例如，甲告诉乙说：“你考上了研究生”，那么乙就获得了信息。如果丙又告诉乙同样的话，此时，对乙来说，他只是得到了一条消息，并没有获得其他任何信息。 3）在通信系统中，形式上传输的是消息，但实质上传输的是信息。,三）信号： 1）信号是消息的运载工具。为了传输消息，就必须把消息载入具有某种物理能量的信号上去（例如电、光等） 。 2）信号是一个物理量，可测量、可传输、可描述、可显示。,信号是载荷信息的实体，信号仅仅是外壳，信息则是内核。 例如：“北京成功举办2008年奥运会”这个信息，用汉语“北京成功举办2008年奥
4、运会”的消息来表述，然后通过Internet网络传送到另一地的收信者。由于汉语消息不能直接在Internet网络的传输信道中传输。一般，需先将汉文变换成二进制码，再转换成适合信道传输的信号，才能在信道中传输。在接收端，通过各种反变换，若无干扰的话就可恢复出原汉语消息，收信者收到E_Mail后，从而获得了信息。 可见，信息、消息和信号是既有区别又有联系的三个概念。,1.2 信息传输系统的组成及其各部分的功能,模拟信息传输系统（参见P5页图1.2.1） 数字信息传输系统（参见P6页图1.2.2）,一、通信系统的特点： 从通信的观点出发，各种通信系统概括如下： 最基本的特点： 1）收信者在收到消息以
5、前，不知道消息的具体内容。即在收到消息以前，收信者无法判断发送者将会发来描述何种事物运动状态的具体消息；,2）在收到消息前，收信者无法判断是描述这种状态还是那种状态； 3）在收到消息后，由于干扰存在，收信者不能断定所得到的消息是否正确和可靠。 总之，收信者存在着“不知”、“不确定”。通过消息的传递知道了消息的具体内容，原先的“不知”、“不确定”消除或部分消除了。如果一个通信系统不具备这样的特点，那就失去了其存在的意义。,可见，通信过程是一种消除不确定性的过程。不确定性的消除，就获得了信息。原先的不确定性消除得越多，获得的信息就越多。如果原先的不确定性全部消除了，就获得了全部的信息；若消除了部分
6、不确定性，就获得了部分信息；若原先不确定性没有任何消除，就没有获得任何信息。,二、数字信息传输系统：,系统各部分的功能： 1）信源 信源是产生消息的源头，是信息运动的出发点。信源输出的消息有多种形式，可以是离散的或连续的，也可以是时间序列，它们分别可用离散型随机变量、连续型随机变量及随机过程等数学模型表示。 2）编码器 编码是把消息变换成信号的措施，是对消息符号进行编码处理的过程，而译码就是编码的反变换。编码器输出的是适合信道传输的信号,编码器可分为二种，即信源编码器和信道编码器。1）信源编码是对信源输出的消息进行适当的变换和处理，目的是为了提高信息传输的效率。 2）信道编码是为了提高信息传输
7、的可靠性而对信号进行的变换和处理。 香农信息论分别用几个重要的定理给出了编码的理论性能极限。,3）信道 把信号从甲地传输到乙地的媒介。 在通信系统中实际信道有电缆、波导、光纤、无线电波等等，这些都是属于传输电磁波能量的信道。,有线通信 明线 对称电缆 同轴电缆,同轴电缆结构图,微波中继通信的构成,无线通信,数字蜂窝移动通信系统组成原理框图,4）噪声源 信息传输不可避免地会引入噪声和干扰，为了分析方便，把在系统其他部分产生的干扰和噪声都等效地折合成信道上干扰，看成是由一个噪声源产生的，它将作用于所传输的信号上。这样信道输出的已是叠加了干扰的信号。 由于干扰或噪声往往具有随机性，所以，信道的特性也
8、可以用概率空间来描述。,5）译码器 把信道输出的编码信号（已迭加干扰）进行反 变换，以尽可能准确地恢复原始的信源符号。 译码器也可分成信源译码器和信道译码器。 6）信宿 消息传送的目的地，即接收消息的人或机器设备。,注意： 给出的模型只适用于收发两端单向通信的情况。 它只有一个信源和一个信宿，信息传输也是单向的。 在实际的情况中，信源和信宿各有若干个，即信道有 多个输入和多个输出，另外信息传输方向也是双向进 行的。要研究这些通信系统，只需对两端单向通信系 统模型作些适当修正，就可引出多用户通信系统模型 因此，上图所示的是最基本的通信系统模型，是 信息论所要研究的对象。,三、模拟信息传输系统：
9、（参见P5页图1.2.1） 信息传输系统是模拟的还是数字的，不取决于信源所产生的信息是模拟的还是数字的，而是决定于信道中传输的载波信号是模拟的还是数字的。,四、数字信息传输系统的主要优点：（参见P6页） 抗干扰能力强 可靠性高 保密性好,1.3 信息论研究的对象和内容 一、研究的对象： 就是要研究一个概括性很强的通信系统，其目的是要找到传输过程的共同规律，提高传输可靠性、有效性、保密性、认证性等，从而使信息传输系统达到最优化。 1）可靠性：就是使信源发出的消息经过信道传 输以后，尽可能准确地不失真地再现在接收端。 2）有效性：就是在一定时间内传输尽可能多的信息量，或在每一个传送符号内携带尽可能
10、多的信息量。,3）保密性：就是隐蔽和保护传送的消息，使它只能被授权接受者获取，而不能被其他未授权者接受和理解。 4）认证性：是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被篡改的。 总而言之，有效性、可靠性、保密性和认证性四者构成了现代通信系统对信息传输的全面要求。,二、研究的内容： 一）狭义信息论 它是以客观概率信息为研究对象，从信息传输问题中总结和开拓出来的理论。主要研究信息的度量、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称香农基本理论。 二）一般信息论 主要也是研究信息传输和处理问题。除了香农基本理论以外，还包括噪声理论、信号滤波
11、和预测、统计检测与估计理论、调制理论以及信息处理理论等。后一部分内容是以美国科学家维纳（N.Wiener）为代表。,信息论的两条不同发展途径,信号的设计和编码理论 香农(Shannon C.E.) 两篇名著 “通信的数学理论” “噪声中的通信” 微弱信号检测理论 维纳(Wiener N.) 两本名著 “平稳时间序列的内插、外推和平滑方法” “控制论” 。,三）广义信息论 它是一门综合性的新兴学科，不仅包括上述二方面的内容，而且包括所有与信息有关的自然和科学领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学等有关信息的问题。 由于信息论研究的内容极为广泛，而各分支又有一定的相对独立
12、性，因此，本课程主要学习信息论的基本理论 - 香农信息理论。,1.4 信息论发展简史和现状 信息论是在长期的通信工程实践和理论研究的基础上发展起来的，其历史可以上溯到1930年。回顾它的发展历史，可以知道信息论是如何从实践中经过抽象、概括、提高而逐步形成的。,1928年，哈特莱（R.V.Hartley）发展了奈奎斯特的工作，第一次从通信的观点出发对信息量作了定义，提出在s个代码中选N个码即构成sN个可能的消息，提出“定义信息量H=Nlogs”，哈特莱的工作对后来香农的思想有很大影响。 1930年，维纳（N.Wiener）开始把Fourier分析方法全面引入到随机信号的研究中来。 1936年，兰
13、德勒（V.D.Landon）发表了他第一篇有关噪声的论文。 1936年，阿姆斯特朗（E.H.Armstrong）提出频率调制，指出增加信号带宽可以使抑制噪声干扰的能力增强，使调频实用化，出现了调频通信装置。,1939年，达德利（H.Dudley）发明了声码器。提出了通信所需要的带宽至少应与所传送的消息的带宽相同。 1948年，香农在贝尔系统技术杂志上发表了两篇有关“通信的数学理论”的文章。他利用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。 在通信技术界，科学工作者的主要精力转到信源编码和信道编码的具体构造方法上，这方面取
14、得了稳步的发展。例如： 1）无失真信源编码 在香农编码方法提出后，1952年，费诺（Fano）提出了一种费诺编码方法。同年，霍夫曼（D.A.Huffman）提出了Huffman编码方法，并证明它是一种最佳码。 1963年，埃利斯（P.Elias）提出了算术编码方法。,2）有失真信源编码 1959年，香农发表了“保真度准则下的离散信源编码定理”，以后发展成为“信息率失真理论”。这一理论是信源编码的核心问题，是频带压缩、数据压缩的理论基础。直到今天它仍是信息论研究的课题。 3）面向数字信道的信道编码 一部分科学家从事寻找最佳编码（纠错码）的研究工作，并已经形成一门独立的分支纠错码理论。 20世纪4
15、0年代末，汉明提出分组编码技术，把代数方法引入到纠错码的研究，由此找到了大量可纠正多个错误的性能优异的码，而且提出了可实现的编译码方法。例如：汉明码在通信中获得应用。,练习与作业,1、信息、消息、信号的定义是什么？三者的关系。 2、简述一个通信系统包括的各主要功能模块及其作用。,一、信息与信息论 信息： 通常把客观存在的各个事物状态的表露，以及 各个事物随时间所发生的变化的反映统称为信息。 信息论： 建立在信息可以度量的基础之上，研究最有效、 最可靠地传输和处理信息的理论。,三、 信息论研究的对象 各种通信系统的形式、用途各不相同，但本质是相同的，即都是信息的传输系统。为便于研究信息传输和处理
16、的共同规律，将各种通信系统中具有共同特性的部分抽取出来，概括成一个统一的理论模型，信息论研究对象正是该通信系统模型。 通信系统模型,信息论（Information Theory）是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门新兴交叉学科。 美国科学家香龙（C.E.Shannon）于1948年发表了著名的论文通信的数学理论用概率测度和数理统计的方法系统地研究了通信的基本问题，给出了信息的度量表示，得出了带有普遍意义的重要结论，由此奠定了信息论的理论基础，为信息的表达、存储、传送和处理的具体实现提供了理论依据。 近几十年来，随着信息概念的不断深化和信息理论的迅猛发展，信息论所涉及的内容早已超出了狭义的通信工程范畴，它已渗透到许多学科，日益得到众多领域中的科学工作者的重视。,
