《第1章节绪论课件2章节》由会员分享，可在线阅读，更多相关《第1章节绪论课件2章节（38页珍藏版）》请在金锄头文库上搜索。
1、,信 息 论 与 编 码,Information Theory and Coding,1,目 录,第 1 章 绪 论,第 2 章 信源与信息熵,第 3 章 信道与信道容量,第 4 章 信息率失真函数,第 5 章 信源编码,第 6 章 信道编码,教学目标,香农信息论的基本理论、概念和方法, 信息的统计度量，离散信道和信道容量,编码的理论和实现原理, 信源编码与信道编码,3,第一章 绪论,信息论的形成和发展,1.1,通信系统的基本模型,1.2,6,客观世界三大基本要素：,物质、能量、信息,没有物质什么都不存在,没有能量什么都不发生,没有信息什么都没意义,7,信息科学,人们在自然和社会活动中，获取信
2、息并对其进行,传输、交换、处理、检测、识别、存储、显示等操,作。研究这方面的科学就是信息科学。,信息论,是信息科学的主要理论基础之一。它研究信息的,基本理论，主要研究可能性和存在性问题，为具体实,现提供理论基础。,信息技术,主要研究如何实现、怎样实现的问题。,8,1.1 信息论的形成和发展,信息论的奠基人 香农,Claude.E.Shannon,美国科学家 (1916-2001),中文译名：,山农，香农，仙农，商农,9,“ 通信的基本问题就是在一点重新准,确地或近似地再现另一点所选择的消,息 ” 。 这是数学家香农在他的惊世之著,通信的数学理论中的一句铭言。,香农应用数理统计的方法来研究通信系
3、,统，从而创立了影响深远的信息论。,10,香农， 1916 年生于美国密执安州的加洛德。在大学中就表现出,了对数理问题的高度敏感。硕士论文是关于布尔代数在逻辑开,关理论中的应用。后来就职于贝尔电话研究所。在这个世界上,最大的通信公司 ( 美国电话电报公司 ) 的研究基地里，他受着前辈,的工作的启示，其中最具代表性的是奈奎斯特的影响电报速,率的一些因素和哈特莱的信息的传输。正是他们最早研,究了通信系统的信息传输能力，提出了信息量的概念，并试图,用教学公式予以描述。香农则创造性地继承了他们的事业，在,信息论的领域中钻研了 8 年之久，终于在 1948 年也在贝尔系统,技术杂志上发表了长篇论著通信的
4、数学理论。次年，又,在同一杂志上发表了另一篇名著噪声下的通信。,11,在这两篇文章中，香农解决了过去许多悬而未决的问题：经,典地阐明了通信的基本问题，提出了通信系统的模型，给出,了信息量的数学表达式，解决了信道容量、信源统计特性、,信源编码、信道编码等有关精确地传送通信符号的基本技术,问题。,香农的成就轰动了世界，激起了人们对信息论的巨大热情,它向各门学科冲击,研究规模像滚雪球一样越来越大。不仅,在电子学的其他领域,如计算机、自动控制等方面大显身手,而且遍及物理学、化学、生物学、心理学、医学、经济学、,人类学、语音学、统计学、管理学等学科。它已远远地,突破了香农本人所研究和意料的范畴,即从香农
5、的所谓“狭,义信息论”发展到了“广义信息论”。,12,1924 年，奈奎斯特（ Nyquist ）解释了 信号带宽和信,息速率之间的关系。,息的能力，给出了 信息度量方法。,1936 年，阿姆斯特朗（ Armstrong ）提出了 增大带宽,可以使抗干扰能力加强。,1939 年，达得利（ Dudley ） 发明了带通 声码器 ，指,出通信所需带宽至少同待传送消息的带宽应该一样。,13,1928 年，哈特利（ Hartley ） 研究了通信系统传输信,1941 - 1948 年，香农（ Shannon ）揭示通信系统传递,的对象就是信息，并对信息给以科学的定量描述。提,出了信息熵的概念。并指出通
6、信系统的中心问题是在,噪声下如何有效而可靠地传送信息，实现这一目标的,主要方法是编码。,40 年代初，维纳（ Wiener ）提出了在干扰作用下的,信息最佳滤波理论，成为信息论的一个重要分支。,50 年代，信息论在学术界引起了巨大反响。 1951,年，美国无线电工程师协会（ IRE ）成立了信息论,组，并于 1955 年正式出版了信息论汇刊。,14,1952 年，费诺 (Fano) 编码和哈夫曼 (Huffman) 编码。,1954 年， P.Elias 提出了卷积码。,1959 年，香农发表了 “ 保真度准则下的离散信源编码,定理 ” ，系统地提出了信息率失真理论，为信源压缩编,码的研究奠定
7、了理论基础。,60 年代，信道编码技术有了较大发展，使它成为信,息论的又一重要分支。,1961 年，香农的重要论文 “ 双路通信信道 ” 开拓了多,用户信息理论的研究。,1963 年， P.Elias 提出了算术编码。,15,70 年代，卷积码和概率译码有了重大突破，提出了序,列译码和 Viterbi 译码。,1972 年， Cover 发表了有关广播信道的研究。,1982 年， Ungerboeck 提出网格编码调制方法。,1993 年， Turbo 码的性能非常接近理论极限。,后来，随着通信规模的不断扩大，人们逐渐意识到,信息安全是通信系统正常运行的必要条件。于是，把,密码学也归类为信息论
8、的分支。如今信息安全已是网,络通信和电子商务系统中不可缺少的重要环节。,16,信息论研究的内容,信息论是一门应用概率论、随机过程、数理统计,和近代代数的方法，来研究信息传输、提取和处理系,统中一般规律的学科。,狭义信息论（香农信息论）,在噪声环境下，可靠地、安全地、有效地传送信,息的理论。主要研究信息的测度、信道容量以及信源,和信道编码理论等问题。,无失真信源编码定理（第一极限定理）,信道编码定理（第二极限定理）,限失真信源编定理（第三极限定理）,17,狭义信息论体系结构,Shannon信息论,压缩理论,有失真编码,无失真编码,等长编码 定理 Shannon 1948 McMillan 195
9、3,变长编码 定理 Shannon 1948 McMillan 1956,Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978),率失真理论 Shannon 1959 Berger,压缩编码 JPEG MPEG,传输理论,信道编码定理,网络信息理论,纠错码 编码调制理论,网络最佳码,一般信息论,主要也是研究信息传输和处理问题。,一般信息论,香农,调制,噪声,信号滤波,统计检测,信息论,理论,理论,预测理论,估计理论,广义信息论,不仅包括上述狭义信息论、一般信息论两方,面内容，而且包括所有与信息有关的自然和社会,领域，如模式识别、计算机翻译、心理学、
10、遗传,学、神经生理学、语言学、语义学甚至包括社会,学中有关信息的问题。,23,信息的基本概念,什么是信息,广义：消息、情报、知识,技术术语：通信传输的对象 数据、文字、记录,科学名词：统计数学、通信技术,用严格的数学公式定义的科学名词，它与内容无,关，而且不随信息具体表现形式的变化而变化，因,而也独立于形式。,它反映了信息表达形式中统计方面的性质，是一个,统计学上的抽象概念。,24,信息是指各个事物运动的状态及状态变化的方式。,人们从来自对周围世界的观察得到的数据中获得信息。,信息是抽象的意识或知识，它是看不见、摸不到的。人,脑的思维活动产生的一种想法，当它仍储存在脑子中的,时候它就是一种信息
11、。,信息的一般含义：,从通信的实质意义来讲，如果接收端收到的消息是,已知的，则等于没有收到任何消息。,消息中未知的或不确定的成分，通常被称为消息中,所包含的信息。,25,信息、消息和信号,信息：是认识主体（人、生物、机器）所感受的或所,表达的事物运动的状态和运动状态变化的方式，是人,们在适应外部世界和控制外部世界的过程中，同外部,世界进行交换的内容。,消息：是指包含有信息的语言、文字和图像等。,信号：是消息的物理体现，为了在信道上传输消息，,就必须把消息加载到具有某种物理特征的信号上去。,26,三者紧密联系：,通信系统传输的是信号，信号是消息的载体，消息中,的未知成分是信息。,在通信系统中，传
12、输的本质内容是信息。信息包,含在消息之中，信号是信息的载体。通信的结果是消,除或部分消除不确定性，从而获得信息。,消息是信息的数学载体、信号是信息的物理载体,信号：具体的、物理的,消息：具体的、非物理的,信息：非具体的、非物理的,27,信息的,信号最具体，它是一物理量，可测量、,物理层,可显示、可描述，同时它又是载荷信息,表达,的实体。,消息是具体的、非物理的，可描述为语,言文字、符号、数据、图片，能够被感,觉到，同时它也是信息的载荷体。,信息是抽象的、非物理的。,哲学层表达,28,信息的,数学层,表达,信息是具体信号与消息的内涵，是信号载荷的,内容，是消息描述的对象。,反过来，信号则是信息在
13、物理表达上的外延，,消息则是信息在数学表达上的外延。,同一信息，可以采用不同形式的物理量来载,荷，也可以采用不同的数学描述方式。同样，同一,类型信号或消息也可以代表不同内容的信息。,29,信息的特征,信息的基本概念在于它的不确定性。其特征如下：,接收者在收到信息之前，对其内容是未知的是,新知识，新内容；,信息是能使认识主体对某一事物的未知性和不,确定性减少的有用知识；,信息可以产生，也可以消失，同时它可以被携,带、被存储及处理；,信息是可以度量的，信息量有多少的差别,30,1.2 通信系统的模型,信宿,信源,信源解码,信源编码,加密 密钥,解密 密钥,解密,加密,信道编码,信道,信道解码,干扰
14、源,通信系统模型方框图,最简单的通信系统模型,信源,信道,信宿,三个基本单元：信源 (source),信道 (channel),信宿 (destination),通信系统的主要性能指标：,有效性 信源编码,可靠性 信道编码,安全性 加密编码,32,信源,产生消息的源，可以离散，可以连续。随机发生。,研究的主要问题是消息的统计特性和产生信息的,速率。,消息通常是符号序列或时间函数。例如在电报系,统中，消息是由文字、符号、数字组成的报文(符号序,列)，称为离散消息；在电话系统中，消息是语声波形,(时间函数)，称为连续消息。消息取值服从一定的统计,规律，故信源的数学模型是一个在信源符号集中取值,的随
15、机变量序列或随机过程。,33,信宿,信息归宿之意，亦即收信者或用户，是信息传送的,终点或目的地。,信道,传输信号的物理媒介或通道，如架空明线、电,线、射频波束、人造卫星等。,中心问题是研究信道的传信能力，即信道容量。,34,信源编码、译码,有效性,信源编码器作用,把信源发出的消息变换成由二进制码元(或多进,制码元)组成的代码组，即基带信号。,通过信源编码可以压缩信源的冗余度,以提高通,信系统传输消息的效率。,信源编码器分类,无失真信源编码，适用于离散信源或数字信号。,限失真信源编码，用于连续信源或模拟信号,如,语音、图像等信号的数字处理,35,信源译码器的作用,把信道译码器输出的代码组变换成信宿所需要的,消息形式，其作用相当于信源编码器的逆过程。,信道编码、译码,可靠性,信道编码器的作用,在信源编码器输出的代码组上有目的地增加一,些监督码元，使之具有检错或纠错的能力。,信道译码器的作用,具有检错或纠错的功能，它能将落在其检错或纠,错范围内的错传码元检出或纠正，以提高传输消,息的可靠性。,36,密码,如何隐蔽消息中的信息内容，使它在传输过程中不,被窃听，提高通信系统的安全性。,将明文变换成密文，通常不需要增大信道容量，例,如在二进码信息流上叠加一密钥流；但也有些密码,要求占用较大的信道容量。,加密编码由密钥控制，不同的密钥产生不同的加密,编码。密文经信道编码后通过信道
