《第1章节绪论课件2章节》由会员分享,可在线阅读,更多相关《第1章节绪论课件2章节(38页珍藏版)》请在金锄头文库上搜索。
1、,信 息 论 与 编 码,Information Theory and Coding,1,目 录,第 1 章 绪 论,第 2 章 信源与信息熵,第 3 章 信道与信道容量,第 4 章 信息率失真函数,第 5 章 信源编码,第 6 章 信道编码,教学目标,香农信息论的基本理论、概念和方法, 信息的统计度量,离散信道和信道容量,编码的理论和实现原理, 信源编码与信道编码,3,第一章 绪论,信息论的形成和发展,1.1,通信系统的基本模型,1.2,6,客观世界三大基本要素:,物质、能量、信息,没有物质什么都不存在,没有能量什么都不发生,没有信息什么都没意义,7,信息科学,人们在自然和社会活动中,获取信
2、息并对其进行,传输、交换、处理、检测、识别、存储、显示等操,作。研究这方面的科学就是信息科学。,信息论,是信息科学的主要理论基础之一。它研究信息的,基本理论,主要研究可能性和存在性问题,为具体实,现提供理论基础。,信息技术,主要研究如何实现、怎样实现的问题。,8,1.1 信息论的形成和发展,信息论的奠基人 香农,Claude.E.Shannon,美国科学家 (1916-2001),中文译名:,山农,香农,仙农,商农,9,“ 通信的基本问题就是在一点重新准,确地或近似地再现另一点所选择的消,息 ” 。 这是数学家香农在他的惊世之著,通信的数学理论中的一句铭言。,香农应用数理统计的方法来研究通信系
3、,统,从而创立了影响深远的信息论。,10,香农, 1916 年生于美国密执安州的加洛德。在大学中就表现出,了对数理问题的高度敏感。硕士论文是关于布尔代数在逻辑开,关理论中的应用。后来就职于贝尔电话研究所。在这个世界上,最大的通信公司 ( 美国电话电报公司 ) 的研究基地里,他受着前辈,的工作的启示,其中最具代表性的是奈奎斯特的影响电报速,率的一些因素和哈特莱的信息的传输。正是他们最早研,究了通信系统的信息传输能力,提出了信息量的概念,并试图,用教学公式予以描述。香农则创造性地继承了他们的事业,在,信息论的领域中钻研了 8 年之久,终于在 1948 年也在贝尔系统,技术杂志上发表了长篇论著通信的
4、数学理论。次年,又,在同一杂志上发表了另一篇名著噪声下的通信。,11,在这两篇文章中,香农解决了过去许多悬而未决的问题:经,典地阐明了通信的基本问题,提出了通信系统的模型,给出,了信息量的数学表达式,解决了信道容量、信源统计特性、,信源编码、信道编码等有关精确地传送通信符号的基本技术,问题。,香农的成就轰动了世界,激起了人们对信息论的巨大热情,它向各门学科冲击,研究规模像滚雪球一样越来越大。不仅,在电子学的其他领域,如计算机、自动控制等方面大显身手,而且遍及物理学、化学、生物学、心理学、医学、经济学、,人类学、语音学、统计学、管理学等学科。它已远远地,突破了香农本人所研究和意料的范畴,即从香农
5、的所谓“狭,义信息论”发展到了“广义信息论”。,12,1924 年,奈奎斯特( Nyquist )解释了 信号带宽和信,息速率之间的关系。,息的能力,给出了 信息度量方法。,1936 年,阿姆斯特朗( Armstrong )提出了 增大带宽,可以使抗干扰能力加强。,1939 年,达得利( Dudley ) 发明了带通 声码器 ,指,出通信所需带宽至少同待传送消息的带宽应该一样。,13,1928 年,哈特利( Hartley ) 研究了通信系统传输信,1941 - 1948 年,香农( Shannon )揭示通信系统传递,的对象就是信息,并对信息给以科学的定量描述。提,出了信息熵的概念。并指出通
6、信系统的中心问题是在,噪声下如何有效而可靠地传送信息,实现这一目标的,主要方法是编码。,40 年代初,维纳( Wiener )提出了在干扰作用下的,信息最佳滤波理论,成为信息论的一个重要分支。,50 年代,信息论在学术界引起了巨大反响。 1951,年,美国无线电工程师协会( IRE )成立了信息论,组,并于 1955 年正式出版了信息论汇刊。,14,1952 年,费诺 (Fano) 编码和哈夫曼 (Huffman) 编码。,1954 年, P.Elias 提出了卷积码。,1959 年,香农发表了 “ 保真度准则下的离散信源编码,定理 ” ,系统地提出了信息率失真理论,为信源压缩编,码的研究奠定
7、了理论基础。,60 年代,信道编码技术有了较大发展,使它成为信,息论的又一重要分支。,1961 年,香农的重要论文 “ 双路通信信道 ” 开拓了多,用户信息理论的研究。,1963 年, P.Elias 提出了算术编码。,15,70 年代,卷积码和概率译码有了重大突破,提出了序,列译码和 Viterbi 译码。,1972 年, Cover 发表了有关广播信道的研究。,1982 年, Ungerboeck 提出网格编码调制方法。,1993 年, Turbo 码的性能非常接近理论极限。,后来,随着通信规模的不断扩大,人们逐渐意识到,信息安全是通信系统正常运行的必要条件。于是,把,密码学也归类为信息论
8、的分支。如今信息安全已是网,络通信和电子商务系统中不可缺少的重要环节。,16,信息论研究的内容,信息论是一门应用概率论、随机过程、数理统计,和近代代数的方法,来研究信息传输、提取和处理系,统中一般规律的学科。,狭义信息论(香农信息论),在噪声环境下,可靠地、安全地、有效地传送信,息的理论。主要研究信息的测度、信道容量以及信源,和信道编码理论等问题。,无失真信源编码定理(第一极限定理),信道编码定理(第二极限定理),限失真信源编定理(第三极限定理),17,狭义信息论体系结构,Shannon信息论,压缩理论,有失真编码,无失真编码,等长编码 定理 Shannon 1948 McMillan 195
9、3,变长编码 定理 Shannon 1948 McMillan 1956,Huffman码(1952)、Fano码 算术码(1976,1982) LZ码(1977,1978),率失真理论 Shannon 1959 Berger,压缩编码 JPEG MPEG,传输理论,信道编码定理,网络信息理论,纠错码 编码调制理论,网络最佳码,一般信息论,主要也是研究信息传输和处理问题。,一般信息论,香农,调制,噪声,信号滤波,统计检测,信息论,理论,理论,预测理论,估计理论,广义信息论,不仅包括上述狭义信息论、一般信息论两方,面内容,而且包括所有与信息有关的自然和社会,领域,如模式识别、计算机翻译、心理学、
10、遗传,学、神经生理学、语言学、语义学甚至包括社会,学中有关信息的问题。,23,信息的基本概念,什么是信息,广义:消息、情报、知识,技术术语:通信传输的对象 数据、文字、记录,科学名词:统计数学、通信技术,用严格的数学公式定义的科学名词,它与内容无,关,而且不随信息具体表现形式的变化而变化,因,而也独立于形式。,它反映了信息表达形式中统计方面的性质,是一个,统计学上的抽象概念。,24,信息是指各个事物运动的状态及状态变化的方式。,人们从来自对周围世界的观察得到的数据中获得信息。,信息是抽象的意识或知识,它是看不见、摸不到的。人,脑的思维活动产生的一种想法,当它仍储存在脑子中的,时候它就是一种信息
11、。,信息的一般含义:,从通信的实质意义来讲,如果接收端收到的消息是,已知的,则等于没有收到任何消息。,消息中未知的或不确定的成分,通常被称为消息中,所包含的信息。,25,信息、消息和信号,信息:是认识主体(人、生物、机器)所感受的或所,表达的事物运动的状态和运动状态变化的方式,是人,们在适应外部世界和控制外部世界的过程中,同外部,世界进行交换的内容。,消息:是指包含有信息的语言、文字和图像等。,信号:是消息的物理体现,为了在信道上传输消息,,就必须把消息加载到具有某种物理特征的信号上去。,26,三者紧密联系:,通信系统传输的是信号,信号是消息的载体,消息中,的未知成分是信息。,在通信系统中,传
12、输的本质内容是信息。信息包,含在消息之中,信号是信息的载体。通信的结果是消,除或部分消除不确定性,从而获得信息。,消息是信息的数学载体、信号是信息的物理载体,信号:具体的、物理的,消息:具体的、非物理的,信息:非具体的、非物理的,27,信息的,信号最具体,它是一物理量,可测量、,物理层,可显示、可描述,同时它又是载荷信息,表达,的实体。,消息是具体的、非物理的,可描述为语,言文字、符号、数据、图片,能够被感,觉到,同时它也是信息的载荷体。,信息是抽象的、非物理的。,哲学层表达,28,信息的,数学层,表达,信息是具体信号与消息的内涵,是信号载荷的,内容,是消息描述的对象。,反过来,信号则是信息在
13、物理表达上的外延,,消息则是信息在数学表达上的外延。,同一信息,可以采用不同形式的物理量来载,荷,也可以采用不同的数学描述方式。同样,同一,类型信号或消息也可以代表不同内容的信息。,29,信息的特征,信息的基本概念在于它的不确定性。其特征如下:,接收者在收到信息之前,对其内容是未知的是,新知识,新内容;,信息是能使认识主体对某一事物的未知性和不,确定性减少的有用知识;,信息可以产生,也可以消失,同时它可以被携,带、被存储及处理;,信息是可以度量的,信息量有多少的差别,30,1.2 通信系统的模型,信宿,信源,信源解码,信源编码,加密 密钥,解密 密钥,解密,加密,信道编码,信道,信道解码,干扰
14、源,通信系统模型方框图,最简单的通信系统模型,信源,信道,信宿,三个基本单元:信源 (source),信道 (channel),信宿 (destination),通信系统的主要性能指标:,有效性 信源编码,可靠性 信道编码,安全性 加密编码,32,信源,产生消息的源,可以离散,可以连续。随机发生。,研究的主要问题是消息的统计特性和产生信息的,速率。,消息通常是符号序列或时间函数。例如在电报系,统中,消息是由文字、符号、数字组成的报文(符号序,列),称为离散消息;在电话系统中,消息是语声波形,(时间函数),称为连续消息。消息取值服从一定的统计,规律,故信源的数学模型是一个在信源符号集中取值,的随
15、机变量序列或随机过程。,33,信宿,信息归宿之意,亦即收信者或用户,是信息传送的,终点或目的地。,信道,传输信号的物理媒介或通道,如架空明线、电,线、射频波束、人造卫星等。,中心问题是研究信道的传信能力,即信道容量。,34,信源编码、译码,有效性,信源编码器作用,把信源发出的消息变换成由二进制码元(或多进,制码元)组成的代码组,即基带信号。,通过信源编码可以压缩信源的冗余度,以提高通,信系统传输消息的效率。,信源编码器分类,无失真信源编码,适用于离散信源或数字信号。,限失真信源编码,用于连续信源或模拟信号,如,语音、图像等信号的数字处理,35,信源译码器的作用,把信道译码器输出的代码组变换成信宿所需要的,消息形式,其作用相当于信源编码器的逆过程。,信道编码、译码,可靠性,信道编码器的作用,在信源编码器输出的代码组上有目的地增加一,些监督码元,使之具有检错或纠错的能力。,信道译码器的作用,具有检错或纠错的功能,它能将落在其检错或纠,错范围内的错传码元检出或纠正,以提高传输消,息的可靠性。,36,密码,如何隐蔽消息中的信息内容,使它在传输过程中不,被窃听,提高通信系统的安全性。,将明文变换成密文,通常不需要增大信道容量,例,如在二进码信息流上叠加一密钥流;但也有些密码,要求占用较大的信道容量。,加密编码由密钥控制,不同的密钥产生不同的加密,编码。密文经信道编码后通过信道