《信息论与编码基础》第1章 绪论课件

《《信息论与编码基础》第1章 绪论课件》由会员分享，可在线阅读，更多相关《《信息论与编码基础》第1章 绪论课件（65页珍藏版）》请在金锄头文库上搜索。

1、信息论与编码 周三：78 (13:3015:10)/A105 中山大学计算机科学系 蔡国扬 E_mail: ,信息科学是研究不同领域里有关信息的收集、加工、存储、传递以及使用的学科。其出发点是认识信息的本质和它的运动规律；其归宿则是利用信息来达到某种具体的目的。 以信息作为主要研究对象，以信息的运动规律作为主要研究内容，以信息方法论作为主要研究方法，这是信息科学区别于一切传统科学的最根本的特征。 信息方法以信息概念作为分析和处理问题的基础，它完全撇开研究对象的具体结构和运动形态，把系统的有目的性运动抽象为一个信息变换过程，即信息的输入、存储、处理、输出和反馈过程。信息方法包括两个方面，即信息分

2、析方法和信息综合方法。前者解决认识问题；后者解决实践问题。,信息科学体系,信息科学体系,信息,输入,反馈,处理,存储,输出,信息,信息方法示意图,信息科学是一个包含从不同角度研究信息及其运动形态的学科群，是由信息理论科学、信息技术科学和信息应用科学三个层次构成的完整体系。,信息科学体系,信息论,计算机科学,通信科学,信息物理学,信息学,图书馆学,传播学,信息经济学,信息社会学,信息心理学,信息科学,也可以认为，信息科学由信息科学理论、信息应用技术和信息科学方法三者组成。信息科学理论主要包含信息定性理论、信息定量理论和信息应用理论。信息应用技术包括信息的获取、传递、加工处理、存储等代替和延伸人的

3、感官及大脑的信息功能的技术，可以细分为信息获取技术（感测技术）、信息传递技术（电信技术）、信息加工处理技术（计算机技术）及信息控制技术（自动智能控制技术）。信息科学方法包括信息分析方法和信息综合方法，指导人类通过信息窗口去认识世界、改造世界。,信息科学体系,第1章 绪论 信息的一般概念 香农信息的概念 信息论研究的对象和目的 信息论研究的内容 信息论发展简史与现状,课程讨论主要内容,第2章 离散信源及其信息测度 信源的数学模型及分类 离散信源的信息测度-信息熵 信息熵的基本性质 离散无记忆的扩展信源 离散平稳信源及其极限熵 信源的冗余度,课程讨论主要内容,第3章 离散信道及其信道容量 信道的数

4、学模型及分类 信道疑义度与平均互信息 平均互信息的特性 离散无记忆扩展信道 离散信道的信道容量 信源与信道的匹配,课程讨论主要内容,第4章 波形信源及波形信道 波形信源的统计特性和离散化 连续信源和波形信源的信息测度 连续信源熵的性质及最大差熵定理 具有最大差熵的连续信源 连续信道和波形信道的分类 连续信道和波形信道的信息传输率 连续信道和波形信道的信道容量,课程讨论主要内容,第5章 基本的信源和信道编码定理 无失真信源编码定理 编码器的概念 等长码 等长信源编码定理 变长码 变长信源编码定理（香农第一定理） 有噪信道编码定理 错误概率与编译码规则 有噪信道编码定理（香农第二定理） 联合信源信

5、道编码定理,课程讨论主要内容,第6章 保真度准则下的信源编码 失真的测度 信息率失真函数及其性质 离散无记忆信源的信息率失真函数 保真度准则下的信源编码定理（香农第三定理） 联合有失真信源信道编码定理,课程讨论主要内容,第7章 无失真的信源编码 无失真信源编码的概念 香农编码 费诺编码 Huffman编码 游程编码 算术编码 通用编码,课程讨论主要内容,参考书目 傅祖芸，信息论与编码，电子工业出版社, 2005 曹雪虹等，信息论与编码，北邮出版社，2001 唐朝京，信息论与编码基础， 国防科技大学出版社 周荫清，信息理论基础，北京航空航天大学出版社 Thomas M. Cover, Joy A

6、. Thomas，Elements of Information Theory，清华大学出版社，2003 R. J. McEliece, The Theory of Information and Coding, 电子工业出版社, 2005,课程讨论主要内容,信息论是将通信技术、概率论、随机过程、数理统计等学科相结合逐步发展而形成的一门新兴科学。 奠基人：美国数学家香农 (C. E. Shannon)，1948年发表著名论文 “A Mathematical Theory of Communication” ，用概率测度和数理统计的方法系统研究了通信的基本问题，给出了信息的度量方法，得出了带有普

7、遍意义的重要结论，由此奠定了信息论的理论基础，为信息的表达、存储、传送和处理的具体实现提供了理论依据。 在香农信息论的指导下，人们在信源编码和信道编码两个领域进行了卓有成效的研究，在提高通信系统信息传输的有效性和可靠性上取得了丰硕成果。,第一章 绪论,“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。 Claude Shannon 1916-2001,第一章 绪论,随着信息概念的不断深化和信息理论的发展，信息论所涉及的内容已经超出了狭义的通信工程范畴，渗透到许多学科。 本课程主要内容： 香农(Shannon)信息论：信息的统计度量，离散信源，离散信道和信道容量； 编码理论和

8、实现原理：信源编码与信道编码。,第一章 绪论,信息是信息论中最基本、最重要的概念，既抽象又复杂。而在日常生活中，信息常常被认为是“消息”、“知识”、“情报”等。 “信息”不同于消息 在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义。信息论认为，消息是一种能够被人们感觉器官所感知的客观物质运动和主观思维活动的状态的表达形式（如文字、符号、数据、语言、音符、图片、视频等），而信息才是其中包含的告知的实质性内容。,1.1 信息的一般概念,“信息”不同于情报 情报是人们对于某个特定对象所见、所闻、所理解而产生的知识，其含义比“信息”窄的多。情报 (intelligence)

9、 与信息(information) 有着严格的区别，前者是指经过慎密分析得到的特殊的信息，作为决策的依据。后者为泛指。 “信息”不同于信号 信号是承载消息的物理量。 “信息”不同于知识 知识是人们根据需要，从自然界收集得来的数据中提取得到的有价值的信息，它们是对客观事物规律性的概括，是一种具有普遍性和概括性的高层次的信息。,1.1 信息的一般概念,在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息(或称为符号)：是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描

10、述，它是具体物理信号的进一步数学抽象。 可将具体物理信号抽象为两大类型： 离散(数字)消息：由随机序列描述的一组未知量： X=(X1, , Xi , , Xn) 连续(模拟)消息：由随机过程描述的未知量：X( t, ) 信息：是信号与消息的更抽象的表达层次。,1.1 信息的一般概念,信息、消息和信号是既有区别又有联系的三个不同的概念。 消息中包含信息，是信息的载体。 信号携带着消息，它是消息的运载工具。 信息是由具体的物理信号、数学描述的消息的内涵，它是信号具体载荷的内容，也是消息描述的含义。 信号是抽象信息在物理层表达的外延；消息是抽象信息在数学层表达的外延。 同一信息，可以采用不同的信号形

11、式(比如文字、语言、图象等)来载荷；也可以采用不同的数学表达形式(比如离散或连续)来定量描述。 同一信号形式，比如“0”与“1”，可以表达不同形式的信息，如无与有、断与通、低与高(电平)等等。,1.1 信息的一般概念,“信息”一词，来源于拉丁文，原意指解释、陈述。在英文、法文、德文、西班牙文中均为 “information”。根据牛津大词典记载，information 在14世纪时被解释为传播的行为，在1920世纪则被解释为传播的内容。从其英语语源上看，“in”是 接收到消息， “formation” 是 顺理成章。也就是说，信息用于增长人们的知识、传播各种事物，把我们不明确的知识弄清楚后整理

12、成章，再传递给需要的人。 作为科学术语，信息一词最早出现在哈特莱(R. V. Hartley)于1928年撰写的信息传输一文中：“发信者所发出的信息，就是他在通信符号表中选择符号的具体方式”。定义不涉及到信息的价值和具体内容，只考虑选择的方式。即使考虑了选择的方法，但没有考虑各种可能选择方法的统计特性。,1.1 信息的一般概念,1948年，维纳 (N. Wiener)首次将信息与物质、能量相提并论。在控制论-动物和机器中通信与控制问题一书中指出：“机械大脑不能像初期唯物论者所主张的 如同肝脏分泌出胆汁 那样分泌出思想来，也不能认为它像肌肉发出动作那样能以能量的形式发出思想来。信息就是信息，不是

13、物质也不是能量。不承认这一点的唯物论，在今天不能存在下去”。将“信息”上升到“最基本概念”的位置。后来，维纳在人有人的用处一书中提出：“信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称。”,1.1 信息的一般概念,从维纳的观点，物质、能量和信息是相互有区别的，是人类社会赖以生存、发展的三大基础：世界由物质组成，能量是一切物质运动的动力，信息是人类了解自然及人类社会的凭据。 如果说，香农主要是从信息的发送端来研究信息的，那么，维纳则着重从接受端如何利用信息来加以研究。正是在写于1948年的这段话里，维纳第一次把信息同哲学相关联，尖锐地触及了信息的本

14、质定位问题。也正是这段话，启示人们将信息与物质、能量并列为人类生存的三大要素。,1.1 信息的一般概念,Norbert Wiener, 18941964, founder of cybernetics.,1.1 信息的一般概念,1948年，香农 (C. E. Shannon) 发表了一篇著名的论文：“通信的数学理论”。 他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。 香农信息定义：信息是事物运动状态或存在方式的不确定性的描述。(Information is a measure of ones freedom of choice when one selects

15、 a message) 纵观信息的定义，强调的主要有三点： 信息能够减少不确定性的讯息，并以符号的形式存储、处理和传播； 信息是一切通信和反馈控制系统的构成要素； 信息能够再现或部分再现物质与能量过程。,1.1 信息的一般概念,诞生于20世纪4060年代的系统理论，还包括奥地利生物学家贝塔郎非(Karl Ludwig von Bertalanffy, 1901年9月19日1972年6 月12日）创始的一般系统论 (General Systems Theory)，与信息论 (Information Theory)、控制论(Cybernetics)一起形成所谓的“老三论”。,1.1 信息的一般概念

16、,不光“老三论”突出地强调信息的意义，包括耗散结构论、超循环论和协同论在内的所谓“新三论”，对信息的重视程度也相当高。例如耗散结构论就认为，一个远离平衡状态的开放系统，是不断地在和外界交换物质、能量和信息的。 在经济学家眼里，信息更是与物质、能量相并列的客观世界的三大要素之一。美国哈佛大学的研究小组给出了著名的资源三角形。,1.1 信息的一般概念,物质,信息,能量,他们认为：没有物质，什么也不存在；没有能源，什么也不会发生；没有信息，任何事物都没有意义。,信息的意义 “世界由物质、能量、信息三大要素组成”是控制论的著名观点之一，也由当今科学界所普遍认同。 能量是物质做功的能力，包括势能、动能、热能、电能、磁能、光能、化学能和原子能在内的各类能量在物质世界里具有强大功能和巨大作用。 信息作为客观存在的物质世界中各种符号的载荷，特别是其内容为接收者预先所不知道时，具有减少或消除不确定性的实际效用，因而亦为人们所重视和强调。,1.1 信息的一般概念,信息的作用 信息是人类认识世界的媒介。信息是事物的普遍属性，人类都是在接受、感知、识别、分析、整理信息