信息论课件第一章序论0902章节

《信息论课件第一章序论0902章节》由会员分享，可在线阅读，更多相关《信息论课件第一章序论0902章节（74页珍藏版）》请在金锄头文库上搜索。

1、2,信息论与编码,2,3,3,课程介绍,课程信息 教师：王圆妹 Email： 电话：（h）18986661820，（o）8060131 上课时间/地点： 星期二 第一大节 东13-D-323c 星期四 第一大节 东13-D-323c,4,4,课程介绍,课程类别 学科基础必修课（考试课） 开课对象/学期 电子信息专业/通信专业本科生/第4学期 学分/学时 2/32,5,5,课程介绍,教材： 陈运等编著，信息论与编码，电子工业出版社,2011 参考书： 1、吕峰、王虹 信息理论与编码人民邮电出版社 2、陈运、周亮等，信息论与编码，电子工业出版社 3、傅祖芸，信息论基础理论与应用，电子工业出版社 4

2、、方军、俞槐栓，信息论与编码，电子工业出版社 5、吴伯修、祝宗泰、钱霖君，信息论与编码，东南大学出版社 6、姜丹，信息论与编码，中国科学技术大学出版社,6,6,答疑安排,每周星期三晚 7：30 地点：主教1204-1,7,课程性质,随着科学技术的不断发展，信息的概念逐渐深化，其应用领域也不断扩展，并与现代通信、计算机科学、现代管理、系统工程等学科紧密结合，广泛地应用于我们的日常生活中。本课程旨在通过对通信系统中信息理论的介绍，使大家更深入地了解信息的概念和本质，并掌握一些基本的信息理论知识和常用的编解码的方法。,7,信息论是应用概率论、随机过程和数理统计和近代代数等方法，来研究信息的存储、传输

3、和处理中一般规律的学科。 它的主要目的是提高通信系统的可靠性、有效性和安全性，以便达到系统的最优化。,9,9,课程内容,本课程包括信息论基础和编码两大部分。首先立足于概率论和随机过程的知识，通过各种随机变量的概率空间，给出了信息的统计模型，介绍了信息的统计度量。以香农信息论为基础，香农三大定理及香农公式为重点，从“单符号离散系统多符号离散系统”介绍了离散信源和信道的信息理论，然后，推广到连续系统。重点讲授信息的概念，信息的度量和计算等一些基本问题。还学习了几种常用的信源编码方法和纠错编码方法。,10,10,课程位置,基础课程 概率论 数理统计 后续课程 通信原理 数字通信 数字图像处理,11,

4、11,课程目标,掌握基本的信息论概念，而且要求能够和日常生活和学习结合起来，做到活学活用。掌握信息论基本理论和理想通信系统基本理论，能够熟练解题，掌握建立数学模型和分析数学模型的方法，还要掌握信源编码的原理和方法，要求能够基本上实现应用。最后要掌握信道编码的基本方法，并能够从信息论的角度加以理解。,12,12,学习方法,本课程只有理论介绍，显得枯燥、繁杂，不易理解，且“概率与数理统计”知识要求较高，学起来有一定难度。但只要理顺课程思路，尽快进入角色，并加以举一反三的理解，相信大家能学好该课程，切忌望而生畏。,重视数学理论的掌握。对于信息论基本内容中三大块内容和三个定理的学习，特别要注意数学推导

5、的完整性和严密性。要既掌握数学理论，又具备算法的开发能力。此外，对信息论与编码的学习，还需要增加一些程序开发实验。 学习过程中，要广泛地从参考书或参考文献中获取素材，这样才能做到深入浅出。,信息论课程的外延很广，因此在学习时对本课程与其他课相关联的内容进行深究，建立起课程之间的联系，这样逐渐把不同课程的知识融会贯通，从而使学习的兴趣和动力得到进一步提升。 为便于理解与掌握，适当的练习必不可少，对布置的作业最好按时独立地完成。,第1章：概述,第2章：信源熵,第3章：信道容量,第4章：信息率失真函数,第5章：信源编码,第6章：信道编码,第7章：密码体制的安全性测度,C.E.Shannon： 美国科

6、学家， 信息论创始人 中文译名： 山农，香农，仙农，商农,17,香农生平简介,香农（克劳德香农 (Claude Elwood Shannon， 美国，1916-2001) ） 杂技、音乐家、香农的一生都迷恋于平衡与控制稳定性、密码破译者、数学家、工程学家、哲学家 信息论创始人、奠基人 电子计算机理论的重要奠基人之一,Here comes your footer Page 17,18,香农生平简介代表作,1938年，香农发表了著名的论文继电器和开关电路的符号分析，首次用布尔代数进行开关电路分析，并证明布尔代数的逻辑运算，可以通过继电器电路来实现，明确地给出了实现加、减、乘、除等运算的电子电路的设

7、计方法。文中首次使用了比特（）的概念，这篇论文成为开关电路理论的开端。,注：比特（bit）：数字技术二进制的位数，1位二进制 称为bit 举例：10001110-142 10100100-164,19,1948年通信的数学理论（“ mathematical theory of communication”），第一次提出信息量的概念，并应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。 “通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。 香农,20,1949年，噪声下的通信，经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量

8、、信源统计特性、信源编码信道编码等有关精确地传送通信符号的基本技术问题 通信的数学理论、 噪声下的通信两篇文章成了现在信息论的奠基著作，标志香农成为了信息论这门新兴科学 的奠基人。,Here comes your footer Page 20,21,1956年 噪声信道的零差错容量“he zero-error capacity of a noisy channel”开创了零差错容量的研究领域 1959 年 在保真度准则下的离散信源编码定理“coding theorem for a discrete source with a fidelity criterion”，推动了信息率失真理论研究.

9、1961年 双路通信信道“Two-way communication channels”,开拓了多用户理论研究,1.1 信息的一般概念,1.3 信息论的起源、发展及研究内容,1.2 信息的分类,Chap 1 概述,信息科学和材料、能源科学一起被称为当代文明的“三大支柱”。,一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。”,花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉；,成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息；,药有苦味，让人难以吞咽，药味是一种信息；,听老师讲课可以得到许多知识，知识也是信息。,色

10、彩,视觉,果香,嗅觉,苦药,味觉,知识,听觉,总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。,冷热,触觉,那么信息究竟是什么呢？,1928年， 美国数学家哈 特 莱 (Hartley)在贝尔系统电话杂志上发表了一篇题为信息传输的论文。他认为“信息是选择的自由度”。,1948年， 另一位美国数学家香农 (C. E. Shannon) 在贝尔系统电话杂志发表了题为通信的数学理论的长篇论文。他创立了信息论，但是却没有给出信息的确切定义他认为“信息就是一种消息”。,美国数学家、控制论的 主要奠基人维纳(Wiener）在1950年出版的控制论与社会一书中写到：,“信息既不是物质又不是能量，信息

11、就是信息”。这句话起初受到批评和嘲笑。 但正是这句话揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。,最高的层次的定义是最普遍的层次，也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的方式”。我们把它叫做“本体论”层次。在这个层次上定义的信息是最广义的信息，使用范围也最广。,例如，引入一个最有实际意义的约束条件：认识主体。信息定义就转化为“认识论”层次的信息定义。即：信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）。其中认识主体所感知的东西是外部世界向认识主体输入的信息，而认识主体所

12、表述的东西则是其向外部世界输出的信息。,全 信 息,同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息。,信息存在于自然界，也存在于人类社会，其本质是运动和变化。可以说哪里有事物的运动和变化，哪里就会产生信息。,人类交换信息的形式丰富多彩，使用的信息载体非常广泛。概括起来，有语言、文字和电磁波。,信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。,综合起来，信息有以下主要特征：,信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在。,信息来源于精神世界，但又不局限于精神领域。,1,2,信息与能量息息相关，但又与

13、能量有本质的区别。,信息具有知识的本性，但又比知识的内涵更广泛。,信息可以被认识主体获取和利用。,3,4,5,根据上述特征和信息的基本定义，可以导出信息的一些重要性质：,信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源，全面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。,信息的 独有性质,1.1 信息的一般概念,1.3 信息论的起源、发展及研究内容,1.2 信息的分类,按照信息的性质,按照观察的过程,按照信息的地位,按照信息的作用,按照信息的逻辑意义,按照信息的传递方向,在众多的分类原则和方法中，最重要的就是按照信息性质的分类。,按照

14、性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类型。,语法信息考虑的是事物运动状态和变化方式的外在形式 。,当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。 香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。,1.1 信息的一般概念,1.3 信息论的起源、发展及研究内容,1.2 信息的分类,信息论自诞生到现在不过60年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、

15、共享，是人们普遍关心的问题。,在人类历史的长河中，信息传输和传播手段经历了五次重大变革：,1,2,3,4,5,1924年，奈奎斯特（Harry Nyquist） (1889-1976)解释了信号带宽和信息速率之间的关系。,20世纪30年代，新的调制方式，如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进一步的认识。,1936年，阿姆斯特朗（EdwinArmstrong)指出增大带宽可以使抗 干扰能力加 强，并根据 这一思想提出了宽频移的频率调制方法。,1939年，达得利（Homer Dudley）发 明了带通声码器，指出通 信所需带宽至少同待传送 消息的带宽应该一样。声码器是最早的语音数据压缩系统。这一时期还诞生了无线电广播和电视广播。,1928年，哈特莱（Hartley）首先提出了用对数度量信息的概念。 Hartley的工作给Shannon很大的启示, 他在19411944年对通信和密码进行深入研究，用概率论和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。,阐明通信系统传递的对象；,提出了信息熵的概念；,指出通信系统的中心问题；,指明了解决问题的方法。,1,2,3,4,以上这些成果1948年以“通信的数学理论”（A mathematical theory of communication）为题公开发