《信息论与编码 第一章 绪论(1)》由会员分享，可在线阅读，更多相关《信息论与编码 第一章 绪论(1)（69页珍藏版）》请在金锄头文库上搜索。
1、信息论与编码,邹东尧,自我介绍,邹东尧计算机与通信工程学院通信与信息工程系手机：13598017035课下辅导地点：,教学目标与课时,香农信息论的基本理论、概念和方法； 信息的统计度量，离散信源，离散信道和信道容量 编码的理论和实现原理 信源编码与信道编码 教学重点 信息度量 信源描述 信道容量 充分理解、熟练掌握教材的内容 熟练掌握基本的信息理论概念和定理 熟练掌握通信与信息工程中基本研究对象的数学描述 通过学习和习题练习，具备一定的解决问题分析问题的能力 掌握一定的科学思想方法(用信息论的思想和观点)课时安排：36+6 1-7、10-14,学习方法,本课程以概率论为基础，数学推导较多，学习
2、时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。,信息论基础的重要性,信息论是信息科学和技术的基本理论, 信息科学大厦的地基; 没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情; 总之,信息论是高层次信息技术人才必不可少信息论,参考书,1信息论与编码，陈运编著，电子工业出版社. 2. 信息论与编码，曹雪虹等著， 北京邮电大学出版社. 3信息论基础理论与应用， 傅祖芸编，电子工业出版社
3、. 4. 信息理论与编码，吕锋等编著，人民邮电出版社.,考核方式,期末考试（试题+论文）+平时成绩 期终考试成绩占70，平时成绩占30 作业10%，考勤10%，实验10%作业认真完成、实验及报告认真完成、页面整洁、作适当奖励，10% 严重违反课堂纪律，视情节轻重扣分,绪 论,第一章,郑州轻工业学院计算机与通信工程学院,9,第1章：概论,第2章：信源熵,第3章：信道容量,第4章：信息率失真函数,第5章：信源编码,第6章：信道编码,第7章：密码体制的安全性测度,郑州轻工业学院计算机与通信工程学院,10,1.1 信息的一般概念,1.3 信息论的起源、发展及研究内容,1.2 信息的分类,郑州轻工业学院
4、计算机与通信工程学院,11,C.E.Shannon：美国科学家，信息论创始人 中文译名：山农，香农，仙农，商农,郑州轻工业学院计算机与通信工程学院,12,信息科学和材料、能源科学一起被称为当代文明的“三大支柱”。,一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。”,郑州轻工业学院计算机与通信工程学院,13,花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉；,成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息；,药有苦味，让人难以吞咽，药味是一种信息；,听老师讲课可以得到许多知识，知识也是信息。,郑州轻工业学院计算机
5、与通信工程学院,14,色彩,视觉,果香,嗅觉,苦药,味觉,知识,听觉,总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。,冷热,触觉,郑州轻工业学院计算机与通信工程学院,15,那么信息究竟是什么呢？,郑州轻工业学院计算机与通信工程学院,16,郑州轻工业学院计算机与通信工程学院,17,1928年， 美国数学家哈 特 莱 (Hartley)在贝尔系统电话杂志上发表了一篇题为信息传输的论文。他认为“信息是选择的自由度”。,郑州轻工业学院计算机与通信工程学院,18,事隔20年， 另一位美国数学家香农 (C. E. Shannon) 在贝尔系统电话杂志发表了题为通信的数学理论的长篇论文。他创立了信
6、息论，但是却没有给出信息的确切定义他认为“信息就是一种消息”。,郑州轻工业学院计算机与通信工程学院,19,一书中写到：“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。,美国数学家、控制论的 主要奠基人维纳(Wiener）在1950年出版的控制论与社会,郑州轻工业学院计算机与通信工程学院,20,最高的层次的定义是最普遍的层次，也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的方式”。我们把它叫做“本体论”层次。在这个层次上定义的信息是最广义的信息，使用范围也最广。,郑州轻工业学院计算机
7、与通信工程学院,21,例如，引入一个最有实际意义的约束条件：认识主体。信息定义就转化为“认识论”层次的信息定义。即：信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）。其中认识主体所感知的东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则是其向外部世界输出的信息。,郑州轻工业学院计算机与通信工程学院,22,全 信 息,同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息。,郑州轻工业学院计算机与通信工程学院,23,信息存在于自然界，也存在于人类社会，其本质是运动和变化。可以说哪里有事物的运动
8、和变化，哪里就会产生信息。,人类交换信息的形式丰富多彩，使用的信息载体非常广泛。概括起来，有语言、文字和电磁波。,信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。,郑州轻工业学院计算机与通信工程学院,24,综合起来，信息有以下主要特征：,信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在。,信息来源于精神世界，但又不局限于精神领域。,1,2,郑州轻工业学院计算机与通信工程学院,25,信息与能量息息相关，但又与能量有本质的区别。,信息具有知识的本性，但又比知识的内涵更广泛。,信息可以被认识主体获取和利用。,3,4,5,郑州轻工业学院计算
9、机与通信工程学院,26,根据上述特征和信息的基本定义，可以导出信息的一些重要性质：,郑州轻工业学院计算机与通信工程学院,27,信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源，全面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。,郑州轻工业学院计算机与通信工程学院,28,1.1 信息的一般概念,1.3 信息论的起源、发展及研究内容,1.2 信息的分类,郑州轻工业学院计算机与通信工程学院,29,按照信息的性质,按照观察的过程,郑州轻工业学院计算机与通信工程学院,30,按照信息的地位,按照信息的作用,郑州轻工业学院计算机与通信工程学院,31
10、,按照信息的逻辑意义,按照信息的传递方向,郑州轻工业学院计算机与通信工程学院,32,郑州轻工业学院计算机与通信工程学院,33,郑州轻工业学院计算机与通信工程学院,34,郑州轻工业学院计算机与通信工程学院,35,按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类型。,在众多的分类原则和方法中，最重要的就是按照信息性质的分类。,郑州轻工业学院计算机与通信工程学院,36,郑州轻工业学院计算机与通信工程学院,37,语法信息考虑的是事物运动状态和变化方式的外在形式 。,当然，按照事物运动的方式，还可以把信息进一
11、步细分为概率信息、偶发信息、确定信息和模糊信息。香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。,郑州轻工业学院计算机与通信工程学院,38,1.1 信息的一般概念,1.3 信息论的起源、发展及研究内容,1.2 信息的分类,郑州轻工业学院计算机与通信工程学院,39,信息论自诞生到现在不过50多年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。,郑州轻工业学院计算机与通信工程学院,40,在人类历史的长河中，信息传输和传播手段经历了五次重大变革：,1,2,3,4,5,郑州轻
12、工业学院计算机与通信工程学院,41,1924年，奈奎斯特（Harry Nyquist） (1889-1976)解释了信号带宽和信息速率之间的关系。,郑州轻工业学院计算机与通信工程学院,42,20世纪30年代，新的调制方式，如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进一步的认识。,郑州轻工业学院计算机与通信工程学院,43,1936年，阿姆斯特朗 （EdwinArmstrong)指出增大带宽可以使抗干扰能力加 强，并根据这一思想提出了宽频移的频率调制方法。,郑州轻工业学院计算机与通信工程学院,44,1939年，达得利（Homer Dudley）
13、发明了带通声码器，指出通信所需带宽至少同待传送 消息的带宽应该一样。声码器是最早的语音数据压缩系统。这一时期还诞生了无线电广播和电视广播。,郑州轻工业学院计算机与通信工程学院,45,1928年，哈特莱（Hartley）首先提出了用对数度量信息的概念。 Hartley的工作给 Shannon 很大的启示, 他在19411944年对通信和密码进行深入研究，用概率论和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。,郑州轻工业学院计算机与通信工程学院,46,阐明通信系统传递的对象；,提出了信息熵的概念；,指出通信系统的中心问题；,指明了解决问题的方法。,1,2,3,4,
14、郑州轻工业学院计算机与通信工程学院,47,以上这些成果1948年以“通信的数学理论”（A mathematical theory of communication）为题公开发表，标志着信息论的正式诞生。,维纳（Wiener）在研究火控系统和人体神经系统时，提出了在干扰作用下的信息最佳滤波理论，成为信息论的一个重要分支。,郑州轻工业学院计算机与通信工程学院,48,50 年代，信息论在学术界引起了巨大反响。1951年，美国无线电工程师协会（IRE）成立了信息论组，并于1955年正式出版了信息论汇刊。,1959年，香农发表了“保真度准则下的离散信源编码定理”（Coding theorems for
15、a discrete source with a fidelity criterion）系统地提出了信息率失真理论（rate-distortion theory）。为信源压缩编码的研究奠定了理论基础。,郑州轻工业学院计算机与通信工程学院,49,60年代，信道编码技术有了较大发展，使它成为信息论的又一重要分支。,1961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。,郑州轻工业学院计算机与通信工程学院,50,后来，随着通信规模的不断扩大，人们逐渐意识到信息安全是通信系统正常运行的必要条件。于是，把密码学也归类为信息论的分支。如今信息安全已是网络通信和电子商务系统中不可缺少的重要环节。,70年代以后，多用户信息论成为中心研究课题之一。,郑州轻工业学院计算机与通信工程学院,51,人们对信息的认识越来越深入，先后提出了加权熵、动态熵等概念，建立在模糊数学基础之上的模糊信息的研究也取得了一定的进展。信息论不仅在通信、广播、电视、雷达、导航、计算机、自动控制、电子对抗等电子学领域得到了直接应用，还广泛地渗透到诸如医学、生物学、心理学、神经生理学等自然科学的各个方面，甚至渗透到语言学、美学等领域。,郑州轻工业学院计算机与通信工程学院,52,从60年代开始，一些社会学家在研究社会问题和社会现象时，先后提出了后工业社会和信息社会的概念，信息论开始向经济学和社会科学领域渗透。,
