湖南科技大学计算机学院湖南科技大学计算机学院周付章周付章Mobile:13007324381：172701374E-mail:第第1章：概述章：概述第第2章：信源熵章：信源熵第第3章：信道容量章：信道容量第第4章：信息率失真函数章：信息率失真函数第第5章：信源编码章：信源编码第第6章：信道编码章：信道编码第第7章：密码体制的安全性测度章：密码体制的安全性测度 C.E.Shannon：美国科学家，美国科学家，信息论创始人信息论创始人中文译名：中文译名：山农，山农，香农香农，仙农，商农，仙农，商农 Claude Elwood Shannon克劳德艾尔伍德香农 1916年4月30日2001年2月24日 香农于 1916 年4月30 日出生于美国密歇根州的 Petoskey，并且是爱迪生的远亲戚1936年毕业于密歇根大学并获得数学和电子工程学士学位，在那里他遇到了离散数学奠基人乔治 布尔，上过他的课程1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位1941年他加入贝尔实验室数学部，工作到1972年1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。
香农博士于2001年2月24日去世，享年84岁香农于 1940 年在普林斯顿高级研究所（The Institute for Advanced Study at Princeton Princeton）期间开始思考信息论与有效通信系统的问题经过8年的努力，香农在 1948 年6月和 10 月在 贝尔系统技术杂志（BellSystem Technical Journal Journal）上连载发表了他影响深远的论文通讯的数学原理1949 年，香农又在该杂志上发表了另一著名论文 噪声下的通信在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题两篇论文成为了信息论的奠基性著作香农的贡献1）1948年发表年发表“通信的数学理论通信的数学理论”，标志着信，标志着信 息论的诞生；息论的诞生；2）1949年发表年发表“噪声下的通信噪声下的通信”，为信道编码，为信道编码 奠定理论基础；奠定理论基础；3）1949年发表年发表“保密通信的信息理论保密通信的信息理论”，首先，首先 用信息论的观点对信息保密问题作了全面用信息论的观点对信息保密问题作了全面 的的 论述；论述；4）1959年发表年发表“保真度准则下的离散信源编码保真度准则下的离散信源编码 定理定理”，提出信息率失真理论，为信源压缩，提出信息率失真理论，为信源压缩 编码研究奠定理论基础；编码研究奠定理论基础；5）1961年发表年发表“双路通信信道双路通信信道”，开拓了多用，开拓了多用 户信息理论，（网络信息论）的研究。
户信息理论，（网络信息论）的研究1.1 1.1 信息的一般概念信息的一般概念1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 信息的分类信息的分类 信息信息 科学和科学和材料材料、能源能源科学一起被科学一起被称为当代文明的称为当代文明的“三大支柱三大支柱”一位美国科学家说过：一位美国科学家说过：“没有物质的没有物质的世界是虚无的世界；没有能源的世界是死世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界寂的世界；没有信息的世界是混乱的世界花朵开放时的花朵开放时的色彩是一种信息色彩是一种信息，它可以引来昆虫为其授粉；它可以引来昆虫为其授粉；成熟的水果会产生香味，诱来动成熟的水果会产生香味，诱来动物，动物食后为其传播种子，物，动物食后为其传播种子，果香也果香也是一种信息是一种信息；药有苦味，让人难以吞咽，药有苦味，让人难以吞咽，药味药味是一种信息是一种信息；听老师讲课可以得到许多知识，听老师讲课可以得到许多知识，知识也是信息知识也是信息色彩色彩视觉视觉果香果香嗅觉嗅觉苦药苦药味觉味觉知识知识听觉听觉 总之，信息处处存在，人的眼、耳、总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。
鼻、舌、身都能感知信息冷热冷热触觉触觉那么信息究竟是什么呢？那么信息究竟是什么呢？信息是事物之间的差异信息是事物之间的差异1 信息是物质和能量在时间和空间中信息是物质和能量在时间和空间中分布的不均匀性分布的不均匀性 2 信息是负熵信息是负熵3 信息是作用于人类感觉器官的东西信息是作用于人类感觉器官的东西 4 信息就是情报信息就是情报 5 信息就是知识信息就是知识6 数学家认为数学家认为“信息是使概率信息是使概率分布发生改变的东西分布发生改变的东西”7 哲学家认为哲学家认为“信息是物质成信息是物质成分的意识成分按完全特殊的分的意识成分按完全特殊的方式融合起来的产物方式融合起来的产物”8 19281928年，年，美国数学家美国数学家哈特莱哈特莱 (Hartley)(Hartley)在在贝尔系统杂志贝尔系统杂志上发表了一篇题为上发表了一篇题为信息传输信息传输的论的论文他认为文他认为“信息是选择的自由度信息是选择的自由度”事隔事隔2020年，年，另一位美国数学另一位美国数学家家香农香农(C.E.Shannon)(C.E.Shannon)在在贝尔系统贝尔系统杂志杂志发表了题为发表了题为通信的数学理通信的数学理论论的长篇论文。
他创立了信息论，但的长篇论文他创立了信息论，但是却没有给出信息的确切定义他认为是却没有给出信息的确切定义他认为“信息就是一种消息信息就是一种消息”美国数学家、控制论奠基人的美国数学家、控制论奠基人的维纳维纳(Wiener(Wiener）在在19501950年年出版的出版的控制论控制论与社会与社会一一书中写到：书中写到：“信息既不是物质又不是能量，信息就是信息既不是物质又不是能量，信息就是信息信息”这句话起初受到批评和嘲笑但正是这句这句话起初受到批评和嘲笑但正是这句话揭示了信息的特质：即信息是独立于物话揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的质和能量之外存在于客观世界的第三要素第三要素最高的层次的定义是最普遍的层次，最高的层次的定义是最普遍的层次，也是无约束条件的层次，定义也是无约束条件的层次，定义事物事物的的“信息是该事物运动的状态和状态改变的信息是该事物运动的状态和状态改变的方式方式”我们把它叫做我们把它叫做“本体论本体论”层次在这个层次上定义的信息是最广义的信在这个层次上定义的信息是最广义的信息，使用范围也最广息，使用范围也最广例如，引入一个最有实际意义的约例如，引入一个最有实际意义的约束条件：束条件：认识主体。
认识主体信息定义就转化为信息定义就转化为“认识论认识论”层次的信息定义即层次的信息定义即：信息信息是认识主体（生物或机器）所感知的或是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、方式（包括状态及其变化方式的形式、含义和效用）含义和效用）其中认识主体所其中认识主体所感知感知的的东西是外部世界向认识主体输入的信息，东西是外部世界向认识主体输入的信息，而认识主体所而认识主体所表述表述的东西则是其向外部的东西则是其向外部世界输出的信息世界输出的信息全全 信信 息息 同时考虑事物运动状态及其变化同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价方式的外在形式、内在含义和效用价值的认识论层次信息值的认识论层次信息信息存在于自然界，也存在于人信息存在于自然界，也存在于人类社会，其类社会，其本质是运动和变化本质是运动和变化可以说可以说哪里有事物的运动和变化，哪里就会产哪里有事物的运动和变化，哪里就会产生信息人类交换信息的形式丰富多彩，人类交换信息的形式丰富多彩，使用的信息载体非常广泛概括起来，使用的信息载体非常广泛。
概括起来，有有语言、文字和电磁波语言、文字和电磁波信息必须依附于一定的物质形式信息必须依附于一定的物质形式存在，这种运载信息的物质，称为存在，这种运载信息的物质，称为信信息载体综合起来，信息有以下主要特征：综合起来，信息有以下主要特征：信息来源于物质，又不是物质本信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在以脱离源物质而相对独立地存在信息来源于精神世界，但又不局信息来源于精神世界，但又不局限于精神领域限于精神领域12 信息与能量息息相关，但又与能信息与能量息息相关，但又与能量有本质的区别量有本质的区别信息具有知识的本性，但又比知信息具有知识的本性，但又比知识的内涵更广泛识的内涵更广泛信息可以被认识主体获取和利用信息可以被认识主体获取和利用345 根据上述特征和信息的基本定义，根据上述特征和信息的基本定义，可以导出信息的一些重要性质：可以导出信息的一些重要性质：存在的普遍性存在的普遍性 有序性有序性相对性相对性 可度量性可度量性 同同可扩充性可扩充性 可存储、传输与携带性可存储、传输与携带性 信息在信息化程度越来越高的社会中信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能将起到越来越重要的作用，是比物质和能量更为宝贵的量更为宝贵的资源资源，全面掌握信息的概念，全面掌握信息的概念，正确、及时、有效地利用信息，能够为人正确、及时、有效地利用信息，能够为人类创造更多的财富。
类创造更多的财富可压缩性可压缩性 可扩散性可扩散性 可替代性可替代性 可共享性可共享性 时效性时效性 信息的独有性质1.1 1.1 信息的一般概念信息的一般概念1.3 1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 1.2 信息的分类信息的分类 按照信息的性质按照信息的性质 1语法语法语义语义语用语用 按照观察的过程按照观察的过程 实在实在先验先验实得实得 2客观客观主观主观 按照信息的地位按照信息的地位 按照信息的作用按照信息的作用有用有用无用无用干扰干扰34真实真实虚假虚假不定不定 按照信息的逻辑意义按照信息的逻辑意义 按照信息的传递方向按照信息的传递方向 前馈前馈反馈反馈56宇宙宇宙自然自然社会社会思维思维工业农业军事政治科技文化经济市场管理 按照信息的生成领域按照信息的生成领域 7 按照信息的应用部门按照信息的应用部门 8语声图象文字数据计算电电磁磁语语声声图图象象文文字字光光学学生生物物 按照信息的来源按照信息的来源9 按照信息载体的性质按照信息载体的性质 10连续连续离散离散半连续半连续 按照携带信息的信号的性质按照携带信息的信号的性质 11 在众多的分类原则和方法中，最重在众多的分类原则和方法中，最重要的就是按照要的就是按照信息性质信息性质的分类。
的分类按照性质的不同可以把信息划分成按照性质的不同可以把信息划分成语法信息、语义信息和语用信息语法信息、语义信息和语用信息三个三个基本类型其中最基本也是最抽象的类基本类型其中最基本也是最抽象的类型是语法信息也是迄今为止在理论上型是语法信息也是迄今为止在理论上研究得最多的类型研究得最多的类型全信息全信息语法信息语法信息语义信息语义信息语用信息语用信息离散信息离散信息 明晰信息明晰信息 连续信息连续信息 模糊信息模糊信息 语法信息考虑的是事物运动状态和语法信息考虑的是事物运动状态和变化方式的变化方式的外在形式外在形式当然，按照事物运动的方式，还可当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息信息、确定信息和模糊信息香农信息论主要讨论的是语法信息中香农信息论主要讨论的是语法信息中的的概率信息概率信息，本书也以概率信息为主要，本书也以概率信息为主要研究对象研究对象1.1 1.1 信息的一般概念信息的一般概念1.。