《信息论讲义-课件》由会员分享，可在线阅读，更多相关《信息论讲义-课件（68页珍藏版）》请在金锄头文库上搜索。
1、信息理论基础信息理论基础北京航空航天大学北京航空航天大学201教研室教研室陈陈 杰杰课程概况课程概况班级：班级：350225,26,27,61,81学时：学时：36学时学时学分：学分：2学分学分时间：时间：2007年年9月月10日日 2007年年11月月15日日教材：教材：信息理论基础信息理论基础 周荫清周荫清 主编主编 北京航空航天大学出版社北京航空航天大学出版社考核方式：考核方式： 作业作业 20% % 考试考试 80% 奖励机制奖励机制 ：计算机仿真实验加分 满分10分 大偏差大偏差 极限定理极限定理概率理论概率理论 通信理论中通信理论中 的临界值的临界值 通信理论通信理论 不等式不等式
2、 数学数学投资组合投资组合理论理论/ Kelly博弈论博弈论 经济学经济学 Fisher信息假设信息假设 检验检验 统计学统计学 物理学物理学 AEP渐近均分性渐近均分性 热力学热力学Kolmogorov 复杂度复杂度计算机科学计算机科学信息理论同其他学科的关系信息理论同其他学科的关系Information theory内容安排内容安排第一章第一章 绪论绪论第二章第二章 信息的统计度量信息的统计度量第三章第三章 离散信源离散信源第四章第四章 离散信道离散信道第五章第五章 无失真信源编码无失真信源编码第六章第六章 有噪信道编码有噪信道编码第七章第七章 限失真信源编码限失真信源编码第八章第八章 网
3、络信息论基础网络信息论基础 参考书目参考书目傅祖芸，傅祖芸，信息论信息论-基础理论与应用基础理论与应用，2001 电电子工业出版社子工业出版社朱雪龙朱雪龙 ，应用信息论基础应用信息论基础，2003年清华大年清华大学出版社学出版社傅祖芸，傅祖芸，信息理论与编码信息理论与编码学习辅导及精选学习辅导及精选题解题解，2004年电子工业出版社年电子工业出版社 陈杰，徐华平，周荫清陈杰，徐华平，周荫清信息论习题集信息论习题集，2005年清华大学出版社年清华大学出版社 第一章第一章 绪论绪论信息的概念信息的概念信息、消息与信号信息、消息与信号通信系统模型通信系统模型What is Information？信
4、息、消息与信息、消息与信号的区别？信号的区别？通信系统的通信系统的原理模型？原理模型？1.1 1.1 信息论信息论信息论信息论(Information Theory) 是应用是应用数理统计数理统计方法方法研究信息的研究信息的传输传输、存储存储和和处理处理的一门学的一门学科，主要研究可能性和存在性问题。科，主要研究可能性和存在性问题。信息技术信息技术(Information Technology)主要研究主要研究如何实现、怎样实现的问题。如何实现、怎样实现的问题。信息论从诞生至今已有信息论从诞生至今已有50多年的历史，包括：多年的历史，包括： 经典信息论经典信息论( (香农信息论香农信息论) )
5、 工程信息论工程信息论( (一般信息论一般信息论) ) 广义信息论广义信息论( (信息科学信息科学) )信息论信息论1.1.1 经典信息论经典信息论(香农信息论香农信息论)亦称亦称香农香农信息论、信息论、数学数学信息论、信息论、狭义狭义信息论、信息论、近代近代信息论信息论创始人是美国数学家创始人是美国数学家C.E.Shannon(香农香农)，1948年发表年发表A Mathematical Theory of Communication奠定了经典信息论的基础奠定了经典信息论的基础主要研究通信系统中的数学规律，主要内容主要研究通信系统中的数学规律，主要内容信源与信息量信源与信息量信道与信道容量信
6、道与信道容量信源与信道间统计匹配信源与信道间统计匹配信源与信道编码定理信源与信道编码定理1.1.2 工程信息论工程信息论(一般信息论一般信息论)工程信息论主要研究通信系统及系统设备中工程信息论主要研究通信系统及系统设备中的最佳工作规律和最佳设计的一门科学。的最佳工作规律和最佳设计的一门科学。主要应用于通信领域，主要内容主要应用于通信领域，主要内容信源编码理论与方法信源编码理论与方法信道编码理论与方法信道编码理论与方法信号检测、估计理论与方法信号检测、估计理论与方法保密学保密学通信网通信网1.1.3 广义信息论（信息科学）广义信息论（信息科学）70年代以后，随着年代以后，随着VLSI和计算机技术
7、的广泛和计算机技术的广泛应用，信息存储和处理能力不断提高，建立应用，信息存储和处理能力不断提高，建立了更具一般性的广义信息论了更具一般性的广义信息论信息科学信息科学主要内容：主要内容：经典信息论和工程信息论经典信息论和工程信息论模式识别模式识别计算机翻译计算机翻译神经网络神经网络心理学与遗传学心理学与遗传学语言学与语义学语言学与语义学1.2 1.2 信息的概念信息的概念信息信息是信息论中最基本、最重要的概念，是一是信息论中最基本、最重要的概念，是一个既复杂又抽象的概念。个既复杂又抽象的概念。信息概念十分广泛，由于信息科学比起其他学科信息概念十分广泛，由于信息科学比起其他学科（如物理学、化学、数
8、学）还很年轻，人类对信（如物理学、化学、数学）还很年轻，人类对信息的认识还很不够。迄今为止，信息息的认识还很不够。迄今为止，信息并没有形并没有形成一个很完整的、系统的概念成一个很完整的、系统的概念。不同的研究学派对信息的本质及其定义还没有形不同的研究学派对信息的本质及其定义还没有形成统一的意见和认识。成统一的意见和认识。 1.2.1 通俗通俗的信息概念的信息概念信息是一种信息是一种消息消息。这是一种最普遍的概念，是目前社会上最这是一种最普遍的概念，是目前社会上最流行的概念，这个概念好像使人一听就明流行的概念，这个概念好像使人一听就明白，但不准确。确切地说，这种概念把消白，但不准确。确切地说，这
9、种概念把消息认为是信息。息认为是信息。信息信息 消息消息，同一条消息有不同信息量同一条消息有不同信息量。例如例如: 某人收到一条消息某人收到一条消息包含许多原来不知道的包含许多原来不知道的新新内容内容信息量信息量大大包含许多原来已知道的包含许多原来已知道的旧旧内容内容信息量信息量小小1.2.2 广义广义的信息概念的信息概念物质、能量和信息是构成客观世界三大要素，信息物质、能量和信息是构成客观世界三大要素，信息是是物质和能量物质和能量在在空间和时间空间和时间中分布的中分布的不均匀程度不均匀程度。信息不是物质信息不是物质，信息是事物的表征，是对，信息是事物的表征，是对物质存在物质存在状态和运动形式
10、状态和运动形式的一般描述。的一般描述。信息存在于任何事物之中，有物质的地方就有信息，信息存在于任何事物之中，有物质的地方就有信息，信息充满物质世界。信息充满物质世界。信息本身看不见、摸不着，它信息本身看不见、摸不着，它必须依附于一定的物必须依附于一定的物质形式质形式（如（如文字、声波、电磁波文字、声波、电磁波等）。这种运载信等）。这种运载信息的物质称为信息的载体，一切物质都有可能成为息的物质称为信息的载体，一切物质都有可能成为信息的载体。信息的载体。1.2.3 概率概率信息概念信息概念由美国数学家香农由美国数学家香农1948年提出，亦称年提出，亦称香农信息香农信息或或狭义信息狭义信息。概率信息
11、是从。概率信息是从不确定性不确定性 (Uncertainty) 和概率测度出发定义信息的。和概率测度出发定义信息的。香农针对人类通信活动的特点，提出了香农针对人类通信活动的特点，提出了形式化假说形式化假说非决定论非决定论不确定性不确定性基于对通信活动基本功能基于对通信活动基本功能的观察分析，的观察分析，“通信的基通信的基本问题是在信宿端精确或本问题是在信宿端精确或近似地复制发送端所挑选近似地复制发送端所挑选的消息。通常消息是有语的消息。通常消息是有语义的，即它按某种关系与义的，即它按某种关系与某些物质概念的实体联系某些物质概念的实体联系着。通信中语义方面的问着。通信中语义方面的问题与工程问题没
12、有关系题与工程问题没有关系”基于对通信活动对象和过基于对通信活动对象和过程的分析研究，程的分析研究，“信源发信源发出的消息总是从可能发生出的消息总是从可能发生的消息符号集合中随机选的消息符号集合中随机选择，通信系统无法预先知择，通信系统无法预先知道信源在什么时候会选择道信源在什么时候会选择什么消息发送什么消息发送”，即具有，即具有通信意义的消息都是随机通信意义的消息都是随机发生的发生的随机事件随机事件随机事件随机事件基于对通信活动的机制和基于对通信活动的机制和本质的分析研究，本质的分析研究，“人类人类只有在两种情况下有通信只有在两种情况下有通信的需求，的需求，1）自己有某种自己有某种形式的消息
13、要告诉对方，形式的消息要告诉对方，且估计对方不知道；且估计对方不知道；2）自己有某种疑问需要对方自己有某种疑问需要对方给出解答给出解答” 经过通信活动后，消除了经过通信活动后，消除了不确定性不确定性，获取了信息获取了信息获取了信息获取了信息在一定条件下必然发生在一定条件下必然发生的现象称为确定性现象的现象称为确定性现象. . “太阳不会从西边升起太阳不会从西边升起”,1.确定性现象确定性现象 “同性电荷必然互斥同性电荷必然互斥”,“水从高处流向低处水从高处流向低处”,实例实例自然界所观察到的现象自然界所观察到的现象: 确定性现象确定性现象 随机现象随机现象1.2.4 讨论讨论 :随机现象与信息
14、随机现象与信息 在一定条件下可能出现也可能不出现在一定条件下可能出现也可能不出现的现象的现象称为随机现象称为随机现象.实例实例1 “在相同条件下掷一枚均匀的硬币在相同条件下掷一枚均匀的硬币,观观察正反两面出现的情况察正反两面出现的情况”.2. 随机现象随机现象 “函数在间断点处不存在导数函数在间断点处不存在导数” 等等.结果有可能结果有可能出现正面出现正面也可能也可能出现反面出现反面.确定性现象的特征确定性现象的特征 条件完全决定结果条件完全决定结果1.2.4 讨论讨论 :随机现象与信息随机现象与信息 结果有可能为结果有可能为:“1”, “2”, “3”, “4”, “5” 或或 “6”. 实
15、例实例3 “抛掷一枚骰子抛掷一枚骰子,观观 察出现的点数察出现的点数”. 实例实例2 “用同一门炮向同用同一门炮向同 一目标发射同一种炮弹多一目标发射同一种炮弹多 发发 , 观察弹落点的情况观察弹落点的情况”.结果结果: “弹落点会各不相同弹落点会各不相同”.1.2.4 讨论讨论 :随机现象与信息随机现象与信息 实例实例4 “从一批含有正从一批含有正品和次品的产品中任意抽品和次品的产品中任意抽取一个产品取一个产品”.其结果可能为其结果可能为: 正品正品 、次品次品.实例实例5 “过马路交叉口时过马路交叉口时,可能遇上各种颜色的交通可能遇上各种颜色的交通指挥灯指挥灯”.1.2.4 讨论讨论 :随
16、机现象与信息随机现象与信息 实例实例6 “出生的婴儿可出生的婴儿可能是能是男男,也可能是也可能是女女”.实例实例7 “明天的天气可明天的天气可能是能是晴晴 , 也可能是也可能是多云多云或或雨雨”等都为随机现象等都为随机现象.随机现象的特征随机现象的特征概率论就是研究随机现象规律性的一概率论就是研究随机现象规律性的一 门数学学科门数学学科.条件不能完全决定结果条件不能完全决定结果1.2.4 讨论讨论 :随机现象与信息随机现象与信息 2. 随机现象在一次观察中出现什么结果具有随机现象在一次观察中出现什么结果具有偶然偶然性性, 但在大量试验或观察中但在大量试验或观察中, 这种结果的出现具这种结果的出
17、现具有一定的统计有一定的统计规律性规律性 , 概率论就是研究随机现象概率论就是研究随机现象这种本质规律的一门数学学科这种本质规律的一门数学学科.随机现象是通过随机试验来研究的随机现象是通过随机试验来研究的.问题问题 什么是随机试验什么是随机试验?如何来研究随机现象如何来研究随机现象?说明说明1. 随机现象揭示了条件和结果之间的非确定性联随机现象揭示了条件和结果之间的非确定性联系系 , 其数量关系无法用函数加以描述其数量关系无法用函数加以描述. 1. 可以在相同的条件下重复地进行可以在相同的条件下重复地进行; 2. 每次试验的可能结果不止一个每次试验的可能结果不止一个,并且能并且能事事先明确试验
18、的所有可能结果先明确试验的所有可能结果; 3. 进行一次试验之前不能确定哪一个结果进行一次试验之前不能确定哪一个结果会出现会出现. 在概率论中在概率论中,把具有以下三个特征的试验称把具有以下三个特征的试验称为为随机试验随机试验.定义定义1.2.5 讨论讨论 :随机试验与信息随机试验与信息 说明说明 1. 随机试验简称为试验随机试验简称为试验, 是一个广泛的术语是一个广泛的术语.它包它包括各种各样的科学实验括各种各样的科学实验, 也包括对客观事物进行也包括对客观事物进行的的 “调查调查”、“观察观察”、或、或 “测量测量” 等等.实例实例 “抛掷一枚硬币抛掷一枚硬币,观观察字面察字面,花面出现的
19、情况花面出现的情况”.分析分析 2. 随机试验通常用随机试验通常用 E 来表示来表示.(1) 试验可以在试验可以在相同的条件下重复地进行相同的条件下重复地进行;1.2.5 讨论讨论 :随机试验与信息随机试验与信息 1.“抛掷一枚骰子抛掷一枚骰子,观察出现的点数观察出现的点数”.2.“从一批产品中从一批产品中,依次任选三件依次任选三件,记录出现正品与次品的件数记录出现正品与次品的件数”.同理可知下列试验都为随机试验同理可知下列试验都为随机试验(2) 试验的所有可能结果试验的所有可能结果:字面字面、花面花面;(3) 进行一次进行一次试验之前能试验之前能确定哪一个结果会出现确定哪一个结果会出现. 故
20、为随机试验故为随机试验.1.2.5 讨论讨论 :随机试验与信息随机试验与信息 3. 记录某公共汽车站记录某公共汽车站某日上午某时刻的等某日上午某时刻的等车人车人 数数.4. 考察某地区考察某地区 10 月月份的平均气温份的平均气温.5. 从一批灯泡中任取从一批灯泡中任取一只一只,测试其寿命测试其寿命. 1.2.5 讨论讨论 :随机试验与信息随机试验与信息 随机现象的特征随机现象的特征:1. 概率论是研究随机现象规律性的一门数学学科概率论是研究随机现象规律性的一门数学学科. .条件不能完全决定结果条件不能完全决定结果.2. 随机现象是通过随机试验来研究的随机现象是通过随机试验来研究的. (1)
21、可以在相同的条件下重复地进行可以在相同的条件下重复地进行;(2) 每次试验的可能结果不止一个每次试验的可能结果不止一个, 并且能并且能事事先明确试验的所有可能结果先明确试验的所有可能结果;(3) 进行一次试验之前不能确定哪一个结果会进行一次试验之前不能确定哪一个结果会出现出现.随随机机试试验验1.2.5 讨论讨论 :随机试验与信息随机试验与信息 1.3 1.3 信息、消息与信号信息、消息与信号信息信息： 比较抽象比较抽象的概念；是系统中传输的的概念；是系统中传输的对对象象；包含包含在消息之中。在消息之中。消息消息：比较具体比较具体，但，但不是不是物理量；具有不同物理量；具有不同形式，例如形式，
22、例如语言、文字、符号、图像语言、文字、符号、图像等能够等能够被人感知；可以被人感知；可以传输传输并被通信双方并被通信双方理解理解；同；同一消息含有一消息含有不同信息不同信息；同一信息可用；同一信息可用不同消不同消息载荷息载荷。信号信号：最具体最具体，是，是消息的载荷者消息的载荷者；是表示消；是表示消息的息的物理量物理量，可测量可测量、可显示可显示、可描述可描述，是，是信息的物理表达层。信息的物理表达层。例例1.3.1 心音信号心音信号例例1.3.2 脉搏信号脉搏信号例例1.3.3 脑电波信号脑电波信号例例1.3.4 语音信号语音信号部分元音的时域波形与语谱图二十世纪70年代初期，SAR技术由机
23、载应用开始过渡到空间飞行器上，并取得突破性进展1972年12月美国发射的“阿波罗17号”登月飞船首次将SAR载入空间这部SAR被称为 “阿波罗月球探测器”( Apollo Lunar Sounder Experiment，ALSE)ALSE是人类历史上第一部以航天器为平台的SAR有效载荷，并成功地应用于月球表面及其表面以下特征的观测例例1.3.5 VHF波段波段-Apollo-17/ALSEVHFVHF雷达天线雷达天线例例1.3.5 VHF波段波段- MARS Express例例1.3.6 S波段波段-Clementine月球探测器月球探测器例例1.3.7 美国美国Magellan金星探测器金
24、星探测器1989年美国用亚特兰蒂斯号航天飞机发射，1990年8月10日抵达金星合成孔径雷达(SAR)成像装置能够获取到17至28公里宽的条带图像1994年10月11日，麦哲伦号飞船按照预定计划进入金星大气层，结束了长达4年的观测任务它所取得的主要科学成果包括：获取了金星表面98%区域的雷达图像，其分辨率达到每线1km的光学成像水平；获得了几乎覆盖金星全球表面的地形高程数据，空间分辨率为50km，高程分辨率达100m；金星上直径金星上直径280km280km的陨石坑的陨石坑金星上的火山金星上的火山( (高度高度1.5km)1.5km)例例1.3.7 美国美国Magellan金星探测器金星探测器例
25、例1.3.8 航天飞机雷达测图任务航天飞机雷达测图任务SRTM SRTM (Shuttle Radar Topography Mission)(Shuttle Radar Topography Mission)2000年美国的SRTM首次成功地利用航天飞机上搭载的两部雷达天线实现了单程SAR干涉测量SRTM采用收发分置的工作模式，利用天线吊臂生成60米长的空间基线实现干涉测量航天飞机经过10天左右的飞行， 获取到覆盖地球80%陆地表面的干涉SAR数据，需要2年时间处理完全部数据提供80%地球陆地表面DEM数据，测量精度达16米航天飞机执行SRTM任务时的飞行姿态干涉SAR处理得到的干涉条纹，可
26、生成高精度的数字高程数据（DEM）例例1.3.8 SAR图像图像Etna火山三维地形火山三维地形例例1.3.8 SRTM 天线展开演示天线展开演示例例1.3.8 SRTM 观测华盛顿地区演示观测华盛顿地区演示例例1.3.8 SRTM成像效果图成像效果图-美国洛杉矶地区美国洛杉矶地区例例1.3.9 THz太赫兹技术应用太赫兹技术应用例例1.3.9 THz太赫兹技术应用太赫兹技术应用IKONOS是当今世界上最先进的商用光学成像卫星之一1999年9月24日发射成像幅宽11km场景范围11km1000km空间分辨力达1米，具有很高的军事应用价值IKONOS在科索沃战争、9.11事件和阿富汗反恐战争中，
27、均发挥了重要作用例例1.3.10 IKONOS光学卫星光学卫星例例1.3.10 IKONOS观测伊朗美国侦察卫星拍摄的伊朗核工厂照片，右图为一个核设施的细节放大图核反应堆的细节放大图(分辨力0.25m)例例1.3.10 伊朗核设施卫星图片伊朗核设施卫星图片例例1.3.10 阿富汗基地组织营地阿富汗基地组织营地阿富汗基地组织达仑塔营地：一支步行前进的军队 2000年12月28日被袭击之前的五角大楼例例1.3.10 “9.11”“9.11”前后五角大楼前后五角大楼 2001年9月12日（“9.11”第二天）五角大楼被毁损的情况 2001年11月20日重建中的五角大楼 2000年1月30日世贸大厦姊
28、妹塔被毁前的卫星图片 2001年9月15日 11:43am，世贸废墟升起的浓烟 2001年9月15日 11:54am已成为废墟的世贸大厦例例1.3.10 “9.11”“9.11”前后世贸大厦前后世贸大厦例例1.3.10 香港香港例例1.3.10 上海上海例例1.3.11北京故宫北京故宫例例1.3.11 数字地球-3D Cruise例例1.3.12 TM数据富士山数据富士山例例1.3.12 TM数据朝鲜半岛与日本数据朝鲜半岛与日本影像终端端元提取和混合像元分类方法影像终端端元提取和混合像元分类方法例例1.3.13 信息处理信息处理-多光谱与高光谱数据处理技术多光谱与高光谱数据处理技术目标识别目标
29、识别目标材质分析例例1.3.13 信息处理信息处理-多光谱与高光谱数据处理技术多光谱与高光谱数据处理技术植被伪装坦克非植被伪装坦克BandMax 工具处理结果BandMax 工具特别适用于工具特别适用于 与背景十分相近的目标物的识别 目标物被部分隐藏 目标物过于微小，甚至小至只有一个像元此工具被成功应用于此工具被成功应用于 识别位于植被伪装物之下的军事车辆、如坦克等 识别毒品种植区 寻找宇航器及飞机碎片不同传感器数据的特征分类方法（高光谱数据）不同传感器数据的特征分类方法（高光谱数据）例例1.3.13 信息处理信息处理-多光谱与高光谱数据处理技术多光谱与高光谱数据处理技术多源信息综合叠加显示例
30、例1.3.13 信息处理信息处理-三维可视化技术三维可视化技术例例1.3.14 遥感信息处理及应用遥感信息处理及应用例例1.3.14 遥感信息处理及应用遥感信息处理及应用什么是信息?“Information causes change;If it doesnt, it isnt information”Claude Shannon (1916-2001)Claude Shannon (1916-2001)1.31.3 通信系统模型通信系统模型产生消息的源。消息是文字、语言、图像等，可以是离散序列，也可以是连续波形，都是随机发生的，可以用随机变量或随机过程来描述 将信源发出的消息变换成适于信道传
31、送的信号的设备。包含三部分：信源编码器、信道编码器和调制器。是把载荷消息的信号从发射端传到接收端的媒质或通道，是包括收发设备在内的物理设施 译码器从受干扰的信号中最大限度地提取出有关信源输出消息的信息，应尽可能精确地恢复信源的输出，并将它们送给信宿。消息的接收者如传输中衰落、多经码间干扰、非线性失真、热噪声1.31.3 通信系统模型通信系统模型基本问题基本问题1.临界数据压缩的值临界数据压缩的值2.临界通信传输速率临界通信传输速率信息熵信息熵 H信道容量信道容量C二元对称信道传输语音图像信号示例00111- p1- ppp例例1.3.15 1.3.15 声音信号传输实例声音信号传输实例图像信号传输实例图像信号传输实例信信 道道p=1/3信信 道道p=1/3作业1.简述信息、消息和信号的区别与联系简述信息、消息和信号的区别与联系2.简述通信系统的基本模型及各部分功能简述通信系统的基本模型及各部分功能
