第三章：信息论基础知识

《第三章：信息论基础知识》由会员分享，可在线阅读，更多相关《第三章：信息论基础知识（39页珍藏版）》请在金锄头文库上搜索。

1、,科学技术高度发展的今天，人们已普遍认识到，科学技术发展的三大支柱(能源、材料、信息)之一信息科学，占有头等重要地位。 信息论是信息科学的理论基础，是运用数理统计方法研究信息的获取、变换、传输与处理的新兴学科，广义信息论已广泛地渗透于各种科学领域。 在工程技术领域，测试是从客观事物中提取有关信息的认识过程，因此，测试技术属于信息科学范畴。将信息论引入工程测试领域，对于促进工程技术的发展，拓宽和深入理解工程技术的各种问题，具有十分重要的意义。,第三章 信息论基础知识,第三章 信息论基础知识,信息与信息技术 信息论与广义通信系统 信息的定量描述 连续信源及最大熵定理 信息与熵的守恒定律 思考题（作

2、业）,3-1 信息与信息技术,一、信息的定义 信息就是信息，不是物质，也不是能量。 信息是人和外界互相作用的过程中互相交换的内容的名称。（美国：维纳） 能够用来消除不定性的东西。（美国：山农） 信息是事物之间的差异，而不是事物本身。 （意大利：朗格） 凡是能从过去的事件中提取出来用以指导未来的，便是信息。 信息就是事物运动的状态和方式。,3-1 信息与信息技术,二、信息的作用 1、信息是一种资源 正像物质和能量是人类生存和发展所必须的资源一样，信息也是一种不可缺少的资源。物质提供各种各样有用的材料；能源提供各种形式的动力；而信息向人类所提供的则是无穷无尽的知识和智慧。 2、物质、能量、信息三者

3、的关系 现代科学认为，物质、能量、信息是物质世界的三大支柱，是科学史上三个最重要的概念，而这三者之间存在着密切的联系。 物质运动的动力是能量，而信息是关于物质运动状态的特征，只要有运动的事物，就需要有能量，也就会存在信息。信息是普遍的，因此也可以说，信息描述了客观事物变化的时空特性，即无时不有，无地不存。,3-1 信息与信息技术,3-1 信息与信息技术,3信息的基本性质 (1)可以识别：信息可以通过人的感官直接识别，也可以通过各种探测器间接识别。 (2)可以转换：信息可以从一种形态转换成另一种形态，如语言、文字、图像、图表等信号形式；也可以转换成计算机代码及广播、电视等电信号，而电信号和代码又

4、可以转换成语言、文字、图像等。 (3)可以存贮：人用脑神经细胞存贮信息(称作记忆)；计算机用内存贮器和外存贮器存贮信息；录音机、录相机用磁带等介质存贮信息等。 (4)可以传输：人与人之间的信息传递依靠语言、表情、动作；社会信息的传输借助报纸、杂志、广播；工程中的信息则可以借助机械、光、声、电等传输。,3-1 信息与信息技术,三、信息科学 1信息科学 信息科学是研究信息现象及其规律的科学。包括： 信息本身有关的规律； 有关利用信息方面的规律。因此，也可以说，信息科学是关于如何认识信息以及如何利用信息的科学。 在认识信息方面：建立信息问题的完整的数学描述方法和定量度量方法；探明信息是怎样产生的，怎

5、样识别、提取、变换、传递、检测、存贮、检索、处理和分析信息，研究这些过程中的基本规律和关系。 在利用信息方面：主要研究利用信息来进行有效控制和组织最优系统的一般原理和方法。 认识是基础，是前提；而利用是结果，是目的。认识和利用，两者密切关联，是一个统一的有机体。 信息科学的主体结构应是信息论、控制论、系统论三者的结合，而人工智能则是三者的综合利用。,3-1 信息与信息技术,2信息科学的目的和任务 以扩展人的信息功能作为主要的研究目标，这是信息科学区别于其他现代的和传统的科学的又一个根本特点。 信息科学的目的和任务：在分析、探索和掌握人的信息器官功能的机制基础上，运用信息科学提供的原理和方法以及

6、各种技术(包括机械、电子、激光、生物等)，综合出新的人工系统，来延长、增强、补充和扩展人的信息器官的功能。,3-1 信息与信息技术,四、信息技术 1信息技术 凡是可以扩展人的信息功能的技术，都是信息技术。信息技术的主体内容包括传感技术、通信技术和计算机技术。 传感技术：主要包括信息的识别、检测、提取、变换以及某些信息处理技术，它是人的感官功能的扩展和延伸。 通信技术：包含信息的变换、传递存贮、处理以及某些控制与调节技术，它是人的信息传输系统(神经系统)功能的扩展和延长。 计算机技术：主要包括信息的存贮、检索、处理、分析、产生(决策或称指令信息)、以及控制等，它是人的信息处理器官 (大脑)功能的

7、延长。,3-1 信息与信息技术,2、信息技术与新技术革命 信息技术、新材料技术和新能源技术构成了科学技术和谐的鼎足结构。 微电子技术是由新材料和信息技术派生出来的一门新技术 激光技术是新能源和信息技术派生出来的新技术 生物、海洋和空间技术是新材料、新能源和信息技术派生出来的三门新技术 光导纤维通信和计算机技术是信息技术的分支。,3-1 信息与信息技术,3、信息技术与传统技术 信息技术在当代整个技术体系中，担负着对传统技术进行补充、改造和更新的使命。信息技术在改造传统工业方面大有可为，其中最主要的贡献是实现工业生产过程的自动化。,3-2 信息论与广义通信系统,一、信息论的基本概念 信息论源于通信

8、工程，其发展背景源于通讯系统中的： (1)信息传输的效率； (2)信息传输的准确性； (3)噪声干扰； (4)信道频率特性等。 实际上信息论范畴更广，而通信理论只是信息论中与通信有关的一部分。通常，对于信息论有三种理解： 狭义信息论，主要研究信息的测度、信道容量以及信源和信道编码理论等，这一部分即山农信息基本理论； 一般信息论，也主要是研究通信问题，但包括噪声理论，信号滤波与预测，信号调制与信号处理等。这一部分理论的代表人是维纳和苏联科学家卡尔莫格洛夫；,3-2 信息论与广义通信系统,广义信息论，不仅包括上述内容，而且包括与信息有关的领域，如心理学、遗传学、神经生理学、语言学甚至包括社会学中有

9、关信息的问题。 将信息论应用于工程测试领域，始于60年代，从信息论观点出发，认识测试技术领域中的一些问题。如： 测试系统实质上就是一个广义通信系统； 传感器是一个信息检测与转换装置，引入熵的概念，作为被观测系统不确定性的尺度； 基于最大熵定理的最大熵谱分析方法； 运用山农信道容量理论分析测试系统的最佳信息传输条件； 运用维纳滤波理论研究剔除噪声、提取源信号的方法； ,3-2 信息论与广义通信系统,二、广义通信系统 指所有信息流通的系统。可概括为如图所示的模型。,3-2 信息论与广义通信系统,3-2 信息论与广义通信系统,工程测试系统是一个广义的通信系统，它符合信息转换、传输与分析处理的共同规律

10、。因此，运用广义信息论去认识、分析工程测试领域中的问题，是符合这一客观规律的。,3-3 信息的定量描述,一、概述 自然科学通常都应作定量的描述，定性描述只能解释一些现象，即使认为能作直观理解，也是悬而未决的，尚未上升到学术水平。出于要从理论上研究信息，就必须对信息大小作定量描述。 山农信息理论的贡献就在于：运用概率论与数理统计学方法，对信息给予了数学描述。从而使信息论作为一门科学建立起来。因此，信息论被认为是第二次世界大战以后的一门新兴科学。 二、 信源 信源一般是以符号(或信号)的形式发出信息。信源的内部结构往往很复杂，例如，人发出信息，是通过大脑的思维活动，指挥口腔或手以语言或文字的形式表

11、达出来的，这是相当复杂的过程，因此，一般只研究它的输出，即语言或文字等。语言文字是一种表达信息的符号，是物理性的。语言是声信号，而文字是光信号。同一件事情，可用不同语言表达，也就是同一信息可用不同的编码方式转换成符号。,3-3 信息的定量描述,对于工程物理系统，信源就是所研究的客观事物，或称为物理过程。例如，雷达遥测系统，被搜寻物在空间的坐标、速度、形状等构成了信源，当电磁波射向它，反射波中就携带着这些信息，故而反射波就是经过编码的符号(或信号)。 信源的输出是随机的，因为，如果事先已经知道信源的输出，那么就无信息可言。正如所研究的物理过程，它应是未知的，这时才有研究的价值，信源的输出常用随机

12、变量或随机矢量来描述，或者说用概率空间来描述信源，从随机变量出发来研究信息量是山农信息理论的基本假设。 从概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相当的信源称为离散信源及连续信源。,3-3 信息的定量描述,三、离散信源模型,离散信源的数学模型是离散型概率空间，即：,集合中的元素x1，x2，描述了信源输出的可能状态；各元素的概率P(x1)，P(x2)，描述了各个状态出现的可能性；状态的出现往往是不相容的。,3-3 信息的定量描述,例如，掷硬币，在末抛下之前，可认为是一个未知的物理系统，抛下之后，必须是正、反两种状态之一，其信源模型为：,其中P(x1)=P(x2)=0.5

13、表明该系统是等概率事件。此可称之为先验概率，与人们对该事物的认识有关，是根据历史或知识的积累而分析判断的。,用超声波发生器检测物体内部有无裂纹，超声波穿透试件后，携带着有无裂纹的信息，经过对接收的信号进行处理之后，用图像或数据显示出来。试件内部状态构成一个信息源，在未检测之前是不清楚的，这是一个典型的是、非信源，其信源模型为：,3-3 信息的定量描述,四、自信息 如果信源中某一状态发生的先验概率很小，那么，一旦它发生，人们获得的信息量就多，这应是很自然的。 例如，一台机器，具有正常工作和发生事故两种可能状态，如果正常工作的概率为P(x1)0.99；发生故障的概率P(x2)0.Ol，则可认为这台

14、机器一般处于正常工作状态。但是，一旦发生故障，则是一件引人注目的事件。 事件发生的不确定性与事件发生的概率有关。事件发生的概率越小，人们猜测它有没有发生的因难程度就越大。而事件发生的概率越大，人们猜测这件事发生的成功率就越大，不确定性就越小。对于发生概率为l的必然事件，就不存在不确定性。因此，某事件发生所含有的信息量，应该是该事件发生的先验概率的函数，即：,式中，P(xi)是事件xi发生的先验概率，I(xi)表示事件xi发生所含有的信息量。,3-3 信息的定量描述,根据客观事实和人们的习惯概念，函数I(xi)应满足以下条件:,(1)I(xi)是先验概率P(xi)的单调递减函数，P(xi)越大，

15、I(xi)越小； (2)当P(xi)1时，I(xi)0，必然事件信息量为零； (3)当P(xi)=O时，I(xi)，不可能发生的事件发生了，其信息量为无穷大； (4)两个独立事件的联合信息量，等于它们各自信息量之和。,显然，满足条件(1)、(2)、(3)时，应取信息量I(xi)为先验概率P(xi)的倒数；满足条件(4)时，最好的方法是用对数来定义信息量。,事件xi发生时，该事件所含有的信息量。,3-3 信息的定量描述,因为I(xi)描述的是事件xi发生时的信息量，故又称为自信息。I(xi)代表两种含义： (1)当事件xi发生以前，表示事件xi发生的不确定性； (2)当事件xi发生以后，表示事件

16、xi所含有(或所提供)的信息量。,自信息采用的测度单位取决于所取对数之底: 如果以2为底，则所得信息量单位为比特(bit， binary unit)； 以e为底，则为奈特(nat，nature unit的缩写)； 以10为底，则为哈特(Hart， hartley的缩写)等。 一般都采用以2为底的对数，因为当P(xi)12时，I(xi)1比特，所以，1 bit信息量就是两个互不相容的等可能事件之一发生时，所提供的信息。,3-3 信息的定量描述,五、信息熵 自信息I(xi)是指信源(物理系统)某一事件xi发生时所包含的信息量，物理系统内不同事件发生时，其信息量不同，所以自信息I(xi)是一个随机变量，它不能用来作为整个系统的信息的量度。 山农定义自信息的数学期望为信息熵，即信源的平均信息量。,熵的单位是bit事件或bit符号。,信息熵表征了信源整体的统计特性，是总体的平均不确定性的量度。对某一特定的信源，其信息熵只有一个；不同的信源，因统计特性不同，其熵也不同。,