《北京交通大学教学课件信息论(共计2部分-共计408页)-部分1》由会员分享，可在线阅读，更多相关《北京交通大学教学课件信息论(共计2部分-共计408页)-部分1（208页珍藏版）》请在金锄头文库上搜索。
1、北京交通大学信息科学研究所,信息论基础 Elements of Information Theory 教材：信息论基础Thomas.M.Cover 著 参考教材：工程信息论北邮 田宝玉编 学时： 32 学时 (4 学时/每周) 地点：; 周五晚19:00、YF208教室,北京交通大学信息科学研究所,信息论基础 第一章 绪论 北京交大计算机与信息技术学院 信息科学研究所现代信号处理与通信研究室 第九教学楼六层北606室 主讲：丁晓明 TEL: 51688636; ftp:/202.112.147.192/sopc;sopc Emailxmding,第一章：绪论 ( Introduction ),
2、 信 息 论 基 础 ,信息、消息与信号 从通信系统模型了解信息论的研究 内容与目的 三. 信息论在信息科学中的地位与作用 四. 简介信息科学与生命科学的关系,第一章 绪论,信息、消息与信号 ( Information Message and Signal ) 信息是我们在现实世界生活中赖以生存的三大资 源之一。 物质（材料） (material) 能量（能源） (energy) 信息 (information) “没有物质什么都不存在；没有能量什么都不 发生；没有信息什么都没意义。” (“Without materials nothing exists, Without energy not
3、hing happens, Without information nothing makes sense.” ),第一章 绪论,组成客观世界的三大基本要素是： 物质、能量和信息。 ( Material Energy and Information ),如何合理开发和利用三大资源来促进人类社 会的发展就形成了三大科学： 材料科学 ( Material Science ) 能源科学 ( Energy Science ) 信息科学 ( Information Science ),一. 信息、消息与信号,这三大科学是我们现代科学的三大支柱，但是 由于现代社会已经从过去仅仅依赖于物质的时代开 始走向自
4、觉或不自觉地认识和利用信息的时代即信 息时代或信息社会。 ( Information Era ) 信息科学的定义： 以信息为主要研究对象，以阐明信息的 运动规律和应用方法为主要研究内容；以扩 展人类的信息功能（特别是其中的智力功能） 作为主要研究目标的一门科学。,一. 信息、消息与信号,信息究竟是什么概念？ 它的基本属性是什么？ 能否给它下确切的定义？ 你能解释信息是属于物质(matter)还是精神(mind)？ 以下从三个层次了解信息的含义和基本概念： 1. 信息的通俗理解 2. 信息的概念理解 3. 概率信息的定义理解,一. 信息、消息与信号,1 信息的通俗理解 简而言之：所谓信息就是所获
5、得的新知识。 ( Information is the new knowledge ),（唐）韩愈的名篇师说： 古之学者必有师。师者，所以传道受业解惑也。 人非生而知之者，孰能无惑？惑而不从师，其为惑 也，终不解矣。 这里解惑即意味获得了知识以解除了困惑，也就 是获得了信息的含义，而不获取知识也就得不到信息， 也无法解除困惑。,1. 信息的通俗理解,但是信息不是消息，更不是信号，这三者有本质的 区别。 消息： ( message ) 把客观物质运动和主观 思维活动的状态表达出来的形式就是消息。 如:文字符 号、语声、图象以及各式各样的随机事件( random event) 和消息符号所构成的消
6、息序列。 消息的特征：不具备物理性能的随机事件；在接受消息 之前，接受者不知消息的内容否则通信将失去意义。,信号：( signal ) 是一种具有某种特定物理性质的表达 形式，即物理现象。如，电、光、声等都是具有某种 物理属性的信号。 因此我们说信号是消息的物理体现，是 为了传输消息而变化的物理量。,1. 信息的通俗理解,消息与信息是两个截然不同的概念，不可混淆! 从概念的角度理解： 消息（Message） 是由符号、文字、数字或音素所 组成的序列而构成，此消息所载荷（表达）的事件存 在的不确定度（ Uncertainty）的变化才是信息（Information）。 信息就是消息事件（Even
7、t）不确定度的解除量。,通俗的讲： 消息是信息的载体；信息是消息的内涵。 Message is a carrier of information ; information is the connotation for the message .,一. 信息、消息与信号,2. 信息的概念理解 首先我们给出信息的广义定义： The general definition of information : “Information is the knowledge for event motion state and manner.” “ 信息是关于事物运动的状态和状态改变方式上（或发展过程中）的知
8、识。它的作用在于消除观察者在相应认识上的不定性；它的数值则以消除不定性的大小或等效地以新增加知识的多少来度量。”,2. 信息的概念理解,之所以是广义的定义，是该定义中所指的对象都没 有任何限制。,客观存在的物质（matter）,主观思维的精神 ( mind ),运动(motion)泛指一切变化(change),机械运动,物理运动,化学运动,生物运动,思维运动,社会运动,天体运动,2. 信息的概念理解,运动状态： (moving state) 是事物运动在空间上所展现的形状和态势。 运动方式： (moving manner) 则是事物运动在时间上所呈现出的过程和规律。,知识 knowledge,
9、知识也是一种广义的概念 它可以是,1. 信息的通俗理解,凡是由不知到确知的过程都是获得新知识的过程。因而消息事件中所含有的不确定度由大变小，即它的解除量就可定义为信息的大小，我们称为信息量。 ( Information quantity),由此看来：得到信息的过程就是获得新知识的过程。 “信息就是知识”(Information is the new knowledge),信息就是知识这非常有利于我们对信息属性的理解，即信息具有知识的属性可积累性；反映到信息属性的数学描述上就是它的可加性。( Additive property),2. 信息的概念理解,如果对信息的广义定义加以限制，则信息的概念
10、将衍生出三个层次： 语法信息 (syntactic information) 语义信息 (semantic information) 语用信息 (pragmatic information),如果限定观察者仅对事物的运动方式和运动状态的形式(formalized relations)感兴趣，而不涉及状态、方式的含义和效用(logical implication & value) 。在这一层次所得的信息我们称为语法信息，也叫作概率信息。,这是最抽象、最基本的层次，也是了解信息的基础。 由于语法信息主要体现在消息符号本身的构造上，或者 是由事物本身的客观特性所表现出的变化；而与接受者 的主观要求无
11、关。,2. 信息的概念理解,例11. 从爱因斯坦方程看信息的三个不同层次的 理解。 Einsteins formula: E = mc 这是著名的能量E与质量m之间的转换关系式。,英文字母与数学符号之间的特定排列可以构成消息，但公式 未出现之前，我们无法确知公式。一经公布即可解除我们阅读 前的不定度。只要具有初中代数水平，就可得到它的语法信息。,不仅知道代数法则，而且从大学物理中知E 代表能量；m 代 表质量，c 表示光速；这样就得到了公式的语义信息。但这个公 式并不一定对每一个得到语义信息的人都有价值。,3. 显然对于一个高能物理学家来说，在弄清公式的含义及从试验中证实了逻辑上的合理性，则物
12、理学家就可得到语用信息；即通过改变原子核的质量状态来获得巨大的原子核能。,一. 信息、消息与信号,概率信息(Probability Information)的定义理解 概率信息的主要特征是从事物的客观性出发讨论 问题，而与事物的主观性无缘；因而它也称为窄义信 息(Special Information) 以下给出它的定义： 所谓概率信息是指一个随机事件发生之后，它所 带给人们的新知识，或者说是对原来该事件不定度的 解除量；是指事物运动状态和状态变化方式的客观反 映。,在概率信息定义中包含了三个含义，一般称为定义的三要素： a. 代表了一种随机事件的属性； (random event) b. 在
13、运动状态和变化方式上的客观反映； (objective reflect) c. 不确定度的解除量(必然所得的新知识); (relieved quantity of uncertainty),3.概率信息的定义理解,概率信息的定义三要素既反映了它的基本概念，也 确定了对这种信息的研究方法和研究手段。,首先因概率信息本身就是一个随机变量，所以我们 可建立数理统计模型，利用概率论、集合论和随机过程 等数学工具来研究问题。,其次由于信息是自然界的客观反映，因此讨论问题 仅局限在事物的客观性一面，而不要考虑接受者的主观 性，所以讨论问题的难度则大大降低，从而给采用数学 方法来定性、定量地给出信息的度量方
14、法带来了方便。,最后一个要素则直接给定了度量（测度）概率信息的方法。即定义不确定度的解除量可以纯客观、定量地描述所应获得的新知识。,3. 概率信息的定义理解,显然要定义概率信息的度量方法，首先就要比较 随机变量不确定度的大小。从概率论中可知：随机变 量的统计概率就可表示其不定度，但是如何比较大小 则我们就得定义一个“单位(unit)”，由此得出不定度的 大小。下面举一个二进制单位的例子：,例12. 有八只灯泡，只知其中有一只灯丝已断，用一节电池 来测，问只需测几次就可接除其不定度。,3. 概率信息的定义理解,这是一个二元判断(Binary Judge)问题;每一次判断 后我们可得到一个是/否信
15、息，亦称二元信息 ( Binary Information)。由于它是解除不定度的最小单位，所以 我们由此定义出信息量的最小单位比特(bitBinary Digits) 。,Definition: bit,该事件不确定度的大小为： bit,一共测了三次， 共得3比特信息,3. 概率信息的定义理解,3. 概率信息的定义理解,再举一个三元信息(Triple Information)的例子： 所谓三元信息是依赖于一次判断可得三种不同的 结果所解除的不定度，这也是一种衡量不定度大小的 单位；定义为 Tet triple digits,例13. 有27个大小形状相同的小球，知其中有一重球。问若用天平来判
16、断，最多称几次就可找出这个重球？当完全解除不定度后所得的信息量是否要比前一例大？,3. 概率信息的定义理解,题解：因为其余26个球都是重量相同的标准球，故这也是一 个等概率的随机事件；若用天平称重，则一次可得一个三元 判断，即解除1Tet信息。该事件不定度的大小从以下求出：,Tet,这里运用了一个信息量的定义计算公式，下次课我们会 讲到。但是我们也可以采用解除不定度的方式来求此信息。,因为判断过程是一步一步完成的，其不定度的解除也是 一部分一部分的进行；因而我们所获得的信息也是一点一点 的积累所得。为此我们先了解实际的处理后再给予数学描述。,解除不定度判断实例3,准备工作：分堆、编号,解除不定度判断实例3,第一步：解除1 Tet 的不定度，使问题留在九球之中。,解除不定度判断实例3,第二步：再解除1 Tet 不定度，将问题
