第1专题1聊城大学课件

《第1专题1聊城大学课件》由会员分享，可在线阅读，更多相关《第1专题1聊城大学课件（53页珍藏版）》请在金锄头文库上搜索。

1、2019/6/29,1,第一专题 什么是信息？,2019/6/29,2,第1专题 什么是信息？,要 点 ：,信息的概念和主要特征 通信系统的模型 仙农信息论概述 信息论的产生与发展 仙农简介与学术风格,2019/6/29,3,本节内容：,1、信息论中“信息” 与其他概念的区别 2、仙农关于“信息”的定义 3、信息的度量 4、仙农关于信息定义和度量的优点和局限 5、哲学意义上的信息,2019/6/29,4,信息至今无严格确切定义，但是它是一种人人皆知的抽象概念，是一种不言自明的概念。正像什么是“人”的概念一样，不言自明，人人皆知。,信息的特点：,1、信息论中“信息” 与其他概念的区别,2019/

2、6/29,5,“信息”不同于情报 情报往往是军事学、文献学方面的习惯用词，它的含义比“信息”窄的多，一般只限于特殊的领域，是一类特殊的信息； “情报”是人们对于某个特定对象所见、所闻、所理解产生的知识；,“信息”不同于知识 知识是人们根据某种目的,从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次的信息； 知识是信息，但不等于信息的全体；,2019/6/29,6,“信息”不同于消息 在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义； 所谓消息，是用文字、符号、数据、语言、图片、图像等能够被人们感觉器官所感知的形式，把客观事物运动和主观思维活动的

3、状态表达出来； 消息是信息的载体；消息是表现形式，信息是实质；,“信息”不同于信号 把消息变换成适合信道传输的物理量，就是信号；信号是承载消息的物理量；,2019/6/29,7,信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。 信号、消息则分别是抽象信息在物理层、数学层表达的外延； 同一信息，可以采用不同的信号形式来载荷； 同一信息，可以采用不同的数学表达形式来定量描述。 同样，同一信号形式，可以表达不同形式的信息。 三者之间的关系是哲学上的内涵与外延的关系。,信号、信息和消息关系的具体理解：,2019/6/29,8,2、仙农关于“信息”的定义,信息：

4、信息是指各个事物运动的状态及状态变化的方式。人们从来自对周围世界的观察得到的数据中获得信息。信息是抽象的意识或知识，它是看不见、摸不到的。人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候就是一种信息。,2019/6/29,9,由于信息已成为许多专家学者争相研究的对象，而且他们从不同的角度和侧面研究和定义信息。据说到目前为止已有上百种信息的定义或说法。例如，“信息是事物之间的差异”，“信息是物质与能量在时间与空间分布的不均匀性”，“信息是收信着事先不知道的东西”等等。,2019/6/29,10,香农信息(概率信息),信息是事物运动状态或存在方式的不确定性的描述。,仙农从研究通信系统传输的实

5、质出发，对信息做出了 科学的定义；,2019/6/29,11,仙农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到部分确定或全部确定的过程。 因此, 对于收信者来说, 通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多； “信息”是事物运动状态或存在方式的不确定性的描述，这就是仙农关于信息的定义。,2019/6/29,12,3、信息的度量,信息的度量（信息量）和不确定性消除的程度有关，消除了多少不确定性，就获得了多少信息量；

6、不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小，出现概率小的事件，其不确定性大，反之，不确定性小； 由以上两点可知：概率小 信息量大，即信息量是概率的单调递减函数； 此外，信息量应该具有可加性；,2019/6/29,13,样本空间：某事物各种可能出现的不同状态，即所有 可能选择的消息的集合。,对于离散消息的集合，概率测度是对每一个可能选择的 消息指定一个概率。一个样本空间和它的概率测度称为 一个概率空间。表示：X，P,在离散情况下：,其中， 为选择符号 作为消息的概率，称为 先验概率,2019/6/29,14,消息（符号）的 自信息： 后验概率：条件概率 接收端收到消息（符号）

7、 后而发送端发的是 的概率。 互信息：先验的不确定性减去尚存在的不确定性（收信者获得的信息量）,2019/6/29,15,4.仙农关于信息定义和度量的优点和局限,优点 它是一个科学的定义，有明确的数学模型和定量计算； 它与日常生活中关于信息的理解不矛盾； 它排除了对信息一词某些主观性的含义，是纯粹形式化的概念；,2019/6/29,16,局限 这个定义的出发点是假设事物的状态可以用一个以经典集合论为基础的概率模型来描述，然而实际存在的某些事物运动状态很难用一个合适的经典概率模型来描述，甚至在某些情况下不存在这样的模型； 这个定义和度量没有考虑收信者的主观性和主观意义，也抛开了事物本身的具体含义

8、、用途、重要程度和引起的后果等，这与实际不完全一致。,4.仙农关于信息定义和度量的优点和局限,2019/6/29,17,物质 客观世界三大基本要素 能量 信息 信息时代社会的发展离不开物质(材料)、能量（能源）和信息资源。美国学者欧廷格说：“没有物质什麽都不存在，没有能量什麽都不发生，没有信息什麽都没意义。”,5、哲学意义上的信息,2019/6/29,18,信息的主要特征：,信息、物质、能量统一于事物一身，信息和物质一起规定着事物的功能 信息的存在具有普遍性、无限性、动态性、时效性和相对独立性 信息具有可传递性、可转换性、可扩散性、可复制性、可存储性和可分割性，因而具有可共享性 信息具有可度量

9、性。信息量守恒是客观事物固有的特性。信息不因认识而消失，也不因传递、复制和扩散而增值。,2019/6/29,19,信息的三个基本层次： 语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息,2019/6/29,20,语法(Syntactic)信息 它是事物运动的状态和变化方式的外在形式，不涉及状态的含义和效用。象语言学领域的“词与词的结合方式”，而不考虑词的含义与效用。在语言学中称为语法学。语法信息还可细分为，概率信息、偶发信息、确定信息、模糊信息等。,2019/6/29,21,语义(Semantic) 信息 是事物运动的状态和变化方式的含义。在语言学

10、里，研究“词与词的结合方式含义”的学科称为语义学。,2019/6/29,22,语用(Pragmatic)信息 是事物运动状态及其状态改变方式的效用。 研究语义信息要以语法信息为基础，研究语用信息要以语义信息和语法信息为基础。三者之间，语法信息是最简单、最基本的层次，语用信息则是最复杂、最实用的层次,2019/6/29,23,1.信息论的产生与发展,2.信息论研究的对象,3.信息论研究的目的,4.信息论研究的内容,5.信息论的应用,2019/6/29,24,技术背景 仙农的信息论的创立主要是由于仙农的杰出贡献，但也与当时的技术发展背景和前人的工作密不可分。当时通信理论与技术已有较大发展，存在的主

11、要通信技术与手段有：电报(Morse,1830s)、电话(Bell,1876)、无线电报(Marconi,1887)、AM 无线电(1900s 早期)、单边带调制(Carson,1922)、电视(1925-1927)、电传(1931)、调频(Armstrong,1936)、脉码调制(Reeves,1937-1939)、 声码器(Dudley,1939)、 扩频(1940s)等。,1.信息论的产生与发展,2019/6/29,25,理论背景 1948年以前，Nyquist，Hartley等人也做了许多有影响的工作。例如Nyquist发现传输速率正比与在单位时间信号电平数目的对数（1924）；Har

12、tley提出“传输速率”，“码间干扰”，“系统传输信息的容量”等术语；Wiener，Rice等人把随机过程作为通信工程师的工具。所有这些都为信息理论的建立产生了重要影响。,2019/6/29,26,仙农的主要工作 1948年，发表通信的数学理论，奠定了信息论的理论基础； 1956年，发表The Zero-Error Capacity of a Noisy Channal （噪声信道的零差错容量），开创了零差错容量的研究领域； 1959年，发表Coding Theorem for a Discrete Source with a Fidelity Criterion （在保真度准则下的离散信源编

13、码定理），推动了信息率失真理论研究； 1961年，发表Two-Way Communication Channels （双 路通信信道），从而开拓了多用户理论的研究。,2019/6/29,27,仙农信息论的发展 1.无损数据压缩 理论基础是仙农第一定理 Huffman解决了固定到可变长度信源编码最小平均码长的码的构造，即Huffman编码 由A.Lempel和J.Ziv提出的方法（L-Z算法） 由F.Willems等提出了文本树加权编码方法 D.Slepian和J.Wolf提出相关信源编码是数据压缩理论 的最重要的进展之一展。,2019/6/29,28,2. 可靠通信 理论基础是仙农第二定理 S

14、.Arimoto和R.Blaht提出计算离散无记忆信道容量的迭代算法 在高斯信道的研究方面 信道编码定理方面 仙农计算了有约束信道（仙农称做离散无声信道)的容量，并成为有约束序列编码的理论基础 零差错信道容量是仙农开辟的另一个研究领域 反馈信道 多用户信息论的理论,2019/6/29,29,3. 有损数据压缩 理论基础是信息率失真理论 率失真函数 编码定理 通用有损数据压缩 多端数据压缩等,2019/6/29,30,2.信息论研究的对象,2019/6/29,31,这个模型包括以下五个部分：,3. 信道 信道是信息传输和存储的媒介。,4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。,5

15、. 信宿 信宿是消息的接收者。,2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。,1.信源 信源是产生消息的源。,2019/6/29,32,3.信息论研究的目的,研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。 所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。 所谓有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息,2019/6/29,33,4.信息论研究的内容（范畴）,2019/6/29,34,广义信息论，包括信息论在自然和社会中的

16、新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。,工程信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。,狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。,2019/6/29,35,5.信息论的应用,1948年以后，调制解调 Digital Modulation:BPSK绝对相移键控, QPSK正交相移键控, QAM正交幅度调制 ,FH跳频扩频 , DS直接序列扩频, FDMA, TDMA, CDMA 空间时间自适应处理、智能天线技术 多用户检测、干扰抑制技术 多载波和OFDM 正交频分复用,2019/6/29,36,5.信息论的应用,1948年以后，信源编码 Huffman, Fano Code (1950); 波形编码：PCM脉冲振幅调制, DM增量调制, DPCM增量脉冲调制; 语音参量编码; 图象