《信息论chapt12课件》由会员分享，可在线阅读，更多相关《信息论chapt12课件（51页珍藏版）》请在金锄头文库上搜索。
1、信息论基础 Information theory,用数学方法研究信息的传输（存储）及转换处理的理论 又名： mathematic theory of Communication （关于通信的数学理论）,满蔚仕 教5-712,Why this book? authority ,better than most of domestic ones. No good translation,Ieee information theory,这本教材的特点,Einstein quotationEverything should be made as simple as possible ,but no s
2、imple,Dont make thing more complicated than they need to be ,but on The other hand if you take away two much then you lose Information. Thus everything has a minima form.,凡事能减则简，但不要太简,信息论回答了通信中的二个问题,临界数据压缩的值（熵） 临界通信传输速率（信道容量）,信息论回答了通信中的二个问题,通信方面 纠正了通信理论认识误区，以前人们认为：信息传输速率越高，出错的概率越大，香农证明了只要通信的速率低于信道容量
3、，这个观点是不对的。 音乐等随机信号有一个不可再降低的复杂度，低于这个复杂度，信号不可再压缩，这个最低复杂度就是熵（香农熵）,信息论与其他学科的关系,计算机科学 一组数据串的复杂度可以定义为计算该数据所需要的最短二进制程序的长度。 一般认为Kolmogorov复杂度比香农熵更基础,信息论与其他学科的关系,物理学 孤立系统，熵永远增加。通信中的熵和热力学中的熵的关系仍有科学家关注,信息论与其他学科的关系,经济学中财富的增长率与股票市场的熵率有对偶关系。 计算受制通信速度，而通信又受制与计算速度。二者互相影响。以信息论为基础通信理论会对计算理论有影响。,教材,傅祖芸，信息论基础理论与应用；Robe
4、rt gallager information theory and reliable communication大家以后学会习惯外文教材和文献,信息论的奠基人(Shannon),主要创始人是Shannon(1916-2001), 1940年 Doctor of MIT 美国科学家香农（C. E. Shannon）在1948年和1949年先后 发表的两篇文章“The mathematical theory of communication”和“Communication in the presence of noise”，奠定了信息论的基础。 香农在这两篇论文中，讨论了信息的度量、信息特征、信
5、 息传输速率、信道容量、干扰对信息传输的影响等问题， 全部理论建立在信息是可以度量的基础上，但他没有给出 信息的定义，只是提出问题，分析问题，得出结论。,Chapter 1 Introduction,21世纪，信息世纪，信息大爆炸、信息战 1.1 何为“信息”（Information）？说法很多，典型几种：,3) 是事物运动状态或存在方式的不确定性描述(uncertainty description ) 。C.E.shannon(USA),Mathematic Theory ofCommunication,1948.,2）是反映事物的形式、关系与差别(differences )的东西。 G.L
6、onge(Italy),Information Theory： TheNew Trends and Open Questions,1975.Question：无差别就无信息吗？,1) 是人与外部世界进行相互交换的内容( interchanging contents)。 N.Wiener(USA), Cybernetics, 1948.Question：相互交换的不只是信息，还有物质、能量。,Chapter 1 Introduction,shannons 定义 more scientific，because:,“他每天都吃饭”（certain，uninformative）；,指出了人们通常概念上
7、的消息(Message)与信息(Information) 的差别。,揭示了信息的本质(essences)。事物发生的不确定性是信息的本质体现(at least part of)。体会下面的三句话，描述一个人在正常情况下就餐情况:,“他每天都吃米饭”（ what he like , uncertain）；,“他每天都吃八大碗米饭”（like and how many , uncertain ）。,信息也不等于知识(Knowledge)。知识人们对事物所获得的认识与经验总结（known）。信息事物存在或运动状态不确定性描述（unknown, unpredictable)。,按照香农定义，信息甚至可
8、以被量化(can be quantified by stochastic process and probabilistic)。,一条消息中可能会含有大量、也可能很少信息(如上例),消息不等于信息; 消息中包含有信息; 消息载荷信息 。,消息: 事物运动状态或存在方式的描述; 信息: 事物运动状态或存在方式的不确定性的描述;,Chapter 1 Introduction,香农的定义也有不足之处(deficiency)，如: 夜空中群星闪烁 对于气象学、天文学家寓义可能不同；,1.2 关于信息的五大特点 (attributes or features)1) 信息是无形的(bodiless)只是事
9、物的表征描述，与物质或能量不同。,本课程中采用香农关于信息的定义。,5）信息只有通过交流传递才能体现其价值。,2) 信息可以通过传递交流被共享(can be communized, but cant be lost)。,3) 信息是无限的(infinite, never-ending)。它会不断更新、演化，产生新 信息因为: 事物不断运动、变化,如,天体星座、人的状况。,4）信息可独立于原来的事物或物质之外，却必须依存于物质载体而存在(depend on substance for existence) 纸张、光盘、化石 。,某人的回眸一笑 对于仰慕者、厌恶者理解会有差别。,1.3 信息论研究
10、的主要对象、目的与内容 1.3.1 主要研究对象通信系统(communication systems)通信系统的模型(modeling)如下图:,Chapter 1 Introduction,信源(Source ): 产生消息或消息序列的源。消息（如图像、文字等）携带着信息。信源可以是人、机器或其他事物，其状态（输出的消息）是随机、不确定的，但具有一定的统计规律。,编码器(Encoder)：将信源输出的消息变换为方便传输的信号代码，含调制、发送等变换处理。编码可分为信源编码与信道编码：信源编码 为提高信息传输效率。信道编码 为提高信息传输可靠性。为保证信息传输的安全性(防止伪造、窜改) 保密编
11、码。,图1.1 通信系统模型,Chapter 1 Introduction,信道(Channel)：传输消息信号的媒介通道电缆电线、光纤波导、无线电波等。广义甚至有飞鸽传书、快马飞报、烽火示警等。信道也可具有存储功能 光盘、磁带等。信号传输一般会受到随机干扰(Noise) 影响。将系统各部分受到的随机干扰，等效折合到信道上 分析方便。则，信道输出 叠加有随机干扰的信号，可用随机过程、概率统计理论数学处理。,1.3.2 主要研究目的保证信息传输的“四性” 有效性、可靠性、保密性、认证性。,译码器(Decoder) ：将信道输出的叠加有随机干扰的编码信号进行反变换，含接收处理、解调等。译码也可分为
12、信源译码、信道译码。,信宿(Sink): 消息传送的对象 接受消息的人、机器等。,认证性(authentication): 接收者能正确判断所接受消息的正确性与完整性。,Chapter 1 Introduction,根据不同研究目的，信息传输模型可作以下简化处理： 1）研究信息传输的有效性：,有效性(validity): 以尽可能短的时间、尽可能少的设备，传输尽可能多的信息。,可靠性(reliability): 排除干扰，尽可能准确、不失真传输并再现信源发出的消息。,保密性(secrecy): 传送的消息原意只能为授权者接收或理解，不会被篡改。,2）研究信息传输的可靠性：,Chapter 1
13、Introduction,3）研究信息传输的保密性与认证性,1.3.3 本课程主要讨论内容本课程主要介绍信息论的基础内容，可概括为：,香农信息论梗概 （1）信息的度量:这是信息论建立的基础，给出了各种信息量和各种熵的概念。 （2）无失真信源编码:最主要的结论是Shannon 第一定理以及各种信源编码的方法。 （3）信道编码:给出了信息传输速率、信道容量等概念，最主要的结论是Shannon 第二定理，以及基于该定理的各种信道编码，如分组码、卷积码等,（4）带限信道传输信息的能力；最主要的结论是信道容量公式，或称为Shannon公式。 （5）基于信息传输时允许一定程度的失真和差错（Error）所展
14、开的讨论；由此得到信息率失真理论、Shannon第三定理、信息价值等。这是目前还在不断发展和完善的理论，在通信以外的学科不断得到应用。 （6）围绕通信网的发展带来的信息传输问题所展开的讨论；即网络信息理论，随着通信网、因特网的发展，它越来越受到重视。 （7）围绕通信的保密所展开的讨论。包括保密通信的技术体制及数学模型，传输线路保密技术的信息论基础，信息保密技术的基础知识以及保密通信的各种方法等。 本课程主要涉及(1)-(4),信息论与编码的关系, 信息论与编码的关系 信息论为编码提供了理论基础，编码是信息论的应用 编码历史上的几次大突破 1. 1950 Hamming的分组码 2. 1967
15、Viterbi的卷积码译码算法 3. 1993 Turbo码的发现和Turbo译码算法,Chapter 2 Information measure,本章主要讨论信息的度量问题（量化描述），主要内容：,Chapter 2 Information measure,一个随机事件所含信息量大小，与该事件发生概率的大小有关。发生概率越小的随机事件，所含信息量越大。发生概率越大的随机事件，所含信息量越小。,人们日常谈话，对信息会有“量”的区分: “某报告信息量大”、“某堂课信息量小”如何度量信息量大小？以一些日常话题为例：,2.1 信息量(Information quantity),设袋中装有99个红球、
16、1个白球，若你听到如下消息： “他随意从袋中取出一个球就是红球” 你会不以为然。 “他随意从袋中取一个球都能取到白球”你会有些惊讶。,江南大雪纷飞、拉登在美国头上“动土” 类似事件之所以新奇，听到后颇感“收获” 事件发生概率小。说明：,2.1.1 自信息量1. 定义：设随机事件集为X ，发生某随机事件xi的自信息量(记作I(xi)定义为：,2.1.1 自信息量,对数以2为底 units: 比特（Bits binary digits）。对数以e为底 units: 奈特（Nats natural digits)。对数以10为底 u nits: 哈特莱（Haitely）。,p(xi) 随机事件xi的发生概率。,设某事件 xi 的发生概率为 p( xi ) = 1/8，则：,2. 信息量单位,example:,
