《信息论与通信密码信息隐藏一幻灯片》由会员分享，可在线阅读，更多相关《信息论与通信密码信息隐藏一幻灯片（88页珍藏版）》请在金锄头文库上搜索。
1、关于Shannon信息论的 几点讨论（一） 信息论与通信的几个基本问题,西安电子科技大学 ISN国家重点实验室 报告人：王育民 Tel: 8201016 E-mail: 2004年12月,1,2,目 录 一、 Shannon信息论的划时代意义 二、Shannon信息论的几个基本概念 三、关于Shannon通信系统模型的合理性和局限性 四、信息的广义性 五、Shannon信息论在研究方法上的启示 参考文献,Shannon信息论的几个基本问题,3,一、 Shannon信息论的划时代意义 众所周知，信息是构成任何系统的三大要素之，另外两个要素是物质和能量。信息虽然是无形的和抽象的，但它是系统的灵魂
2、。 1948年C. E. Shannon发表了他的划时代文章，即通信的数学理论，宣告了一门崭新的学科信息论的诞生。 文章给出了可以概括一切通信系统的数学模型，如图1所示；用概率统计数学工具描述了模型中各组成部分：信源、信道、信宿、干扰源、编码器和译码器；给出了信息量的定义，使人们可以定量地研究信息的传输、处理和存储。,Shannon信息论的几个基本问题,信 源 编码器 信 道 译码器 信 宿 干扰源 图 1 通信系统,4,Shannon信息论不仅建立了信源和信道编码定理，给出了有效性的极限，而且为人们明确地指出了实现有效而可靠通信的必由之路是数字化和编码。这是通信技术领域革命的数学或理论基础，
3、而半导体和计算机技术则是这一革命的物理或物质基础。值得指出的是，信息论和晶体管都同时诞生在Bell电话实验室。,Shannon信息论的几个基本问题,5,Shannon所给出的编码定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。经过无数科技工作者50年来的努力奋斗，不仅在数学上已严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。现在已可实现几乎无差错地经由Gaussian信道传信，其传信率可达信道容量的80%（A. J. Viterbi, 1998），对于非白Gau
4、ssian信道，Shannon的注水定理和多载波调制（MCM）技术也可接近于理论限实现的有效和可靠通信。这在当代CDMA、CM(COFDM)、TCM、BCM、Turbo码、LDPC(Low Density Parity Codes)、空时编码、各种均衡技术、对消技术、以及信息存储编码调制技术中都充分体现了Shannon定理的作用。,Shannon信息论的几个基本问题,6,当今，人们不仅在理论发展了Shannon信息论，而且在实际上逐步实现了某些信道下的Shannon理论所指出的理想传信。信息论这一抽象而完美的理论，在几十年后会有如此巨大丰富的技术成果，实在令人惊叹！ 信息论对实际通信系统的设计
5、已产生了深刻的影响，通信工程师在信息论方面的基础对他们事业的发展有重要的作用。 自1948年已来，已过了半个多世纪。IEEE的信息论学会曾在1973发表了系列文章，纪念信息论诞生25周年，出版了Shannon著作集，在1998又举行了一系列纪念活动，纪念信息论诞生50周年，并出版了专集。伟大的学者Shannon也已于2001年2月24日在纽约谢世。,Shannon信息论的几个基本问题,7,五十年后的今天，通信、计算机和半导体技术的发展已将人类社会推进到一个崭新的信息时代。信息在现代社会中的作用愈来愈大，社会对信息的需求愈来愈大。通信、广播、影视、出版等正在从模拟到数字，从单一媒体到多媒体，从人
6、工、机械化到智能化、从局部联网到全球通信网。 七、八十年代完成了通信与计算机的结合（C & C）。Internet的出现，为人类交换信息，促进科学、技术、文化、教育、生产的发展，提高现代人的生活质量提供了极大的便利，大大加速了人类信息化社会的进程。再加上九十年代又开始了通信、计算机和消费电子（3C Communications, Computer, Consumer electronics）的三结合。,Shannon信息论的几个基本问题,8,信息高速公路或全球信息基础设施（GII）的提出和建设，构成了人类生存的信息环境，即信息空间(Cyberspace)。这个虚拟空间的形成和发展将人类社会推进
7、到一个新的发展阶段，即信息化社会阶段。为人们提供了更方便、更舒适的工作和生活环境，它对人类社会的发展将产生巨大的影响。 信息化社会导致经济全球化和知识化。互联网已成为社会资源重新分配的根本工具。 信息化社会导致第三次军事革命，联合作战和信息化作战成为重要作战型式，数字化部队和数字化战场也跟着诞生。,Shannon信息论的几个基本问题,9,信息化社会中，人们的一切活动都将在信息空间中进行竞争和接受检验。 信息化社会中，许多有形的东西开始向数字的、无形的方向转变。 信息化社会也使人们越来越忙碌、越来越浮躁，在信息的大洋中有弄潮儿，也有溺水者。 在信息化社会中，一个国家、一个地区、一个单位、乃至一个
8、家庭和个人，除了要有能力在物理空间中生存外，还必须建设好信息基础设施，学会能在无形的数字化信息空间中生存。否则，它在现代信息社会的激烈竞争中，就会落后和失败。预计到2025年，所有的传输都将数字化，灵巧的个人终端将为人们提供各种各样的服务，个人终端将通过几十米至几公里的无线信道与光纤等骨干网连通，通向世界。,Shannon信息论的几个基本问题,10,人类已进入二十一世纪。数字化、信息化、网络化正在冲击、影响、改变我们社会生活的各个方面。从科学研究、生产制造、产品流通、商业运作、超市购物、医疗服务、教育培训、出版印刷、媒体传播，到文化生活、娱乐消闲、人际交往、法律规范、伦理道德、乃至军事作战等等
9、，无一不将受到信息网络的挑战，无一不在信息技术这一最新高科技生产力的作用下迅速变化。 为了表彰信息论的创始人Shannon的伟大功绩，2000年10月6日IEEE Information Society 的25名成员在Claude Shannon的儿童时代的老家Michigan的Gaylord举行了Shannon塑像的落成典礼。 塑像底座正面刻文如下：,Shannon信息论的几个基本问题,11,Claude Elwood Shannon Father of Information Theory，Electrical engineer, Mathematician, and native son
10、 of Gaylord. His creation of information theory, the mathematical theory of communication, in the 1940s and 1950s inspired the evolutionary advances in digital communications and information storage that have shaped the modern world. This statue was donated by the Information Theory Society of the I
11、nstitute of Electrical and Electronics Engineers, whose members follow gratefully in his footsteps. Dedicated October 6, 2000. Edgene Daub, Sculptor,Shannon信息论的几个基本问题,12,著名信息论和编码学者Richard Blahut 博士(将是2005年Shannon Award 获得者)在Shannon塑像的落成典礼时的题词说： “在我看来，两、三百年之后，当人们回过头来看我们这个时代的时候，他们可能不会记得谁曾是美国的总统。他们也不会记
12、得谁曾是影星或摇滚歌星。但是仍然会知晓Shannon的名字。学校里仍然会讲授信息论。”,Shannon信息论的几个基本问题,二、Shannon信息论的几个基本概念 1. 通信和通信系统。 2. 信息 3. 信息量 4. 信息速率与率失真函数 5. 信源编码 6. 信道容量 7. 信道编码,13,Shannon信息论的几个基本问题,14,1. 通信和通信系统 “信息论”或者称为“通信的数学理论”，是研究信息的传输、存储和处理的科学。通信的基本问题是在彼时(存储情况)或彼地(通信情况)精确地或近似地再现此时此地发出的消息。信息论研究的主要问题是在通信系统设计中如何实现信息传输的有效性和可靠性。 实
13、现有效和可靠通信的主要困难是什么？是系统中的干扰，如何克服这类困难？也就是如何抗干扰是通信理论的中心课题。 通信系统的数学模型,Shannon信息论的几个基本问题,通信系统的数学模型 信 源 编码器 信 道 译码器 信 宿 干扰源 通信系统模型,15,Shannon信息论的几个基本问题,通信系统的数学模型 信源是产生消息的源，可以是人、生物、机器或其它事物；消息可以是文字、语言、图像等。它可以是离散的，也可以是连续的，但都是随机发生的，即在没有收到这些消息之前不可能确切地知道它们的内容，否则通信将失去意义。可以用随机变量或随机过程来描述消息。信源研究的主要问题是消息的统计特性和信源所产生消息中
14、的信息速率。 编码器是将信源发出的消息变换成适于信道传送的信号的设备。一般包含几个部分，如信源编码器、纠错编码器和调制器、加密器、隐密器、同步器等。,16,Shannon信息论的几个基本问题,17,信源编码器是在一定的准则下，对信源的输出进行变换，目的在于求得有效性。纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力。调制器将信编码器的输出变成适合于信道传输要求(带宽/波段.功率/通信时间等)的信号形式。不一定每个系统的编码器都含有这三个部分，有的只有其中的两个或一个组成部分，也有的将其中的两个合并起来由一个组成部分实现。 纠错编码器和调制器的组合又称作信道编码器，因为它们
15、主要是针对信道情况进行设计的，目的在于充分利用信道的传信能力可靠地传送信息。,Shannon信息论的几个基本问题,18, 信道是将信号从发端传送到收端的媒质或通道，它是包括收发设备在内的物理设施。信道的种类很多，如架空明线、电缆、表面波、声纳、光束、电离层反射、对流层散射、卡片、磁盘、磁鼓、书籍等都可看作是信道。信息。 干扰源。为了分析方便，我们将整个通信系统中各部分引入的各种干扰，如衰落、多径、码间干扰、非线性失真、可加噪声等都集中于一个方框作用于信道。这种干扰源的统计特性是划分信道的重要因素，并且是决定信道传输能力的决定因素。信道的中心课题是研究信道的统计特性和它的传信能力，即信道容量。,
16、Shannon信息论的几个基本问题,19,实际干扰可分成两大类。 加性干扰由外界引入的随机干扰，如天电干扰、设备内部的噪声，它们与信道输入信号统计无关，信道的输出就是输入和干扰的和。 乘性干扰是信号在传播过程中由于物理条件的变化(如温度、电离层位置随机变化等)引起信号参量(如频率色散、幅度衰减、相位偏移等)随机变化，此时信道的输出信号是输入与某些随机变量相乘的结果。 为了实现可靠通信，就要与各种干扰作斗争，这是通信系统设计中的一个基本问题。信息论要对干扰进行数学上的定量描述，以确定它们对传信能力影响的大小，从而给出有干扰下信道的传信能力。,Shannon信息论的几个基本问题,20, 译码器是编码的逆变换，它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，应尽可能精确地恢复信源的输出，并将它们递送给信宿。中心问题是研究各种可实现的解调和译码方法。 信宿是信息的接收
