《信息论与通信密码信息隐藏一》由会员分享，可在线阅读，更多相关《信息论与通信密码信息隐藏一（88页珍藏版）》请在金锄头文库上搜索。
1、关于Shannon信息论的 几点讨论（一）信息论与通信的几个基本问题西安电子科技大学 ISN国家重点实验室 报告人：王育民 Tel: 8201016 E-mail: 2004年12月1 1目目 录录一、一、 ShannonShannon信息论的信息论的划时代意义划时代意义二、二、ShannonShannon信息论的几个基本概念信息论的几个基本概念三、关于三、关于ShannonShannon通信系统模型的合理性和局通信系统模型的合理性和局 限性限性四、信息的广义性四、信息的广义性五、Shannon信息论在研究方法上的启示参考文献2 2Shannon信息论的几个基本问题一、一、 ShannonS
2、hannon信息论的信息论的划时代意义划时代意义 众所周知，信息是构成任何系统的三大要素之，另众所周知，信息是构成任何系统的三大要素之，另 外两个要素是物质和能量。信息虽然是无形的和抽象的外两个要素是物质和能量。信息虽然是无形的和抽象的 ，但它是系统的灵魂。，但它是系统的灵魂。1948 1948年年C. E. ShannonC. E. Shannon发表了他的划时代文章，即发表了他的划时代文章，即 通信的数学理论，宣告了一门崭新的学科通信的数学理论，宣告了一门崭新的学科信息论信息论 的诞生。的诞生。文章给出了可以概括一切通信系统的数学模型，如文章给出了可以概括一切通信系统的数学模型，如 图图1
3、 1所示；用概率统计数学工具描述了模型中各组成部所示；用概率统计数学工具描述了模型中各组成部 分：信源、信道、信宿、干扰源、编码器和译码器；给分：信源、信道、信宿、干扰源、编码器和译码器；给 出了信息量的定义，使人们可以定量地研究信息的传输出了信息量的定义，使人们可以定量地研究信息的传输 、处理和存储。、处理和存储。3 3Shannon信息论的几个基本问题信 源 编码器 信 道 译码器 信 宿干扰源图 1 通信系统ShannonShannon信息论不仅建立了信源和信道编码定理，信息论不仅建立了信源和信道编码定理， 给出了有效性的极限，而且为人们明确地指出了给出了有效性的极限，而且为人们明确地指
4、出了实现有实现有 效而可靠通信的必由之路是数字化和编码效而可靠通信的必由之路是数字化和编码。这是通信技。这是通信技 术领域革命的术领域革命的数学或理论基础数学或理论基础，而半导体和计算机技术，而半导体和计算机技术 则是这一革命的物理或物质基础。值得指出的是，信息则是这一革命的物理或物质基础。值得指出的是，信息 论和晶体管都同时诞生在论和晶体管都同时诞生在BellBell电话实验室。电话实验室。4 4Shannon信息论的几个基本问题Shannon Shannon所给出的编码定理的证明是非构造性的，所给出的编码定理的证明是非构造性的， 而且也不够严格，但他的而且也不够严格，但他的“ “数学直观出
5、奇地正确数学直观出奇地正确”(”(A. N.A. N. KolmogrovKolmogrov，1963)1963)。经过无数科技工作者经过无数科技工作者5050年来的努年来的努 力奋斗，不仅在数学上已严格地证明了力奋斗，不仅在数学上已严格地证明了ShannonShannon编码定编码定 理，而且发现了各种具体可构造的有效编码理论和方法理，而且发现了各种具体可构造的有效编码理论和方法 ，可以实现，可以实现ShannonShannon指出的极限。现在已可实现几乎无指出的极限。现在已可实现几乎无 差错地经由差错地经由GaussianGaussian信道传信，其传信率可达信道容量信道传信，其传信率可达
6、信道容量 的的80%80%（A. J. Viterbi, 1998A. J. Viterbi, 1998），），对于非白对于非白GaussianGaussian信信 道，道，ShannonShannon的注水定理和多载波调制（的注水定理和多载波调制（MCMMCM）技术技术 也可接近于理论限实现的有效和可靠通信。这在当代也可接近于理论限实现的有效和可靠通信。这在当代 CDMACDMA、CM(COFDM)CM(COFDM)、TCMTCM、BCMBCM、TurboTurbo码、码、 LDPC(Low Density Parity Codes)LDPC(Low Density Parity Codes
7、)、空时编码、各种空时编码、各种 均衡技术、对消技术、以及信息存储编码调制技术中都均衡技术、对消技术、以及信息存储编码调制技术中都 充分体现了充分体现了ShannonShannon定理的作用。定理的作用。5 5Shannon信息论的几个基本问题当今当今，人们不仅在理论发展了人们不仅在理论发展了ShannonShannon信息论，而信息论，而 且在实际上逐步实现了某些信道下的且在实际上逐步实现了某些信道下的ShannonShannon理论所指理论所指 出的理想传信。信息论这一抽象而完美的理论，在几十出的理想传信。信息论这一抽象而完美的理论，在几十 年后会有如此巨大丰富的技术成果，实在令人惊叹！年
8、后会有如此巨大丰富的技术成果，实在令人惊叹！信息论对实际通信系统的设计已产生了深刻的影响信息论对实际通信系统的设计已产生了深刻的影响 ，通信工程师在信息论方面的基础对他们事业的发展有，通信工程师在信息论方面的基础对他们事业的发展有 重要的作用。重要的作用。自自19481948年已来，已过了半个多世纪。年已来，已过了半个多世纪。IEEEIEEE的信息论的信息论 学会曾在学会曾在19731973发表了系列文章，纪念信息论诞生发表了系列文章，纪念信息论诞生2525周年周年 ，出版了，出版了ShannonShannon著作集，在著作集，在19981998又举行了一系列纪念又举行了一系列纪念 活动，纪念
9、信息论诞生活动，纪念信息论诞生5050周年，并出版了专集。伟大的周年，并出版了专集。伟大的 学者学者ShannonShannon也已于也已于20012001年年2 2月月2424日在纽约谢世。日在纽约谢世。6 6Shannon信息论的几个基本问题五十年后的今天，通信、计算机和半导体技术的发五十年后的今天，通信、计算机和半导体技术的发 展已将人类社会推进到一个崭新的信息时代。信息在现展已将人类社会推进到一个崭新的信息时代。信息在现 代社会中的作用愈来愈大，社会对信息的需求愈来愈大代社会中的作用愈来愈大，社会对信息的需求愈来愈大 。通信、广播、影视、出版等正在从模拟到数字，从单。通信、广播、影视、
10、出版等正在从模拟到数字，从单 一媒体到多媒体，从人工、机械化到智能化、从局部联一媒体到多媒体，从人工、机械化到智能化、从局部联 网到全球通信网。网到全球通信网。七、八十年代完成了通信与计算机的结合（七、八十年代完成了通信与计算机的结合（C Y)是集R上所有条件概率分布(或密度函数) 的凸函数知此极值存在。R(D)不小于0，但小于H(U) 。信息信息速速率率- -失真函数失真函数4242Shannon信息论的几个基本问题5 5. . 信源编码信源编码有失真时的逆信源编码定理：当速率R小于率失真函 数时；我们无论采用什么编译码方式，其平均失真必大 于D。 有失真时的离散无记忆信源编码定理：给定失真
11、D， 令P*为使且I(P)达到极小的条件概率，则存在长度为N的 分组码C，它的平均失真d(C)满足它当R R(D)时恒大于零。定理表明，随着分组长度N 的增加，我们总能找到一种编码方式，它在速率时可使 失真任意接近D。 4343Shannon信息论的几个基本问题Shannon的率失真理论在连续消息和离散消息之间 架上了一座桥梁，从而给数字化提供了一个基础和有效 的工具。(Shannon 1959, Berger 1971)。关键理论进展：关键理论进展的十个里程碑Kieffer 1993(1) 无扰信源编码的诞生(1948, C. E. Shannon, B. S. T. J. Vol.27,
12、pp.379-423 pp.623-656. 1948)。(2) Huffman算法的发现(1952, D. A. Huffman, Proc. IRE, Vol.40 pp.1098-1101, 1952)。(3) 建立Shannon-McMillan定理(1953, B. McMillan, Ann, Mach. Stat. Vol.24, pp.196-219, 1953)。(4) 发现Lloyd算法(1957, S. P. Lloyd 1957年写出， 1982年发表在IT-28, pp.129-137, 1982)。4444Shannon信息论的几个基本问题(5) 率失真理论系统化(
13、1959, C. E. Shannon, IRE Nat, Conv, Rec, Part.4 pp.142-163, 1959)。(6) Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov, Problem of Information Transmission, Vol . 1, pp.4-7, 1965)。(7) 通用信源编码理论系统化(1973, L. D. Davission, IT-19, pp.783-795 1973)。(8) 多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf, IT-19, pp. 47
14、1-480, 1973)。(9) 第一个实际的算术编码方案(1976, J. Rissannen和 R. Pasco 1976博士论文, IBM Res Dev, Vol.20 pp.198- 203, 1976)。(10) 发现Lempel-Ziv码(1977, J. Ziv和A. Lempel, IT- 23 pp.337-343 1977)。4545Shannon信息论的几个基本问题技术进展和标准技术进展：解决了传输和存储资源所需要的数据压缩 方案。(1) 未压缩时各类信号所需的数据率。参见表14646Shannon信息论的几个基本问题表1 未压缩时各类信号所需的数据率 类 型 频 率
15、范 围 采 样 速 率 bit/样点或象元 未压缩bit率 语音窄带语音 2003200 Hz 8 khz 16 128 kb/s宽带语音 507000 Hz 16 kHz 16 256kb/s 声频 CD声频 2020000 Hz 44.1 kHz 162路 1.41Mb/s 静止 FAX 17002200 1 3.74 Mb/页VGA 640480 8 2.46 Mb/页 图像XVGA 1024768 24 18.87 Mb/页NTSC(4:3) 480483 29.97帧/s 16# 111.2 Mb/s 电 PAL(4:3) 576576 25 帧/s 16 132.7 Mb/sCIF(4:3) 35
