《最佳变长编码方式的探究》由会员分享，可在线阅读，更多相关《最佳变长编码方式的探究（18页珍藏版）》请在金锄头文库上搜索。
1、. .最正确变长编码方式的探究论文题目：最正确变长编码方式的探究专业：通信工程班级：14级通信工程学号：1401120215姓名：吴万强指导教师：平俊2021年12月优选. -最正确变长编码方式的探究吴万强工业应用技术学院信息工程学院14级通信工程班摘要：信源的编码方法提高了通信的有效性。信源的编码方法分为定长编码和变长编码，定长编码要实现无失真，需要的编码长度大，效率不高；变长编码的编码长度不需要很大就可以到达相当高的编码效率，而且可以实现无失真编码。香农编码、费诺编码和霍夫曼编码是常见的离散无记忆信源编码方法。关键字：定长编码变长编码香农编码费诺编码霍夫曼编码Abstract：Encodi
2、ng method improves the effectiveness of the source of communication. Source coding method is divided into fixed-length coding and variable length coding, fixed-length coding to achieve distortion requires a large code length, the efficiency is not high; variable length code length coding can be achi
3、eved without requiring a high relatively high coding efficiency, and can achieve lossless encoding. Shannon coding, Fenno coding and Huffman coding is a common discrete memoryless source coding methods.Keyword：Fixed-length encoding Variable length coding Shannon coding Fenno coding Huffman coding1 引
4、言人类社会的生存和开展无时不刻都离不开信息的获取、传递、再生、控制和利用。信息论正式一门把信息作为研究对象的科学，以提醒信息的本质特性和规律为根底，应用概率论。随机过程和树立统计等方法来研究信息的存储、传输、处理、控制和利用。它主要研究如何提高信息系统的可靠性、有效性、性和认证性，以使信息系统最优化。许多科学技术问题如无线电通讯、电视、遥测、图像和声音识别等都必须以信息论为理论指导才能很好地解决。信息论的研究对象又可以是广义的信息传输和信息处理系统。从最普通的电报、 、电视、雷达、声纳, 一直到各类生物神经的感知系统, 以及大到人类社会系统,可以用同一的信息论观点加以阐述, 都可以概括成某种随
5、机过程或统计学的数学模型加以深入研究。2 开展历程信息论从诞生到今天，已有半个多世纪的历程，现已成为一门独立的理论学科。回忆它的开展历史，可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。2.1 信息论形成的背景和根底信息论是在长期的通信工程实践和理论研究的根底上开展起来的。电的通信系统电信系统已有170多年的历史了。法拉第(MFaraday)于1820年1830年期间发现电磁感应的根本规律后，不久莫尔斯(FBMorse)就建立起电报系统(18321835)。1876年，贝尔(AGBELL)又创造了系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，年赫兹(HHertz)用实
6、验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(ACooB)创造了无线电通信。随着工程技术的开展，有关理论问题的研究也逐步深入。1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。1885年凯尔文(L.Kelvin)曾经研究过一条电缆的极限传信率问题。1922年卡逊(JRCarson)对调幅信号的频谱构造进展了研究，并建立了信号频谱概念。1924年奈奎斯特(HNyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽。他把信息率与带宽联系起来了。1928年哈特莱 (RVHartley)开展了奈奎斯特的工作，并提出把消息考虑为
7、代码或单语的序列。他的工作对后来香农的思想是有影响的。1936年阿姆斯特朗(EHArmstrong)认识到在传输过程中增加带宽的方法对抑制噪声干扰肯定有好处。根据这一思想他提出了宽偏移的频率调制方法，该方法是有划时代意义的。20世纪40年代初期，由于军事上的需要，维纳在研究防空火炮的控制问题时，提出了平稳时间序列的外推，插与平滑及其工程应用的论文。他把随机过程和数理统计的观点引入通信和控制系统中来，提醒了信息传输和处理过程的统计本质。他还利用早在30年代初他本人提出的广义谐波分析理论对信息系统中的随机过程进展谱分析。这就使通信系统的理论研究面貌焕然一新，产生了质的飞跃。2.2 Shannon信
8、息论的建立和开展1948年6月和10月，Shannon在贝尔实验室出版的著名的贝尔系统技术杂志上发表了两篇有关通信的数学理论的文章。在这两篇论文中，他用概率测度和树立统计的方法系统地讨论了通信的根本问题，首先严格定义了信息的度量熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的根底。Shannon理论的核心是：提醒了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是构造性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们
9、给出了编码的性能极限，在理论上说明了通信系统中各种因素的相互关系，为人们寻找出最正确通信系统提供了重要的理论依据。而其理论到目前主要经历了以下几个方面的开展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的开展、信道纠错编码的开展、限失真信源编码的提出和开展、多用户、网络信息论的开展、信息与平安理论的提出与开展，从此以后，纠错码和密码学相结合的研究迅速开展起来。3 变长编码在学过信息论与编码技术以后，对这方面容已有了根底的了解。为了进展更深入的了解，在查阅了很多资料后，可知通信的根本问题是如何将信源输出的信息在接收端的信宿准确地或近似地复制出来，而这最重要的一步就是信源的编码，一
10、个好的开端才能为以后的传输及承受、解码提供有利得条件。首先要了解什么是信源编码。为了减少信源输出符号序列中的剩余度、提高符号的平均信息量，对信源输出的符号序列所施行的变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。既然信源编码的根本目的是提高码字序列中码元的平均信息量，那么，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的畴，例如过滤、预测、域变换和数据压缩等。一般来说，减少信源输出符号序列中的剩余度、提高符号平均信息量
11、的根本途径有两个：使序列中的各个符号尽可能地互相独立；使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性，后者称为概率均匀化。在通信过程中，如何在不失真或允许一定失真条件下，用尽可能少的符号来传送信源信息，提高信息传输率；在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。这就产生了多种信源编码方式。为了有效传播信息，最理想状态即为无失真传输。无失真信源编码的实质：对离散信源进展适当的变换，是变形后形成的新的码符号信源信道的输入信源尽可能为等概率分布，以使新信源的每个码符号平均所携带的信息量到达最大，使信道的信息传输率R到达信道容量C，实现信源与信道的统计匹配。为
12、了衡量各种编码是否到达极限情况，定义变长码的编码效率为。通过编码效率来衡量各种编码性能的优劣。为了衡量各种编码与最正确编码的差距，定义的剩余度为：，信息传输率定义为：。注意：虽然R与在数值上一样，但它们的单位不同，编码效率没有单位，而信息编码传输率R的单位是比特/码符号，在无失真信源编码中又分为定长编码、变长编码机最正确变长编码。下面便是对定长编码与变长编码的解释。3.1 定长编码定理定理1等长信源编码定理一个熵为Hs的离散无记忆信源，假设对其N次扩展信源等长r元编码，码长为1，对于任意大于0，只要满足，当N无穷大时，那么可以实现几乎无失真编码，反之，假设：，那么不可能实现无失真编码，当N趋向
13、于无穷大时，译码错误率接近于1。在定长编码中，K是定值，编码的目的即为找到最小的L值。要实现无失真的信源编码，不但要求信源符号与码字是一一对应的，而且还要求有码字组成的码符号序列的逆变换也是唯一的。由定长编码定理可知，当编码器容许的输出信息率，也就是当每个信源符号必须输出的码长是L=Kl/log m。由定理说明，只要码字所能携带的信息量大于信源序列输出的信息量，那么可以使传输几乎无失真，但是条件是L足够大。这就为传输带来了很大的麻烦，并且实现起来很困难，并且编码效率也不高。而要到达编码效率接近1的理想编码器虽有存在性，但在实际上时不可能的，因为L非常大，无法实现。由此而产生了变长编码。3.2
14、变长编码定理定理2无失真变长信源编码定理香农第一定理：离散无记忆信源S的N次扩展信源SN 其熵为，并且编码器的码元符号集为A：对信源进展编码，总可以找到一个编码方法，构成单义可译码，使信源S中每个符号所需要的平均码长满足。当趋于无穷是，那么得：这个定理是香农信息论中非常重要得一个定理，他指出，要做到无失真的信源编码，信源每个符号所需要的平均码元数就是信源的熵值，如果小于这个值，那么唯一可译码不存在，可见，熵是无失真信源编码额极限值。定理还指出，通过对扩展信源进展编码，当N趋向于无穷时，平均码长可以趋近该极限值。由得就是编码后每个信源符号所携带的平均信息量。定义输出信息率：。香农第一定理可以表述
15、如下：假设RH(S)就存在唯一可译变长码，假设RH(S)那么不存在可译变长码。定义：变长编码效率为，在变长编码中，码长L是变化的，可根据信源各个符号的统计特性，对概率大的符号用短码，而对概率小的符号用长码。这样大量信源符号编成码后，平均每个信源符号所需的输出符号数就可以降低，从而提高编码效率。用变长编码来到达相当高的编码效率，一般所要求的符号长度L可以比定长编码小得多的多。很明显，定长码需要的信源序列长，这使得码表很大，切总存在译码过失。而变长码要求编码效率到达96%时，只需L=2因此用变长码编码时，L不需要很大就可到达相当高的编码效率，而且可实现无失真编码。并且随着信源序列长度的增加，编码效率越来越接近于1，编码后的信息传输率R也越来越接近于无噪无损二元对称信道的信道容量C=1bit/二元码符号，到达信源与信道匹配，使信道得到充分利用。但变长编码方式也有优劣的区分，下面就变长编码即香农编码，费诺编码，霍夫曼编码进展比较分析。4 三种变长编码的定义与过程4.1 香农编码方法香农第一定理指出了平均码长与信源之间的关系，同时也指出了可疑通过编码使平均码长到达极限值，这是一个很重要的极限定理。香农第一定理指出，选择每个码字的长度Li满足下式：(i=1,2,q)1或者i
