信息论与编码信息率失真函数与限失真编码

《信息论与编码信息率失真函数与限失真编码》由会员分享，可在线阅读，更多相关《信息论与编码信息率失真函数与限失真编码（98页珍藏版）》请在金锄头文库上搜索。

1、1第第5章信息率失真函数章信息率失真函数 与限失真编码与限失真编码信道编码定理虽然告诉我们，有噪声信道编码定理虽然告诉我们，有噪声信道的无失真的编码似乎是可能的，但是，信道的无失真的编码似乎是可能的，但是，这里的无失真只能无限逼近于这里的无失真只能无限逼近于0，而无法达，而无法达到到0，除非编码分组的长度是无穷大，因此，除非编码分组的长度是无穷大，因此从这个角度，有噪声信道无失真的要求也从这个角度，有噪声信道无失真的要求也是不可能的。然而在实际生活中，人们一是不可能的。然而在实际生活中，人们一般并不要求完全无失真恢复信息，通常要般并不要求完全无失真恢复信息，通常要求在保证一定质量求在保证一定质

2、量(一定保证度一定保证度)的条件下的条件下再现原来的消息，也就是说允许失真的存再现原来的消息，也就是说允许失真的存在。在。学习得来终觉浅，绝知此事要自悟悉腥墩瞻薯吸贺鞋授蜀踞燃谴范腕煞噪软锨载倔竿太瑟浪律臻耀酪邀句陵信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码2 第第5章信息率失真函数章信息率失真函数 与限失真编码与限失真编码不同的要求允不同的要求允许不同大小的失真存在不同大小的失真存在，完全无失真的通信既不可能也无必要，完全无失真的通信既不可能也无必要，有必要有必要进行将失真控制在一定限度内行将失真控制在一定限度内的的压缩编码，我，我们称称为限失真限失真编码。

3、信息率失真理信息率失真理论是是进行量化、数模行量化、数模转换、频带压缩和数据和数据压缩的理的理论基基础。本章主要介本章主要介绍信息率失真理信息率失真理论的基本的基本内容及相关的内容及相关的编码方法。方法。芬餐筑椒帅奈卯峭屁泻莱籍昭篮迄篙寥怀卑等吹腕号晒彰考盈君各盘千淑信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码第第5章信息率失真函数章信息率失真函数 与限失真编码与限失真编码 如何进行这种限失真编码呢？考虑我们前面提出的问题，如果要将有10万位小数的1-100之间的数字进行压缩，我们可以采取四舍五入的方法，将这个数转换为只有10位小数的数值，由于小数点10位之后的

4、数值都是微不足道的，所以这种压缩带来的失真并不大。我们可以理解为将一个集合中的元素映射为另外一个集合中的压缩，或者是映射为原集合中的一部分的元素。因抱夷燎制冻律矣赢即坯突本脂揉靴讫捌菊乐政较安烹薄剖吞给寸霸澜匣信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.1 失真测度n5.1.1 系统模型n5.1.2失真度与平均失真度篇赏劳房顽赫歉或媳槽撑缉烯毁膨盾弗挣纽孔懈烃份襟炉味拱繁显丝纷向信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.1.1系统模型通过前面的例子和讨论，我们可以建立研究限失真信源编码（有损压缩）的系统模型：信源发出的消

5、息X通过有失真的信源编码输出为Y，由于是有失真的编码，所以X和Y的元素不存在一一对应的关系，我们可以假设X通过一个信道输出Y，这种假想的信道我们称为试验信道。这样，我们就可以通过研究信道的互信息来研究限失真编码，而X和Y的关系也可以用转移概率矩阵（信道矩阵）来表示。擒接寂间舷叙司迎颓蹬殆昆诣除晶慷吗恐混屁靴铃纠梦试脐疗无菇收焕惧信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.1.1系统模型图5-1 限失真编码模型 除了描述输入输出的关系外，我们还关心如何才能限制失真的问题，因为这一切都是建立在限失真的要求之上的，既然要限制失真，就需要有关于失真的度量。粗匡钥样学

6、痞倪艘黑巾觅惜虫浸怠闲算汝诌评誊漳雁嫡犬秽坝剐辖伪嘴叙信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.1.2 失真度与平均失真度如何来度量失真呢？我们先从最为简单的单个符号的信源的失真度量（distortion measure）开始，然后以此为基础来建立更多符号的失真度量。 1.单个符号失真度 设有离散无记忆信源信源符号通过信道传送到接收端Y，信道的转移概率矩阵互眷滨瀑猖打嗜姑情魁太茂芦稗耘津些畴搅匿氢娶聊衙撑堑骂当拼靳遇诉信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码对于每一对(xi，yj)，指定一个非负的函数d(xi，yj)为单

7、个符号的失真度或失真函数（distortion-function）。用它来表示信源发出一个符号xi，而在接收端再现yj所引起的误差或失真。失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素人为规定的。有时候未必能够证明为什么采用这个函数是合理的，其他的函数没有它好。我们假设发出一个符号，如果收到也是它，则失真为0，如果收到的不是它，而是其他的符号，则存在失真，失真函数大于0，即有：失真度还可表示成矩阵的形式：D称为失真矩阵。它是nm阶矩阵。（5-1）煞弊际备哼馈梦桐狠茄协傀主弓爸朽胞静焦避究枕拉栓梅矢奖研靴善铬光信息论与编码信息率失真函数与限失真编码信息论与编码信息

8、率失真函数与限失真编码9均方失真：均方失真：相对失真：相对失真：误码失真：误码失真：绝对失真：绝对失真：前前三三种种失失真真函函数数适适用用于于连连续续信信源源，后后一一种种适适用于离散信源。用于离散信源。 最常用的失真函数最常用的失真函数 彦把从巍蛆段纷穷拱设灾斤打交奢了掣肘幢柱眠誓奥己蚂钉何匣勘栏竿菌信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.2 信息率失真函数及其性质 前面我们通过简单的分析指出，要进行最大限度的压缩，根据香农第一定理，压缩的极限为H(Y)=I(X;Y)。但是，我们必须考虑信息压缩造成的失真是在一定的限度内的，因此，这个平均互信息量应该

9、在我们允许的失真范围内尽量小。从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的，对信息进行压缩的效果与失真也是相关的。你励若甩枫环喳需脓蓄门纲箩贱武汀汇壹峙韶椽言刚厩据汰试卢撵螟歧煌信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.2 信息率失真函数及其性质n5.2.1 信息率失真函数的定义n5.2.2 信息率失真函数的性质趾沾骋携蓝棠呸旷减乾摆芥圭袭凿奥忻区劝碱颜躺雪邱雷揉栋侣沾至娃广信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码125.2.1

10、 信息率失真函数的定义信息率失真函数的定义 为了讨论在允许一定失真D的情况下，信源可以压缩的极限应该是一个与失真相关的函数，我们可以定义信息率失真函数（information rate distortion function）为这一极限，简称率失真函数率失真函数，记为R(D)。嘎票蔡化情凰增辕而屠忱份缘啄符巢肌竿那销惶撑印拢豁讽增润恩吼卖舟信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.2.1 信息率失真函数的定义信息率失真函数的定义n在信源的概率分布（P(X)给定）和失真度D给定以后，PD是满足保真度准则的试验信道集合，即我们把X和Y当做信道的输入输出的话，这

11、个信道集合中的信道的决定性的参数就是信道传递（转移）概率p(yj|xi)。拴吊耸设店避红熙嘻茨虾呵苛钾跌门奶屉艺今啡十尹嚷赌逞献亚焰牧丹却信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.2.1 信息率失真函数的定义信息率失真函数的定义n在信源和失真度给定以后，信道的输入和输出的平均互信息I(X;Y)是信道传递概率p(yj|xi)的下凸函数，所以在这些满足保真度准则的PD集合中一定可以找到某个试验信道，使I(X;Y)达到最小，而这个最小值可以从直观上理解为，并且可以被证明为在保真度准则下的信源压缩极限，即信息率失真函数信息率失真函数R(D)，所以（5-12）嫁店贷

12、按雀仿乾湃铁凌饮洒燃汁猖彤咸殉扬撼襟佑课锈法杀锐玖泊俄棒盾信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.2.1 信息率失真函数的定义信息率失真函数的定义或者可以直接地表述为：其中，R(D)的单位是奈特/信源符号或比特/信源符号。关于上面定义的式子为限失真编码的压缩极限的证明，可以利用渐进等分性来证明，本章后面部分会给出证明。信息率失真函数这一命名也体现了信息的压缩极限是与允许的失真D相对应的一个函数，所以下面我们将会讨论这个函数的性质。如果说试验信道的说法可能会难于理解的话，我们可以将试验信道理解为限失真信源编码器的输入X和输出Y之间的一种概率上的映射关系，或

13、者直接理解为概率p(yj|xi)。磨骗涣求朔例钵女煤拯驹霹次盾适诽坦袄葬里苗媚聊糊盛藉詹蝴嫩办氟父信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.2.1 信息率失真函数的定义信息率失真函数的定义在离散无记忆平稳信源的情况下，可证得序列信源的信息率失真函数： （5-13） 从数学上来看，平均互信息是输入信源的概率分布的型上凸函数，而平均互信息是信道传递概率p(yj|xi)的U型下凸函数。因此，可以认为信道容量C和信息率失真函数具有对偶性。柄喉背闺耀沦舶面赴洲刺囊抓鸭守稍诺轿此胀显绎踢恿祷牵籽底铃妖绝春信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数

14、与限失真编码5.2.1 信息率失真函数的定义信息率失真函数的定义n研究信道容量C是为了解决在已知信道中传送最大的信息量。为了充分利用已给信道，使传输的信息量最大而错误概率任意小，就是一般信道编码问题。研究信息率失真函数是为了解决在已知信源和允许失真度D的条件下，使信源必须传送给用户的信息量最小。这个问题就是在可以接受的失真度D的条件下，尽可能用最少的码符号来传送信源消息，是信源的信息尽快地传送出去来提高通信的有效性。这是信源编码问题。瞒拆选辱赶抑轻锌段杜摆掐崇材甥瘩蕾倦去沫暑邢俗足孕洋湘吼睛唯址倒信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码它们之间的对应关系下表

15、5-1所示： 表5-1 信道容量C和R(D)的比较信道容量信道容量C率失真函数率失真函数R(D)研究对象研究对象信道信道信源信源给定条件给定条件信道转移概率信道转移概率p(yj|xi)信源分布信源分布p(x)选择参数选择参数（变动参数）（变动参数） 信源分布信源分布p(x)试验信道转移概率或者信源试验信道转移概率或者信源编码器映射关系编码器映射关系p(yj|xi)结论结论求求I(X;Y)最大值最大值求求I(X;Y)最小值最小值概念上概念上固定信道，改变信源，使固定信道，改变信源，使信息率最大信息率最大固定信源，改变信道，使信固定信源，改变信道，使信息率最小息率最小(反映反映)（信道传输能力）（

16、信道传输能力）（信源可压缩程度）（信源可压缩程度）通信上通信上当使得错误概率当使得错误概率Pe0的的限制下，使传输信息量最限制下，使传输信息量最大大信道编码信道编码在给定在给定D的限制下，用尽可能的限制下，用尽可能少的码符号传送少的码符号传送信源编信源编码码对应定理对应定理有噪信道编码定理有噪信道编码定理限失真信源编码定理限失真信源编码定理俊叠迹太祝捅效夹谓颅刀翅揭猎簧啡擞瘁窿留箱早癌被秃嫁巍蛋账孰前言信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.2.2 信息率失真函数的性质信息率失真函数的性质 下面我们来讨论函数R(D)的性质，作为一个函数，其函数值处决于自

17、变量，所以我们首先讨论关于它的自变量的取值范围，即定义域。1.信息率失真函数的定义域R(D)的自变量是允许平均失真度D，它是人们规定的平均失真度的上限值。这个值是否可以任意选取呢？其实不然。因为平均失真度的值是受制约的，而且失真度与平均失真度均为非负值，显然满足下式：（5-14）（5-15）以上最小值的计算方法都是直接求各个失真度的最小值，然后按照概率加权平均，是否正确，为什么？呀煤周查易饺伎朔茂孝匆赦砾锡捷慧勇遭乳极冈喜抒奄稳际绢量赎窑莹恋信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码1）最小值对于离散信源，在一般的情况下可以采用我们前面的定义，当X和Y一一对应

18、的时候，此时平均失真度为0，而平均失真度显然不可能小于0，所以Dmin为0，此时，R(Dmin)= R(0)= H(X)。对于连续信源，Dmin趋向于0时， R(Dmin)= R(0)=Hc(X)=。连续信源无失真的时候，传输的信息量是无穷大，实际信道容量总是有限的，无失真传送这种连续信息是不可能的。只有当允许失真(R(D)为有限值)，传送才是可能的。讳劈例射厌兄吞扁朝各金害宰鳖院公醋御厄冯献揉膀浅童斟乙沂峦拆侦姓信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码2）最大值信源最大平均失真度Dmax ：必须的信息率越小，容忍的失真就越大。当R(D)等于0时，对应的平均

19、失真最大，也就是函数R(D)定义域的上界值Dmax最大。由于信息率失真函数是平均互信息的极小值，平均互信息量大于等于0，当R(D)=0时，即平均互信息的极小值等于0。满足信息率为0的D值可能存在多个，但是鉴于我们总是希望失真度最小，存在多种选择的时候，总是选择最小值，所以这里定义当R(D)=0时，D的最小值为R(D)定义域的上限，即Dmax是使R(D)=0的最小平均失真度。菱庐譬哦秩佃关饱嘴崇窖棺趟免辛尹违妇浪赊摄嗡揩否立药苔给卖莲蕊累信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码R(D)=0时，X和Y相互独立，所以，满足X和Y相互独立的试验信道有许多，相应地可求

20、出许多平均失真值，这类平均失真值的下界就是Dmax。（5-16）令则（5-17）漂撞惧梢溉窜坞坟很红描恒屑已耙察画臃础免纠咏召愤甜腰欺淀踊卡噎尼信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码上式是用不同的概率分布p(yj)对Dj求数学期望，取数学期望当中最小的一个，作为Dmax。实际上是用p(yj)对Dj进行线性分配，使线性分配的结果最小。当p(xi)和失真矩阵已给定时，必可计算出Dj。Dj随j的变化而变化。p(yj)是任选的，只需满足非负性和归一性。若Ds是所有Dj当中最小的一个，我们可取p(ys)=1，其他p(yj)为零，此时Dj的线性分配值（或数学期望）必然

21、最小，即有（5-18）揪桔扎酶抵廉愈味创邪拴惯爪斤汕讯胁哲赫丸举瑶贰争暖总铰盎赤神容涉信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码通俗地说，当我们要进行最大限度的压缩的时候，极端的情况就是将输出端符号压缩为一个，我们可以将任意信源符号xi都转换为一个相同的符号ys，由于对方接受到的符号是确定的，所以，可以无需传递任何信息，或者说传递的信息量为0。对于不同的ys，会带来不同的失真度，我们当然会选择失真度最小的一个。 实际上，不是有意去进行理性的选择，平均失真度的值是可以超过这一值的。由于R(D)是非负函数，因为R(D)是用从中选出的求得的最小平均互信息，所以当D增

22、大时，的范围增大，所求的最小值不大于范围扩大前的最小值，因此R(D)为D的非增函数。当D增大时，R(D)可能减小，直到减小到R(D)=0，此时对应着。如果当DDmax时，仍然为零。痛尖碍衷楼熄悍摸灯纪涟犹掇曝蒸靛蜘糊硕云飞富气帮奋痰蒋甲捡拿颇戎信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码我们有下面的结论：n当且仅当失真矩阵的每一行至少有一个零元素时， ，一般情况下的失真矩阵均满足此条件；n可适当修改失真函数使得 ；n 和 仅与 和 有关。鸳窗淄减脉弧舟臃射拷而宽厢薯陶鸯熊拘序裔碱蜕医柔旨婉准傈始炯严扶信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函

23、数与限失真编码例5-1 设试验信道输入符号集，各符号对应概率分别为1/3,1/3,1/3，失真矩阵如下所示，求和以及相应的试验信道的转移概率矩阵。 解：澄肪蛊篱毅桌符治猖胰悬邢蛊延弥翌娠矫唇林狱坠渐箱紧革砷倡殊仇企患信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码令对应最小失真度 的 ，其它为“0”，可得对应 的试验信道转移概率矩阵为上式中第二项最小，所以令 ， ，可得对应 的试验信道转移概率矩阵为询搪蓉胯萍篷籽恫全汾剑否头糖肛座蒜帘缴崇乃宦阜惮捧固诉疹醉饶欲劈信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.3 离散无记忆信源的信息率

24、失真函数n5.3.1* 离散无记忆信源的信息率失真函数n5.3.2* 连续无记忆信源的信息率失真函数辉痘逮页八呆皖尚醋涌居迹乌吠袖以越侧仇坝堡练痞伯斧航扯辱弓男夏拷信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.3.1* 离散无记忆信源的信息率失真函数已知信源的概率分布P(X)和失真函数d(x，y)，就可求得信源的R(D)函数；原则上它与信道容量一样，即在有约束条件下求极小值的问题。也就是适当选取试验信道P(y|x)使平均互信息最小化：（5-20）钦兹嘻拦屏豢敞骡钮恒琳箩私龙枷瓦十省耻抗刷湾占拾暑昼脆尧臣屯磐乍信息论与编码信息率失真函数与限失真编码信息论与编码信

25、息率失真函数与限失真编码其约束条件除了保真度准则外，还包括转移概率必然满足的一些基本条件，比如非负性、归一化条件：融竖浪弱漱吧彦推珊合毗琵卉躁遇痛尺道蠕偷抚铂噬仿屏迅干刨册孰棚拌信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码 求解这类极值有好几种方法：如变分法、拉氏乘子（拉格朗日乘子，Lagrange multiplier）法、凸规划方法等等。应用上述的方法，严格地说可以求出解来，但是，如果要求得到明显的解析表达式，则比较困难，通常只能用参量形式来表达。这种非显式的表达式依然不能直接求解信息率失真函数，必须采用收敛的迭代算法求解信息率失真函数。如果信源和失真矩阵存

26、在某种对称性，则可以大大简化信息率失真函数的计算。这里我们先讨论一些简单情形下的信息率失真函数的计算。以上求解的思路是否可以解决所有的问题？得到的解就是进行限失真编码时，某一失真度限制下的最合理的解吗？喉桨惹削纽惶郧捡猎乖餐拜囱葫产嗣簿茵常萎器摊胆宿眷君韧穗锈暴叼邑信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码 对于等概、对称失真信源，存在一个与失真矩阵具有相同对称性的转移概率矩阵分布达到信息率失真函数值。对于n元等概率信源，各个信源符号的概率均为1/n，当失真函数对称时，即绝磊仆吻烯桩务膜奄乒轻巫圈迸总奏箔未失歹冰费糜柄贰乖嘿纵凤淄僚拉信息论与编码信息率失真函数

27、与限失真编码信息论与编码信息率失真函数与限失真编码定理定理5-1设信源的概率分布为P=p(a1), p(a2), , p(ar)，失真矩阵为d(ai, bj)rs。为1,2,r上的一个置换，使得p(ai)= p(ai),i= 1,2,r，为1,2,s上的一个置换，使得d(ai, bj)= d(ai), (bj) )，i= 1,2, r, j= 1,2, s，则存在一个达到信息率失真函数的信道转移概率分布Q= q(bj |ai)具有与d(ai, bj)rs相同的对称性，即q(bj|ai)= q(bj)|(ai)。 该定理证明略。彻驰辰鹃泥罐梅敞癌俘浪撂旦别糙萝纽炼寥音赏辟纠辐枉美飞誊熊摸阂条信息

28、论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码利用这种性质我们可以减少信道转移概率矩阵的未知参数，便于求解。当然，以上定理依然显得复杂，为了保证信源概率分布重排后一定能够与原排列一一对应相等，我们可以直接要求信源等概率分布。此时如果失真矩阵对称，则满足上述定理的条件。 我们还可以发现，汉明失真具有对称性，当信源等概率分布，且失真矩阵为汉明失真矩阵时，即： 显然满足上述的条件，可以利用以上定理来简化问题。纲词序少附均鲤踌冤钞淡联诫漓阵全萎块哥大惑歹抽更培潮勒唯叮常骂柿信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码例5-5 有一个二元等概率平

29、稳无记忆信源U=0,1，接收符号集V=0,1，3，失真矩阵为 试求其信息率失真函数R(D)。 解：求定义域由于信源等概率分布，失真矩阵具有对称性，因此存在着与失真矩阵具有同样的对称性的转移概率分布达到信息率失真函数。由为了运算方便，取上式中，由于信源等概率，所以 （允许失真）给定。朔逗驴前值夜坝爸粕汗鲜舜拷炔瑟捞搁革鳃牡橱复绦槽紫陇魄欧披赢唐捏信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码则 一一对应，要失真为有限值，两个无穷对应的概率必然为0，转移概率矩阵与失真矩阵的对应关系为0对应A，1对应B，考虑归一性，B=1-A，对应0， 所以根据对应关系，可得 代入上述

30、公式，有再将它代入转移概率公式中：掀备疾舟预扼刮捏哈番膳屿更惠材尼览谰马豁骑笛灌唉垄凿概骨梅绷涌朴信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码由：接受端的概率分布 ，得：三个概率则:平均失真度D一定的时候，盼迈吵廊棠祈耗圃侄伐蚂茫逮械嚣远回卒釜赘任邦星惮饰窟敌插浊楔砍设信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码图5-4 信息率失真函数曲线吕培宽津棍笼限羔意啪聘抽暮侮荐忧迅就油婉笛炼波樟斧羔煽反鸿但苍瓶信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.3.2* 连续无记忆信源的信息率失真函数n补充知识

31、：设为实数的有界集合。若:(1)每一个满足不等式;(2)对于任何的，存在有，使，则数称为集合X的下确界。通俗地理解：如果有最小值m，则其最小值就是其下确界，如果其集合中较小的值大于m，且无限地趋向于m，则m也是其下确界。与此类似，有上确界的概念。堡涤诲心轴钉疡淌角瞥瞬我帛斧桔匈知发掌蚕火望动科便无琢绅悔铆拟崩信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码连续信源信息量为无限大（取值无限），如果要进行无失真信源编码，编码长度为无穷大，所以连续信源无法进行无失真编码，而必然采用限失真编码。连续信源的信息率失真函数的定义与离散信源的信息率失真函数相类似，但是需要对应地将

32、只需将概率 换为概率密度 ,由于连续性，需要将求和换为积分（本质上是一种求和形式），而失真的表示也表示为连续形式的 ,离散信源下的最小值替换为下确界。 假设连续信源为X，试验信道的输出为连续随机变量Y，连续信源的平均失真度定义为：(5-21)通过试验信道获得的平均互信息为：同样，确定一允许失真度D，凡满足平均失真小于D的所有试验信道的集合记为PD，则连续信源的信息率失真函数定义为：(5-22)诱冲抒鸣睛羽码觉晤驰爷蓉吕涂憎渍掀迟厕涂割圾蚂肯贺踞壬缅窒嚎装笔信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码严格地说，连续信源的情况下，可能不存在极小值，但是下确界是存在的

33、，如我们上面讨论的无限趋向于下确界。连续信源的信息率失真函数依然满足前面的信息率失真函数的性质（针对于离散信源讨论的）。对于N维连续随机序列的平均失真度和信息率失真函数也可以类似进行定义。连续信源的信息率失真函数的计算依然是求极值的问题，同样可以采用拉格朗日乘子法进行，较为复杂。这里讨论较为简单的高斯信源的情形，对高斯信源，在一般失真函数下，其率失真函数是很难求得的，但在平方误差失真度量下，其率失真函数有简单的封闭表达式。 对平方误差失真，试验信道输入符号和输出符号之间失真为：对应的平均失真度为：辰饱惕鞋崇溃疫崔辗簿萍置月芍科饯像野瘟舷畏球八壹扣跨充雨洁德锤外信息论与编码信息率失真函数与限失真

34、编码信息论与编码信息率失真函数与限失真编码在平方误差失真下，设允许失真为D，则高斯信源 的率失真函数为： (5-23)其曲线如下图5-6所示。图5-6 高斯信源在均方误差准则下的R(D)函数滥埂轩再轮啪酞就美疯百乍支穴干恳敏萝格檬剃灰蹲扯嫁谊昌隧涟辩错浚信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码实际上，我们还可以证明在平均功率 受限条件下，正态分布R(D)函数值最大，它是其他一切分布的上限值，也是信源压缩比中最小的，所以人们往往将它作为连续信源压缩比中最保守的估计值。具体见下面的定理。罚许射观溢倍记优鬃握曝卵皋甫墟锦拦疆喂琴婪跃账模狠蜗岔沦萍三某鞋信息论与编码

35、信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码定理定理5-2 :对任一连续非正态信源，若已知其方差为 ,熵为 ,并规定失真函数为 ,则其R(D)满足下列不等式：（正态是上限） （5-24）喇啸崇蠕隘独石氰侗媳诛沿绣峭寿车领与商昭挨迈虱掌甜牙累蹲挤姑动踩信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.4 保真度准则下的信源编码定理n5.4.1* 失真典型序列n5.4.2* 保真度准则下信源编码定理的证明n5.4.3* 保真度准则下信源编码逆定理证明缠域宏滇购而均脏喜雾午徐删门钢掘抓彦功爹坍抄碌该颊泣糠煽穿根绘逻信息论与编码信息率失真函数与限失真编

36、码信息论与编码信息率失真函数与限失真编码5.4 保真度准则下的信源编码定理信息率失真函数R(D)是满足保真度准则（D）时所必须具有的最小信息率，在进行信源压缩之类的处理时，R(D)就成为一个界限，不能让实际的信息率低于R(D)。把相关的结论用定理的形式给出，即限失真信源编码定理，又称为保真度准则下的信源编码定理，也就是通常所说的香农第三编码定理。本节中，我们将阐述相关定理，并且从数学上严格证明。为了简化问题，这里我们的讨论限于离散无记忆平稳信源，但是所述的定理可以推广到连续信源，有记忆信源等一般情况。定理的通俗形式如下：曰站闯铃表篡梳缴船侈芭骆佬拳殉甥噬覆乎宫达宰担适坞寻薯室写在蔷玉信息论与编

37、码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码定理定理5-3 ：设离散无记忆平稳信源的信息率失真函数为R(D)，只要满足RR(D)，并且失真度是有限的，当信源系列长度L足够长时，一定存在一种编码方法，其译码失真小于或等于D+，其中是任意小的正数；反过来，若RR(D)的情形称为正定理，RR(D)时，译码失真小于或等于D+的码肯定存在，但定理本身并未告知码的具体构造方法。一般来说，要找到满足条件的码，只能用优化的思路去寻求，迄今为止，尚无合适的系统编码方法来接近香农给出的界R(D)。反定理告诉我们，R0，有n长的序列对 满足：（5-26）（5-27）（5-28）（5-29）则称

38、 为失真失真典型序列典型序列或简称失真典型序列失真典型序列。樟酉苦未此挤菱谆情僳液甚增遣艇遮基追设衅吠符应澡礼座藻堰厅翘匙氓信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码序列信源的单个符号的失真度：（5-30）序列的联合概率等于单个符号联合概率累积结果=（5-31）所以，根据大数定律， 以概率（也称为依概率）收敛于单个随机变量的均值匿中体署只聊翅榜组悟躇嗽纯妻独稼篆卤城册樊避凰脾皱潞雄终扒滥罚受信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码引理引理5-1 : 设随机序列 和 ，它们各分量之间都是相互统计独立且同分布，并且满足 = 当

39、，则（5-32）引理引理5-2 ：对所有 ，有（5-33）香农第三定理证明中要用到下面一个有趣的不等式。引理引理5-3： 对于 ，有（5-34）说明：其中e为自然常数e=2.71828。组窥癸巫唯所驭狠斡耸窑心肤夺班陌闷饰糙袭拄腻闸牲剁容降矽阿狭栓签信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.4.2* 保真度准则下信源编码定理的证明定义了失真典型序列后，我们可以来证明信源编码定理，证明R(D)是在允许失真D的条件下信源的最大的信息传输率。且乱块钱陀曼抹怜共母豺泄射娄咽迈既登片婆吠禹碗励欺诚瓶变檀余佳冀信息论与编码信息率失真函数与限失真编码信息论与编码信息率失

40、真函数与限失真编码证明证明：设信源序列 是统计独立等同分布的随机序列，其 的概率分布为 。又设此单个符号信源的失真测度为 ，信源的率失真函数为 。设达到 的试验信道为 ，在这试验信道中 。现需证明，对于任意 时，存在一种信源符号的信息传输率为 的信源编码。其平均失真度小于或等于 。匙湿眨乾痊匙帧娘加玫近烬可搪辊尺敦桶稻霸胞由顾豌甩块暴知灌滔挤凿信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码对于某固定码书C和 0，我们将信源序列空间 中的信源序列 分成两大类型：（1）信源序列 ：在码书中存在一个码字 ，使其 。这是因为， 与 是构成失真典型序列对， 所以它们是密切相

41、关的，而且满足则得又因这些失真典型序列总体出现的概率接近等于1，所以这些失真典型序列对平均失真度的贡献最多等于（2）另一类信源序列 ：在码书中不存在一个码字 ，使 与 构成失真典型序列对。即 ， 。设这些序列总体出现的概率为 。因为每个信源序列最大的失真为 ，因此这类信源序列对平均失真的贡献最多的是 。因此，由 得（5-37）以上提到，为了让失真满足保真度准则，就需要 趋向于0。比滥豪听砒纺出往塔时目扫绍账妊龟舶匡泵谅脚躬宰袄砧锌清枫侠洼拦劲信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码 的计算：为了计算 ，我们设 为码 中至少有一个码字与信源序列 构成失真典型序

42、列对的所有信源序列 的集合，即（5-38）所以， 是由于 引起的，则（5-39）上式表示，所有不能用码字来描述的那些信源序列的概率对所有可能产生的随机码书进行统计平均，对上式（5-39）交换求和号。这样可以解释为，选择没有码字能描述信源序列的随机码书出现的概率对所有信源序列进行统计平均。则（5-40）定义函数（5-41）糖鉴啮跃平熏骋伐蓉酿迢咐轴便入炸暗肯酣癣蚁魏缨晒垛邦鸵茧伏诸页碎信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码码书C中的码字是在 空间中根据 的概率来随即地选取概率来随即地选取的。对于在 中随机选取的某个码字不与信源序列构成失真典型序列对的概率应等

43、于=（5-42）码书C中共有 个码字，而且是独立地、随机地选择的。因此，码书中没有码字能描述信源序列的随机码书的出现概率为（5-43）将上式代入式（5-40）得（5-44）运用引理5-2 得（5-45）代入式（5-44）得（5-46）剧打掂嫌蜗状跌留碴坯维较载患础哆淆援骤赐晕卜弄晒浓惟申岸磊衷肯凌信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码又根据引理5-3，将 中的n用 代替，x用 代替，y用 代替，得（5-47）代入式（5-46）得（5-48）观察上式（5-48）中最后一项 ，当选择 另若我们选取的试验信道 正好是使平均互信息达到 的试验信道，所以， 。因此，

44、当 ， 足够 小时， 时，最后一项趋于零。娇腊凹占失盎勃猪栅危功阿邹土凶成步拥宋狗锻雷武毒十橇颓呕记房谱茅信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码式（5-48）中前两项是联合概率分布为 的序列对 不是失真典型序列对的概率。由引理5-1得，当n足够大时 （5-49）所以，适当地选择 和 可使 尽可能地小。综上所述，对所有随机编码的码书C当 ，任意选取 ，只要选择 足够大，及适当小的 ，可使（5-50）因此，至少存在一种码书C，其码字个数 ，即信源符号的信息传输率 ，而码的平均失真度 。肿硅告堤涎诣墒购娜诉足宿乌院槛俗拙瘸们傣碍频砰神饿协禹炊幼渍羊厄信息论与编码

45、信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.4.3* 保真度准则下信源编码逆定理证明n逆定理是一种不可能的形式，显然我们直接去证明很难着手，对于这种结论，一般用反证法先假设其成立，然后得出矛盾来证明。屑谓靴汐缄署吠础枝称凑吮鼓荐酪钞邹扛袄艾碘歇逗鼻慢乳午喂秦程万岁信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码证明证明：假设存在一种信源编码 C，有 M 个码字， ，而且M个码字是从 空间中选取的序列 ，它能使得 。编码方法仍采用前面所述的方法，将所有信源序列 映射成码字 ，而使 。根据失真典型序列的定义， 与 是构成失真典型序列，所以她们是彼

46、此经常联合出现的序列对。而且又满 足 ，所以它们之间的失真 。这种编码方法可看成一种特殊的试验信道：（5-51）根据假设则在这个试验信道中，可得 又因在这信道中 =0，所以平均互信息（5-52）上式（5-52）中的不等式是因为在编码范围内，最多只有M个 ，所以 空间最大的熵值为 。又因为信源是离散无记忆信源，所以有（5-53）桃倚瞅棕秉呵拓胞锦潦咏径窄嗜赫抗挨儡烙劫座碗寐宁偏达栏悠钝迄缸就信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码设 以平均失真 再现，则必有又根据信息率失真函数的U型凸状性和单调递减性得（5-54）上式最后一项是根据离散无记忆平稳信源求得。因此

47、得或者这个结果与定理的假设相矛盾，所以逆定理成立。（5-55）洽裤放旗起脉浦巫绒耶琳验怠藐峙科晒竿朱斜凭褐淆炎隐荚偷雹钝撇蚤驯信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码 正如前面所述，保真度准则下的信源编码定理及其逆定理是有失真信源压缩理论基础。这两个定理证实了允许失真D确定后，总存在一种编码方法，使编码的信息传输率 ，那么编码的平均失真度将大于D。如果用二元码符号来进行编码的话，在允许一定量失真D的情况下，平均每个信源符号所需二元码符号的下限值就是R(D)。可见，从香农第三定理可知，R(D)确实是允许失真度为D的情况下信源信息压缩的下限值。比较香农第一定理和

48、第三定理可知，当信源给定后，无失真信源压缩的极限值是信源熵H(S)；而有失真信源压缩的极限值是信息率失真函数R(D)。在给定某D后，一般R(D) H(S)。 无失真信源编码可以看成是限失真编码的一种特例，根据我们对失真的正常定义，一般当输入和输出符号一一对应时，失真才为0，此时，R(0)=H(S)，可以通过限失真信源编码定理来证明无失真信源编码定理。5.5 限失真信源编码定理的实用意义娄唤净软裔黔缓庄孵喳诧饲钩焕冠弘漏村萄肛啃衰甚迢膳啊音篡框嘲缀品信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.5 限失真信源编码定理的实用意义 类似于无失真信源编码利用信源熵来衡

49、量编码的效率一样，信息率失真函数可以用来度量限失真编码在某一失真下编码的效率。信源的R(D)函数可以作为衡量各种压缩编码方法性能优劣的一种尺度。 但香农第三定理同样只给出了一个存在定理。至于如何寻找这种最佳压缩编码方法，定理中并没有给出。在实际应用中，该理论主要存在着几类问题。在实际应用中，该定理主要存在以下两大类问题：第一类问题是符合实际信源的R(D)函数的计算相当困难。（1）需要对实际信源的统计特性有确切的数学描述，即概率分布明确；（2）需要对符合主客观实际的失真给与正确的度量，否则不能求得符号主客观实际的R(D)函数。例如，通常采用均方误差来表示信源的平均失真度。但对于图像信源来说，均方

50、误差较小的编码方法，而人们视觉感到失真较大。所以，人们仍采用主观观察来评价编码方法的好坏。因此，如何定义符合主观和客观实际情况的失真测度就是件较困难的事。（3）即便对实际信源有了确切的数学描述，又有符合主客观实际情况的失真测度，而失真率函数R(D)的计算也还较困难。陵蚀陡逻丝侵弟慰屡笋雀兆滋撅力泉账锐寡推樟揭加苗寸素倾杀雪膏盂港信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码 第二类问题是即便求得了符合实际的信息率失真函数，还需研究采取何种实用的最佳编码方法才能达到极限值R(D)。目前，这两方面工作都有进展。尤其是对实际信源的各种压缩方法，如对语音信号、电视信号和遥

51、感图像等信源的各种压缩方法有了较大进展。第三类问题是信息率失真函数的求解是在给定试用信道的输入输出及其失真矩阵的情况下计算的，当输出的符号集未定的时候，我们不能确定到底怎么样的符号集才是最优的，即使得信息率失真函数值最低。5.5 限失真信源编码定理的实用意义涛舍磅雏杉怨匀凰字外尽枚惺爱花媒点蓄噪痛慑纸夏喝虚始右轰啄易欲手信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码n在信息论中，特别是信息熵中，许多时候将各个信源符号一视同仁地对待，但是实际上，各个符号有它们的语义和语用，在数值上是不同的。这当然带来相应的局限性，信息率失真函数中的失真度量，实际上可以认为是一个很好

52、的补充，用于弥补对于语义和语用度量的缺失，比如，阴天、晴天、大雨、中雨、小雨所代表的降雨量、阳光强弱是不一样的，且是有不同幅度差异的。现在信息率失真函数也用于度量损失和信息价值，实际上还可以做进一步的推广。5.5 限失真信源编码定理的实用意义羡档人糯乙陛渤潦焚窖来蕾漏蜒寨坚才陌攻新竿滥泌孰杖炕莎敦敢窝趣讳信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6 限失真信源编码限失真信源编码定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。但是它并没有告诉我们如何进

53、行编码可以达到这一极限值。一般情况下信源编码可分为离散信源编码，连续信源编码和相关信源编码三类。前两类编码方法主要讨论独立信源编码问题，后一类编码方法讨论非独立信源编码问题。离散信源可做到无失真编码，而连续信源则只能做到限失真信源编码，通常我们将限失真信源编码简称限失真编码。无失真编码和限失真编码本身也具有相通之处，有些方法和思想本质上可以同时用于限失真编码和无失真编码。 采用限失真编码采用的方法主要有矢量量化、预测编码和变换编码。嘎沁嘶腑宵圾希答隶菩韦馋各珍患筒封董剥催腹倪曳喜厉匙麻直秽凌较椅信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6 限失真信源编码n

54、5.6.1 矢量量化编码n5.6.2 预测编码n5.6.3 变换编码公桐引惺挣幌牌昌磋济腐倘威蚜帕藉愧梨勉既齿芍锰甚商芍肺花揽掘锻迂信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.1 矢量量化编码 量化(Quantization)就是把经过抽样得到的瞬时值将其幅度离散，即用一组规定的电平，把瞬时抽样值用最接近的电平值来表示。量化一般用于连续信源的编码，但是它也可以用于离散信源的编码。对小数、实数进行四舍五入，就是一个最为简单通俗的例子，比如通过四舍五入取整，会将区间1.5,2.5)的数值都量化为2。 按照量化级的划分方式分，有均匀量化（uniform qua

55、ntization）和非均匀量化。其中最为简单的是均匀量化，也称为线性量化，它将输入信号的取值域等间隔分割的量化。反之，则称为非均匀量化，其范围的划分不均匀，一般用类似指数的曲线进行量化。非均匀量化是针对均匀量化提出的，为了适应幅度大的输人信号，同时又要满足精度要求，就需要增加样本的位数。但是，对话音信号来说，大信号出现的机会并不多，增加的样本位数没有充分利用。为了克服这个不足，出现了非均匀量化的方法，这种方法也叫做非线性量化。非均匀量化的基本想法是，对输人信号进行量化时，大的输入信号（概率小的）采用大的量化间隔，小的输入信号采用小的量化间隔。这样就可以在满足精度要求的情况下，用较少的位数来表

56、示。声音数据还原时，采用相同的规则。常见的非均匀量化有A律和率等，它们的区别在于量化曲线不同。均匀量化的好处就是编解码的很容易，但要达到相同的信噪比占用的带宽要大。现代通讯系统中都用非均匀量化。圃逞志萌馏赫沫院进台惕砒土奖剿痕桅谤粳站值淳镐坪卡亩雾异鞍宪捉楚信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.1 矢量量化编码按照量化的维数分，量化分为标量量化(scalarquantization,SQ)和矢量量化(vector quantization,VQ).。标量量化是一维的量化，一个幅度值对应一个量化结果。而矢量量化是二维甚至多维的量化，两个或两个以上的幅

57、度值作为一个整体决定一个量化结果。以二维情况为例，两个幅度决定了平面上的一点。而这个平面事先按照概率已经划分为N个小区域，每个区域对应着一个输出结果。由输入确定的那一点落在了哪个区域内，矢量量化器就会输出那个区域对应的码字。无失真信源编码中我们可以看到，对单个符号进行相应信源编码的压缩效果比对序列进行信源编码的效果要差，类似地，矢量量化由于考虑将一个序列当做整体来看待，可以消除序列内部相关性的影响，一般会比标量量化效率更高。 矢量量化中码书的码字越多，维数越大，失真就越小。只要适当地选择码字数量，就能控制失真量不超过某一给定值，因此码书控制着矢量的大小。绒刑谍远捌聪啥獭夕喂豫淫烦盏浇睫惮陶垣等

58、方嘎棠蛾陵痒彭仓向壶册鱼信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.1 矢量量化编码实验证明，即使各信源符号相互独立，多维量化通常也可压缩信息率。因而矢量量化引起人们的兴趣而成为当前连续信源编码的一个热点。可是当维数较大时，矢量量化尚无解析方法，只能求助于数值计算；而且联合概率密度也不易测定，还需采用诸如训练序列的方法。一般来说，高维矢量的联合是很复杂的，虽已有不少方法，但其实现尚有不少困难，有待进一步研究。蔡狙虐赤月驰行鬼悲握虑纯杯桅汛鞠姥环拜购吮安退图忍怎钥恨兢缕坤雁信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.

59、2 预测编码n常用的解除相关性的措施是预测和变换，其实质都是进行序列的一种映射。一般来说，预测编码有可能完全解除序列的相关性，但必需确知序列的概率特性；变换编码一般只解除矢量内部的相关性，但它可有许多可供选择的变换方法，以适应不同的信源特性。下面介绍预测编码的一般理论与方法。自妇浮夏韵雍厉琴客撩煌签很育娥逸郊矾股驰室灼笼股馏傍忍酪艾沧错甫信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.2 预测编码n预测编码（prediction coding）是数据压缩三大经典技术(统计编码，预测编码，变换编码)之一，它是建立在信源数据相关性之上的，由信息理论可知，对于相关

60、性很强的信源，条件熵可远小于无条件熵，因此人们常采用尽量解除相关性的办法，使信源输出转化为独立序列，以利于进一步压缩码率。我们可以从预测这个名字上来理解预测编码，如果一个序列后面的符号由前面的若干个符号决定，我们可以认为前面的符号可以预测后面的符号，这样，我们只需要发送前面的符号，后面的符号完全可以预测出来。显而易见，这种可预测性是因为符号之间具有相关性。这是一种极端的情况，实际上，序列之间的相关性可能存在，但是它不足以完全决定后面的符号，可能只是能够减少后面符号的不确定性，此时从信息论的角度来说，前面的符号提供了后面符号的信息，利用这种相关性也可以进行预测。再举一个例子，一个单一的正弦波形，

61、一旦知道了一个周期之内的波形，就可以根据周期性重复这个波形来预测后面的波形。同样是这个例子，通过波形中的若干点可以确定整个波形，所以，我们可以利用这些点完全地预测后面各个位置的波形。榷斋蜕钧快涕冒驶刻沤样彬余冬啃鸟鉴洗杯挞磨澎诬憋麻忿祸羔阀功桓酋信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.2 预测编码n预测编码的基本思想是通过提取与每个信源符号有关的新信息，并对这些新信息进行编码来消除信源符号之间的相关性。实际中常用的新信息为信源符号的当前值与预测值的差值，这里正是由于信源符号间存在相关性，所以才使预测成为可能，对于独立信源，预测就没有可能。n预测的理论

62、基础主要是估计理论。所谓估计就是用实验数据组成一个统计量作为某一物理量的估值或预测值，若估值的数学期望等于原来的物理量，就称这种估计为无偏估计；若估值与原物理量之间的均方误差最小，就称之为最佳估计，基于这种方法进行预测，就称为最小均方误差预测，所以也就认为这种预测是最佳的。火略臼构我想婪捶删哨捡乔太褒虞凸螺镊肺拢砒隅慈胡筑利屈鞘害压拦精信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.2 预测编码n在具体的预测编码实现过程中，编码器和译码器都存贮有过去的信号值，并以此来预测或估计未来的信号值。在编码器发出的不是信源信号本身，而是信源信号与预测值之差；在译码端，

63、译码器将接收到的这一差值与译码器的预测值相加，从而恢复信号。n要实现最佳预测就是要找到计算预测值的预测函数。这个函数根据数据的相关性来决定。弦奸筒伯眼才诸患学磅歌市钵涩纱然齐重葱歌栈袋映滤卧缆固樱翌踢霹能信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.2 预测编码设有信源序列 ，k阶预测就是由 的前k个数据来预测 。可令预测值为：式中函数 是待定的预测函数。要使预测值具有最小均方误差，必须确知k个变量的联合概率密度函数 ，这在一般情况下较难得到，因而常用比较简单的线性预测方法。线性预测（linear prediction）是取预测函数为各已知信源符号的线性函

64、数，即取 的预测值为：（5-56）其中 为预测系数。最简单的预测是令，称为前值预测，常用的差值预测就属于这类。半斜毅防压助舍锐浅京细豹曾突显庚衔知拷铅京狞鸣勘格沉乔谚武壶嘱偶信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.2 预测编码利用预测值来编码的方法可分为两类：一类是对实际值与预测值之差进行编码，也叫差值预测编码；另一类方法是根据差值的大小，决定是否需传送该信源符号。例如，可规定某一阈值T，当差值小于T时可不传送，对于相关性很强的信源序列，常有很长一串符号的差值可以不传送，此时只需传送这串符号的个数，这样能大量压缩码率。这类方法一般是按信宿要求来设计的

65、，也就是压缩码率引起的失真应能满足信宿需求。实现预测编码要进一步考虑3个方面的问题：预测误差准则的选取，比如采用使预测误差的均方值达到最小作为准则，或者绝对误差均值最小等。 预测函数的选取； 预测器输入数据的选取。饼动绦眉冉外艇塞耪铲抿棵纱睫鞭程频招畏零娟突睡搬唇咳奄邪庆难额蝴信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.3 变换编码n预测编码认为冗余度是数据固有的，通过对信源建模来尽可能精确地预测源数据，去除数据的时间冗余度。但是冗余度有时与不同的表达方法也有很大的关系，变换编码是将原始数据“变换”到另一个更为紧凑的表示空间，去除数据的空间冗余度，可得到

66、比预测编码更高的数据压缩。n能量集中是指对N维矢量信号进行变换后，最大的方差见集中在前M个低次分量之中（MN）。负狄氮附疵柒但宋愤配哼鳃块喳跳旁拈睬跋拧川纪艾蓖矗枷辉淘沙德贩前信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.3 变换编码n变换编码（transform coding）的基本原理是将原来在空间(时间)域上描述的信号，通过一种数学变换(例如傅里叶变换等)，将信号变到变换域(例如频域等)中进行描述，在变换域中，变换系数之间的相关性常常显著下降，并常有能量集中于低频或低序系数区域的特点，这样就容易实现码率的压缩，并还可大大降低数据压缩的难度。眩访焙勉从

67、缺井蘸褪砚趣蝴惭雾静序卯绳者溜袍挎找废厚如眶脐未灰倪进信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码5.6.3 变换编码n高性能的变换编码方法不仅能使输出的压缩信源矢量中各分量之间的相关性大大减弱，而且使能量集中到少数几个分量上，在其他分量上数值很小，甚至为0。因此在对变换后的分量(系数)进行量化再编码时，因为在量化后等于0的系数可以不传送，因此在一定保真度准则下可达到压缩数据率的目的，量化参数的选取主要根据保真度要求或恢复信号的主观评价效果来确定。嚏舜镍建阿叠室痹胶菩僻泌球规觉襟凰辈妖拙庞湍驼捣剁阜达据骇容素酞信息论与编码信息率失真函数与限失真编码信息论与编码信

68、息率失真函数与限失真编码5.6.3 变换编码 下面我们首先介绍变换编码的基本原理，然后介绍变换编码中常用的几种变换。1.正交变换编码的基本原理设信源连续发出的两个信源符号s1与s2之间存在相关性，如果均为3比特量化，即它们各有八种可能的取值，那么s1与s2之间的相关特性可用图5-7表示。撕檀灭肆旱祝姜遥威期泰问撑蚤韭声熊送痒涂柴拄铱及肛遭蔼蕾暮传征昨信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码图5-7 s1与s2之间的相关特性图图5-7中的椭圆区域表示s1与s2相关程度较高的区域，此相关区关于s1轴和s2轴对称。显然如果s1与s2的相关性越强，则椭圆形状越扁长，

69、而且变量s1与s2幅度取值相等的可能性也越大，二者方差近似相等，即 。扦羔琅讽悍起打情茶畦蛮凿供终熊拉谣柬篡雾扩岭普密死卑径螺次戮儡棕信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码 如果我们将s1与s2的坐标轴逆时针旋转45，变成 平面，则椭圆区域的长轴落在 轴上，此时当取值变动较大时， 所受影响很小，说明与 之间的相关性大大减弱。同时由图5-7可以看出：随机变量 与 的能量分布也发生了很大的变化，在相关区域内的大部分点上 的方差均大于 的方差，即 。另外，由于点与坐标原点o的距离不变，所以坐标变换不会使总能量发生变化，所以有：=（5-57）由此可见，通过上述坐标

70、变换，使变换后得到的新变量 ， 呈现两个重要的特点：（1）变量间相关性大大减弱，如其中一个变化时，另外一个几乎不变;（2）能量更集中，即 ，且 小到几乎可忽略。这两个特点正是变换编码可以实现数据压缩的重要依据，即数据可以忽略。讶拽崎墒扮久铆多壤油欠陷沁塑渡块稠汁乔馋速囤要二缄拴鸵辟衫悯尝恢信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码上述坐标旋转对应的变换方程为：因为因此，坐标旋转变换矩阵是一个正交矩阵，由正交矩阵决定的变换称为正交变换。 进行正交变换的目的是使得变换后的各个分量相互独立。按照均方误差最小准则来计算相关参数，如，得到的一种正交变换叫做K-L变换，不

71、过使用KL变换需要知道信源的协方差矩阵，再求出协方差矩阵的特征值和特征矢量，然后据此构造正交变换矩阵；但求特征值和特征矢量是相当困难的，特别是在高维信源情况下，甚至求不出来。即使借助于计算机求解，也难于满足实时处理的要求。咀亨钉炒狐晓舶挝你寄徒敝下酶瞻堰钾夯盐屑宋虚亭磐掐棵条靴沏禹硼华信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码K-L变换具有如下特性：（1）去相关特性。K-L变换是变换后的矢量信号Y的分量互不相关。（2）使得能量集中于个别分量中。（3）最佳特性。K-L变换是在均方误差测度下，失真最小的一种变换，其失真为被略去的各分量之和。由于这一特性，K-L变换

72、被称为最佳变换。许多其他变换都将K-L变换作为性能上比较的参考标准。除了用于数据压缩，利用K-L变换还可以进行人脸图象识别和人脸图象合成。这些功能与K-L变换的冗余控制能力和提取关键的信息的能力显然是相关的。人脸图象识别步骤简述为：首先搜集要识别的人的人脸图像，建立人脸图像库，然后利用K-L变换确定相应的人脸基图像，再反过来用这些基图像对人脸图像库中的有人脸图像进行K-L变换，从而得到每幅图像的参数向量并将每幅图的参数向量存起来。在识别时，先对一张所输入的脸图像进行必要的规范化，再进行K-L变换分析，得到其参数向量。将这个参数向量与库中每幅图的参数向量进行比较，找到最相似的参数向量，也就等于找

73、到最相似的人脸，从而认为所输入的人脸图像就是库内该人的一张人脸，完成了识别过程。类似地，人脸图象合成中，比如人脸表情图像合成中可以通过有目的的控制各个分量的比例，也就是通过调整参数向量，可以将一幅不带表情图像改变成带各种表情的图像。惮饰晕剩英烁酶焰眩锁翁秩未同恰务镐哨茎屁矫免缸平耶孜堵洁陡弯斡馏信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码2.离散余弦变换 由于KL变换没有快速求解方法，且变换矩阵随不同的信号样值集合而不同，所以人们又找出了各种实用化程度较高的变换，如离散傅里叶变换(DFT)，离散余弦变换（Discrete Cosine Transform，DCT

74、），沃尔什变换(WHT)等等，其中性能较接近KL变换的是离散余弦变换(DCT)，在某些情况下，DCT能获得与KL变换相同的性能，因此DCT也被称为准最佳变换。DCT是根据DFT的不足，按实际需要而构造的一种实数域的变换，由于DCT源于DFT，这里我们先讨论DFT。侯遍鹊倦沦扰赘副缮菏胺损菌卢硷诫召僚抨溯纬痹往条闭簿箕窑党肋胃萝信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码 DFT是一种常见的正交变换，在数字信号处理中得到广泛应用，离散傅里叶变换对定义为： 设长度为的离散序列为 ，DFT定义为：正变换反变换其中：将正变换写成矩阵形式：其中：T为离散傅里叶变换的变换矩

75、阵。（5-58）豁履杨神乌暑樊瓷拐宠巍镍团豪竣乙颓葫美泊源七渐妖滁来躲液家伤萍面信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码 虽然DFT为频谱分析提供了有力的工具，但是通常DFT是复数域的运算，尽管有快速傅里叶变换(FFT)，在实际应用中仍有许多不便。如果将一个实函数对称延拓成一个实偶函数，由于实偶函数的傅里叶变换也是实偶函数，只含有余弦项，因此构造了一种实数域的变换，即离散余弦变换。设长度为N的离散序列为 ，其DCT正变换和逆变换分别定义为：正变换反变换其中将正变换写成矩阵形式：（5-59）其中：彤酬野征聂言琉肉坪骨冗劲拧甥粟邵皖圆咋带毕毯铱烟赠咏钵胆熄贵劈铬

76、信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码沟汹匀拖毒惊蜘档侗辫汤妻损框蟹捆红鞭拇畔菲电蹋粹眨寺仗扶拾鸳绑索信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码3.沃尔什-哈达玛变换 离散沃尔什-哈达玛变换(WHT)，其变换矩阵是由+1和-1组成的，因此在变换过程中只有加法和减法，计算速度快而且易于用硬件实现。设长度为N的离散序列为 ，当 时，WHT正、反变换对定义为：正变换反变换 其中指数上的求和是以2为模的， 是D的二进制表达式中的第i位的取值，例如当n=3时，对 ，有。跃询蚕帖稍凭奉诌外贞钮错全卓惶戮痰雅符伤兼棠域田腹娇嘱狂发霹媚时

77、信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码 比较可知，WHT正变换和反变换只差一个常数项，所以用于正变换的算法也可用于反变换，这使得WHT的使用非常方便。 以上只是讨论变换的方法，一般一个完整的变换编码系统框图如下图5-8所示： 图5-8 完整的变换编码系统框图掣三子妈餐蚂芥早腊担串眷腰繁菱柱灿惠哄衍献和霖潘搓趴馆铲禹丁炯矫信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码n许多信号变换方法都可用于变换编码。需要注意的是数据的压缩并不是在变换步骤取得的，而是在量化变换系数时取得的，因为在实际编码时，对应于方差很小的分量，往往可以不传送

78、，从而使数据得到压缩。对某一个给定的编码应用，如何选择变换取决于可容许的重建误差和计算要求。囊碗凉眠夹褂芋靖羚厕钝躺寐退丘盒刽主益梆或版姥玻脉欺膏铬薪绩膜惩信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码 变换具有将信号能量集中于某些系数的能力，不同的变换信号能量集中的能力不同。对常用的变换而言，DCT比DFT和WHT有更强的信息集中能力。从理论上说，KL变换是所有变换中信息集中能力最优的变换，但KL变换的变换矩阵与输入数据有关，所以不太实用。实际中用的变换其变换矩阵都与输入数据无关，在这些变换中，非正弦类变换(如WHT)实现起来相对简单，但正弦类变换(如DFT和D

79、CT)更接近KLT的信息集中能力。DCT的变换矩阵的基矢量近似于托伯利兹(Toeplitz)矩阵的特征矢量。由于托伯利兹矩阵能体现人类语音和图像信号的相关特性，因此，对于大多数相关性很强的图像数据，DCT是KLT目前最好的替代，所以称DCT为次最优正交变换。从变换后的能量集中程度的优劣来看，各种正交变换的由优至劣的顺序为：KLTDCTSLTDFTWHTHRT若从运算量的大小，它们由小到大的顺序依次为： HRTWHTSLTDCTDFTKLT规箕陨裤偷净塞秉煎纵卉恢甩吃流焦嫌倪功常酿印鉴获焕坞鼻焚落简金喉信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码近年来，由于DCT

80、的信息集中能力和计算复杂性综合得比较好，而得到了较多的应用，DCT已被设计在单个集成块上。另外，近年来得到广泛研究和应用的一些编码方法(例如子带编码，小波变换编码，分形编码等)也直接或间接地与变换编码相关，在实际应用中，需要根据信源特性来选择变换方法以达到解除相关性，压缩码率的目的。另外还可以根据一些参数来比较各种变换方法间的性能优劣，如反映编码效率的编码增益，反映编码质量的块效应系数等。当信源的统计特性很难确知时，可用各种变换分别对信源进行变换编码，然后用实验或计算机仿真来计算这些参数，从而选择合适的编码。营抹旅透牲妒秃鸿畏韩队该决感投诉迁创来亏且锭虹巡抡椽前事迎陶斗钠信息论与编码信息率失真函数与限失真编码信息论与编码信息率失真函数与限失真编码我们致力于使得本书上达思想与方法，下及实现与应用，但是力所不及，欢迎多提宝贵意见至http:/