第五章_信源编码PPT课件

《第五章_信源编码PPT课件》由会员分享，可在线阅读，更多相关《第五章_信源编码PPT课件（121页珍藏版）》请在金锄头文库上搜索。

1、第5章：信源编码2024/7/251信息传输需要解决的两个问题：在不失真或允许一定失真的条件下，如何用尽可能少的信息率来传送信源信息？在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大？有效性和可靠性提高抗干扰能力（降低失真或错误概率）往往是以降低信息传输率为代价的；反之，要提高信息传输率常常又会使抗干扰能力减弱。信源编码信源编码信道编码信道编码2024/7/252第五章第五章 信源编码信源编码一、信源编码的目的一、信源编码的目的信源消息存在冗余度。原因是信源符号之间存在概率分布不均匀和相关性。信源编码的主要任务就是减少冗余，提高编码效率。信源编码是以提高通信的有效性为目

2、的编码，通常通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。同样多的信息用较少的码字来传送，使单位时间内传送的平均信息量增加，从而提高通信的有效性。2024/7/253针对信源输出符号序列的统计特性，寻找一定的方法把信源输出符号序列变换为最短的码字序列。二、信源编码的基本途径二、信源编码的基本途径n解除相关性：使序列中的各个符号尽可能地互相独立n概率均匀化：使编码中各个符号出现的概率尽可能地相等2024/7/2545三、信源编码的分类三、信源编码的分类信源编码的基础是信息论中的两个编码定理：无失真编码定理限失真编码定理无失真编码编码对象：离散信源编码特点：

3、信源符号编码后可以无失真地恢复。限失真编码编码对象：离散/连续信源编码特点：编成代码后就无法无失真地恢复原来的值，只能根据限失真编码定理进行限失真编码。2024/7/252024/7/256四、信源编码四、信源编码的定义的定义通过编码器使适合信道传输的符号序列（码序列）来代表信源输出的消息。输入端为原始信源输入端为原始信源X X=(=(X X1 1 X X2 2X Xl lX XL L) )，其符号集为，其符号集为A A，即，即X Xl la a1 1, , a a2 2, ,a ai i, ,a an n 信道所能传输的符号集B=b1,b2,bj,bm编码器的功能是用符号集B中的元素，将原始

4、信源的符号序列Xi变换为相应的码序列Yj=(Y1Y2YjYK)编码器编码器编码器编码器L L长序列长序列长序列长序列K K长码字长码字长码字长码字2024/7/257五、相关名词解释五、相关名词解释码字：码长：码元：码：编码：编码器编码器编码器编码器L L长序列长序列长序列长序列K K长码字长码字长码字长码字变换后的各个变换后的各个符号序列符号序列Y Yj j码字码字Y Yj j的长度（符号数）的长度（符号数）K K组成码字组成码字Y Yj j的各位代码符号的各位代码符号b bj j所有码字的集合所有码字的集合全部全部X Xi iY Yj j的映射关系的映射关系2024/7/258六、码的分类

5、六、码的分类定长码和变长码定长码：所有码字的长度都相同变长码：可变长度码，码中的码字长短不一信源符号信源符号信源符号信源符号 信源符号信源符号信源符号信源符号出现概率出现概率出现概率出现概率 码码码码 表表表表 码码码码0 0码码码码1 1码码码码2 2码码码码3 3码码码码4 4x x1 1p p( (x x1 1)=1/2)=1/200000 00 01 11 1x x2 2p p( (x x2 2)=1/4)=1/401011111101010100101x x3 3p p( (x x3 3)=1/8)=1/8101000000000100100001001x x4 4p p( (x x

6、4 4)=1/8)=1/811111111010110001000000100012024/7/259六、码的分类六、码的分类奇异码和非奇异码奇异码：信源符号与码字非一一对应。如码1非奇异码：信源符号和码字一一对应，所有码字都不相同。唯一可译码与非唯一可译码任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码。奇异码不是唯一可译码，而非奇异码中有非唯一可译码（如码2）和唯一可译码（如码3）。2024/7/2510六、码的分类六、码的分类非即时码和即时码非即时码：指接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码。如码3即时码：无须考虑后

7、续的码符号，即可从码元序列中译出码字。如码4唯一可译码成为即时码的充分条件是：其中任何一个码字都不是其他码字的前缀。2024/7/2511六、码的分类六、码的分类码码码码奇异码奇异码奇异码奇异码 非奇异码非奇异码非奇异码非奇异码 非唯一可译码非唯一可译码非唯一可译码非唯一可译码 唯一可译码唯一可译码唯一可译码唯一可译码非即时码非即时码非即时码非即时码 即时码（非延长码）即时码（非延长码）即时码（非延长码）即时码（非延长码） 所有的码所有的码所有的码所有的码非奇异码非奇异码非奇异码非奇异码唯一可译码唯一可译码唯一可译码唯一可译码即时码即时码即时码即时码非分组码非分组码非分组码非分组码 分组码分组

8、码分组码分组码5.1.45.1.4 赫夫曼编码赫夫曼编码5.1.35.1.3 费诺编码费诺编码5.1.55.1.5 游程编码游程编码5.1.65.1.6 冗余位编码冗余位编码5.1.1 5.1.1 码字唯一可译的条件码字唯一可译的条件5.1.25.1.2 香农编码香农编码2024/7/2513一、码树一、码树（一）码树用来表示各码字的构成。A0100000000000011111111111树根树根树根树根码字的起点码字的起点码字的起点码字的起点 分成分成分成分成r r r r个树枝个树枝个树枝个树枝码的进制数码的进制数码的进制数码的进制数中间节点中间节点中间节点中间节点生出树枝生出树枝生出树

9、枝生出树枝终节点终节点终节点终节点编码结束编码结束编码结束编码结束012000001111122222002100215.1离散信源编码5.1.1码字唯一可译的条件14（二）码树（二）码树与码字对应与码字对应关系关系树根树枝数节点终端节点节数非满树满树码字的起点码的进制数码字或码字的一部分码字码长变长码等长码2024/7/2515（三）码树与编码关系（三）码树与编码关系m进制码树对应m进制编码每个终节点对应的码字由从根节点出发到终节点走过的路径上所对应的符号组成，为即时码当第n级节点作为终端节点，且分配码字，则码字的码长为nq个终端节点对应q个不同码字码树的各个分支都延伸到最后一级端点，则称为

10、满树，否则为非满树，满树码是定长码，非满树码是变长码满树：m进制码数除终节点外每个节点都伸出m个树枝，此时，n级码树可以提供个码字。2024/7/2516二、码字唯一可译的充分必要条件二、码字唯一可译的充分必要条件克拉夫特不等式唯一可译码存在的充分和必要条件为：各码字的长度Ki（i=1,2,n）应满足下式。m是进制数。注意：克拉夫特不等式只是说明唯一可译码是否存在，并不能作为唯一可译码的判据。判断以下码字是否唯一可译？例5.1.12024/7/25172024/7/2518三、无三、无失真信源编码失真信源编码变换要求变换要求能够无失真或无差错地从Y恢复X，也就是能正确地进行反变换或译码传送Y时

11、所需要的信息率最小（一）定长编码定理1、研究对象：离散无记忆信源2、条件：p在定长编码中，各码字的码长相等，即K为定值。p唯一可译码p对于m元码，最多有mK种可能的码字。2024/7/2519（一）定（一）定长长编码定理编码定理内容内容定长编码定理：由：由L个符号组成的、每个符号的熵为个符号组成的、每个符号的熵为H (X)的无记忆的无记忆平稳信源符号序列符号序列X1X2XlXL，可，可用用K个符号个符号Y1, Y2, Yk,YK（每个符号有（每个符号有m种可能值）种可能值）进行定长编码。进行定长编码。对任意0，0，只要则当L足够大时，必可使译码差错小于；反之，当时，译码差错一定是有限值，而当L

12、足够大时，译码几乎必定出错。2024/7/2520（一）定（一）定长长编码定理编码定理分析分析L L长信源序列携长信源序列携长信源序列携长信源序列携带的信息量带的信息量带的信息量带的信息量为离散无记忆信源平均每个符号的信源熵，为编码后发送一个信源符号所需的平均信息量。只要，这种编码器一定可以做到几乎无失真，也就是收端的译码差错概率接近于零，条件是所取的符号数L足够大。定理的条件可以改写为定理的条件可以改写为K K长码字所能携长码字所能携长码字所能携长码字所能携带的最大信息带的最大信息带的最大信息带的最大信息2024/7/2521（一）定（一）定长长编码定理编码定理分析分析定理表明：定理表明：只

13、要码字所能携带的信息量大于信源序列输出的信息量，则可以使传输几乎无失真，条件是L足够大。反之，当时，不可能构成无失真的编码，也就是不可能做一种编码器，能使收端译码时差错概率趋于零。时，则为临界状态，可能无失真，也可能有失真。可以证明当信源序列长度L满足时，译码差错率一定小于任意整数，能够满足差错率要求。最佳编码效率2024/7/2522（一）定长编码定理（一）定长编码定理- -例题例题例：设离散无记忆信源概率空间为信源熵为自信息方差2024/7/2523要求编码效率为90%，则要求译码错误概率，得说明：在对编码效率和译码错误概率要求不十分苛刻的情况下，仍然需要对非常大数量的信源符号同时编码，对

14、存储或处理技术要求太高。2024/7/2524（二）变（二）变长编码定理长编码定理1、特点：在变长编码中，码长K是变化的。2、方法：我们可根据信源各个符号的统计特性，概率大的符号用短码，概率小的用较长的码，这样在大量信源符号编成码后平均每个信源符号所需的输出符号数就可以降低，从而提高编码效率。3、变长编码定理：对离散无记忆信源，消息长度为L，符号熵为H(X),对信源进行m元变长编码，一定存在无失真的信源编码方法满足：其码字平均长度 K K满足：其码字平均信息率R2024/7/2525（二）变长编码定理（二）变长编码定理 信信信信息息息息率率率率指指指指每每每每个个个个符符符符号号号号能能能能够

15、够够够容容容容纳纳纳纳的的的的信信信信息息息息量量量量。或或或或单单单单位位位位时时时时间间间间内内内内每每每每个个个个符符符符号号号号能能能能够够够够容容容容纳纳纳纳的的的的信信信信息息息息量量量量。 2024/7/2526（二）变（二）变长编码定理长编码定理4、编码效率：5.1.2香农编码2024/7/2527一、香农第一定理（可变长无失真信源编码定理）对离散无记忆信源，消息长度为L，符号熵为H(X),对信源进行m元变长编码，一定存在无失真的信源编码方法满足：其码字平均长度 K K香农第一定理指出了平均码长与信源之间的关系，同时也指出了可以通过编码使平均码长达到极限值。香农第一定理指出，选

16、择每个码字的长度Ki满足就可以得到这种码。相应的编码方法称为香农编码。2024/7/2528二、香二、香农编码步骤农编码步骤1.将信源消息符号按其出现的概率从大到小顺序依次排列2.令P(a0)=0，为了编成唯一可译码，计算第i个消息的累加概率3.确定满足下列不等式的整数码长Ki4.将累加概率Pa(aj)变换成二进制数5.取小数点后Ki位为符号ai的码字例例设有一单符号离散无记忆信源设有一单符号离散无记忆信源试对该信源编二进制香农码。试对该信源编二进制香农码。2024/7/2529a2a3a1a5a4a600.250.50.70.850.950.250.250.20.150.10.0500011

17、00101110111110223345pa(aj)ki码字编码过程：编码过程：2024/7/25302024/7/25315.1.3费诺编码2024/7/2532一、编码过程如下：1.将信源消息符号按其出现的概率大小依次排列p(a1)p(a2)p(an)2.按编码进制数将概率分组，使每组概率和尽可能接近或相等，如编二进制码就分成两组，编m进制码就分成m组。3.为每一组分配一位码元0、1、2，二进制码分配二进制码元0或1。4.将每一大组信源符号进一步再分组，二进制分为两组，使划分后的组的概率之和近于相同，并又赋予两个组二进制符号0,15.如此重复步骤，直至每组只剩下一个信源符号为止。6.信源符

18、号所对应的码字即为费诺码。设有一单符号离散无记忆信源设有一单符号离散无记忆信源试对该信源编二进制费诺码。试对该信源编二进制费诺码。例例2024/7/2533编码过程编码过程2024/7/2534可以看出本例中费诺码有较高的编码效率。费诺码比较适合于每次分组概率都很接近的信源。2024/7/2535树图树图：2024/7/25365.1.4赫夫曼编码2024/7/2537赫夫曼编码的步骤1.将信源消息符号按其出现的概率从大到小依次排列p(a1)p(a2)p(an)2.给两个概率最小的信源符号p(an-1)和p(an)各分配一个码位0和1，并将这两个概率相加作为一个新符号的概率，结果得到一个只包含

19、n-1个信源符号的新信源，称为信源的第一次缩减信源，用s1表示。3.将缩减信源s1的符号重新排队，仍按照概率从大到小的顺序排队，重复步骤2，得到只含n-2个符号的缩减信源s2。4.不断继续上述过程，直到缩减信源只剩两个符号配以0和1为止。此时所剩两个符号的概率之和必为1.5.从最后一级开始，向前返回得到各个信源符号所对应的码元序列，就得到各信源符号对应的码字。设有一单符号离散无记忆信源设有一单符号离散无记忆信源试对该信源编二进制赫夫曼码。试对该信源编二进制赫夫曼码。例例2024/7/2538编码过程编码过程2024/7/25392024/7/25402024/7/2541二、说明：二、说明：2

20、024/7/2542比较而言，与香农编码、费诺编码相比，赫夫曼编码传输所需的平均码字长度更短，平均传输速率更高。赫夫曼的编法并不惟一每次对信源缩减时，给两个概率最小的符号分配“0”和“1”是任意的，所以可得到不同的码字。不同的码元分配，得到的具体码字不同。缩减信源时，若合并后的新符号概率与其他符号概率相等，从编码方法上来说，这几个符号的次序可任意排列，由此编出的码都是正确的，而得到的码字却不相同。不同的编码方法得到的码长Ki不尽相同。对信源进行缩减时，两个概率最小的符号合并后的概率与其它信源符号的概率相同时，这两者在缩减信源中进行概率排序，其位置放置次序是可以任意的，故会得到不同的赫夫曼码。此

21、时将影响码字的长度，一般将合并的概率放在上面，这样可获得较小的码方差。如下面的例子2024/7/2543例例 设有离散无记忆信源设有离散无记忆信源用两种不同的方法对其编二进制用两种不同的方法对其编二进制huffmanhuffman码码2024/7/2544方法一方法一方法二方法二2024/7/2545信源符号信源符号ai概率概率p(ai)码字码字Wi1码长码长Ki1码字码字Wi2码长码长Ki2a10.41 1002a20.2012102a30.20003112a40.1001040103a50.1001140113两种不同的编码方法得到的码字和码长的对比两种不同的编码方法得到的码字和码长的对比

22、2024/7/2546平均码长和编码效率平均码长和编码效率2024/7/2547两种编码方法编出的码字的码长方差比较两种编码方法编出的码字的码长方差比较2024/7/2548可以看出第二种编码方法的码长方差要小许多。这意味着第二种编码方法的码长变化较小，比较接近平均码长。由此可以得到一个结论(怎样得到码方差较小的huffman编码)。2024/7/2549结论：进行赫夫曼编码时，为得到码方差最小的码，应使合并的信源符号位于缩减信源序列尽可能高的位置上，充分利用短码。哈夫曼编码的特点：保证了概率小的符号对应于长码，概率大的符号对应于短码，充分利用了短码。缩减信源的最后两个码字的最后一位不同，保证

23、了赫夫曼码是即时码。5.1.5游程编码前面的几种编码方法主要是针对无记忆信源，对有记忆信源，这些编码方法的效率并不高，特别是对二元相关信源，需要一些其它的方法。游程编码就是这样的方法，对相关信源的编码更有效。指数字序列中连续出现相同符号的一段。在二元信源中，连续的一段0称为一个0游程，0的个数称为此游程的长度，同样，也有1游程。2024/7/2550游程2024/7/2551游程编码将这种符号序列映射成游程长度和对应符号序列的位置的标志序列。如果知道了游程长度和对应符号序列的位置的标志序列，就可以完全恢复出原来的符号序列。用交替出现的0游程、1游程的长度，来表示任意二元序列而产生的一个新序列。

24、它和二元序列是一个一一对应的变换。游程（长度）序列2024/7/2552游程编码游程编码二元序列的游程连续出现“0”，称为“0”游程，游程长度表示为。连续出现“1”，称为“1”游程，游程长度表示为。若规定二元序列总是从“0”开始，第一个游程是“0”游程，则第二个游程必为“1”游程，第三个又是“0”游程对于随机序列，游程长度是随机的，其取值可为1,2,3,，直至无穷。用交替出现的“0”游程和“1”游程长度表示任意二元序列，称为游程（长度）序列。一种一一对应的变换，是可逆变换。二元序列：000101110010001游程序列：31132131若已知若已知二元序列以以0 0起始，从游程序列很容易起始

25、，从游程序列很容易恢复成原来的二元序列恢复成原来的二元序列 游程序列是多元序列，各长度可按游程序列是多元序列，各长度可按赫夫曼编码或其它方法处理以达到压缩码率的目的。或其它方法处理以达到压缩码率的目的。 2024/7/2553首先测定“0”游程长度和“1”游程长度的概率分布，即以游程长度为元素，构造一个新的信源。对新的信源(游程序列)进行赫夫曼编码。2024/7/2554游程编码游程编码多元序列游程多元序列也可以变换成游程序列，如m元序列可有m元游程。但是变换成游程序列时，需要增加标志位才能区分游程序列中的“长度”是m种游程中的哪一个的长度，否则，变换就不可逆。增加的标志位可能会抵消压缩编码得

26、到的好处。所以，对多元序列进行游程变换的意义不大。5.1.6冗余位编码2024/7/2555在语音通信中，讲话的间歇；图像通信中，图像的背景基本不变，并在图像中占相当大一部分。这些符号称为冗余位。它们所占的时长对正确表达信源是必须的，但没必要全部传送，如果能去掉一部分，将会提高通信效率。n冗余位编码游程编码在多元信源的应用。冗余位信源序列中不携带信息的符号。多元信源序列：冗余位冗余位上面二元1表示信息位，0表示冗余位2024/7/25562024/7/2557 前一个二元序列中的“1”代表信息位，“0”代表冗余位；连“1”和连“0”的个数分别代表信息位和冗余位的长度。后一序列是删除了所有的冗余

27、位而只把信息位排在一起。 有一种典型的分帧传送是由林奇(Lynch)和达维森(Davission)分别独立提出的，简称L-D编码。L-D编码是一种分帧传送冗余位序列的方法。冗余位序列游程编码信息序列赫夫曼编码nL-D编码：是一种分帧传送冗余位序列的方法。即在冗余位序列中取N个符号作为一帧，编成一个码字，码字中含有信息位的数目和位置信息，在接收端依据这些信息进行译码。nL-D编码中的每个码字传送两个数：Q和T冗余位编码L L- -D D编码编码n接收端收到Q和T后，按下列方法译码：冗余位编码例例001000000010000，N=15,编L-D码。编码。编码位数：Q的位数的位数T的位数的位数12

28、024/7/2560T=47。、计算出00100101111译码。T=47适用适用：冗余位和信息位数目相差较 大的情况。22024/7/25615.1 5.1 离散信源编码离散信源编码 5.2 5.2 连续信源编码连续信源编码 5.3 5.3 相关信源编码相关信源编码 5.4 5.4 变换编码变换编码2024/7/2562对于连续信源输出的消息，首先要在时间上进行采样，然后在取值上进行量化并进而编码。 连续信源编码属于限失真编码，根据保真度准则下的信源编码定理，其编码效率受限于信息率失真函数 。 在符合采样定理的条件下，采样所带来的信息失真可以忽略不计。 量化是用值域上有限个称为量化值中的一个

29、来代替信号值，量化必然带来误差；如果量化后采用无失真编码，那么连续信源编码中的信息失真就都来自量化过程。 5.2 连续信源编码连续信源编码2024/7/2563量化有多种方法：量化有多种方法：一种是将各个采样时刻的信号值逐个进行量化，称为标量量化；另一种是将个采样时刻的信号值组成一组，将其看作一个维矢量，将这些维矢量逐个进行量化，称为矢量量化。 脉冲编码调制（PCM，pulse code modulation）是研究最早、使用最广的一种最佳标量量化编码。 PCMPCM的编码原理：的编码原理：采样采样量化、编码量化、编码x(iTs) x(t) C(iTs) 5.2.1 最佳标量量化最佳标量量化2

30、024/7/2564模拟信号 经过采样，成为时间离散的信号序列 ；将各个采样时刻的信号值逐个量化、编码，得到与取值也是离散的信号量化值序 列 相对应的二进制编码序列 。 由于每个采样时刻的量化、编码过程相同，为方便，我们可去掉时标。将量化、编码的输入信号值记为 ，量化、编码中的信号量化值记为 ，量化、编码的编码输出记为 。 一、均匀量化一、均匀量化 2024/7/2565均匀量化是指在整个量化范围内的量化间隔都是相等的，均匀量化也称为线性量化，均匀量化的特性：其中，(a)为中平量化，(b)为中升量化，主要以有无零量化值来加以区别。 x1x2x3x4xq1xq2xq3xq4x1x2x3x4xq1

31、xq2xq3xq4(a)(b)2024/7/2566以中平量化为例讨论均匀量化，引入四舍五入原则的中平量化特性 ：x1x2x3x4xq1xq2xq3xq4由于均匀量化正反两个方向的对称性，可以将其分为极性判断和信号绝对值量化两个步骤。2024/7/2567由于归一化信号绝对值满足 ，如果信号绝对值的量化数目为 ，取 ， ，则量化间隔 ，相应 。 当信号绝对值 及 时，将其量化为 ；当信号绝对值 时，将其量化为 。 量化后，最常用的编码是定长折叠二进制码，其码元安排为：最高位为极性码，用以表示信号极性，当信号值 时，极性码取1； 时，极性码取0。次高位以下为量化码，用以表示 的量化值 。 202

32、4/7/2568当 的量化间隔为 时，码长 。在编码电路或编码程序中，一般编码过程是：(1)对信号值进行极性判断，确定极性码；(2)通过信号绝对值与量化码各位权值组合的逐次比较，确定量化码；(3)将极性码和量化码组合起来，得到均匀量化编码。 【例5.2.1】已知某一采样时刻的归一化信号值 ，设量化间隔 ，求其均匀量化编码。 确定码长： ； 确定极性码：由于信号值 ，所以极性码 ； 2024/7/2569确定量化码：确定量化码：信号绝对值与量化码最高位权值比较，由于 ，所以 ；与量化码最高位和次高位权值之和比较，由于 ，所 以 ；与量化码最高位和最低位权值之和比较，由 于 ，所以 ；故量化码 ；

33、将其组合，归一化信号值 的均匀量化编码为量化值与信号值之间由于四舍五入而产生的量化误差一般也称为量化噪声。 2024/7/2570量化噪声与信号值一样，也是随机变量，记为例如，例6.2.1的量化噪声 。 均匀量化的量化噪声 。 如果我们采用平方误差失真函数 ，则量化噪声直接反映了信息失真的程度；根据限失真编码的要求就可以决定均匀量化的量化噪声水平。 二、非均匀量化二、非均匀量化 只要在量化范围内的量化间隔不完全相等，就将其称为非均匀量化；非均匀量化也叫做非线性量化。 2024/7/2571采用压扩技术的非线性量化原理： 均匀量化、编码均匀量化、编码x信道信道译码译码f(x)C在发送端，信号值首

34、先通过一个电路或程序进行压缩，然后再进行均匀量化、编码；而在接收端，译码后也需通过一个电路或程序进行扩张；只要压缩和扩张特性相互补偿，压扩过程就不会引入新的信息失真。 以语音信号为例，了解非线性量化的主要概念和方法。 目前，在语音信号的非线性量化编码中，采用了两种压缩特性：一种称为 律特性，另一种称为 律特性。 2024/7/2572欧洲和中国大陆等地的数字电话通信中采用的 律特性：式中：x为归一化信号值，当 时函数取正，否则取负，一般取 。 为实现方便，大多采用13折线来逼近 律特性。 量化范围的13折线 律特性：2024/7/25731f(x)7/86/85/84/83/82/81/801

35、1/21/41/8x 划分为8个不均匀的段落：其中第8段占 量化范围的 ，除第1段外，其余各段的宽度均按倍率 减小，即第7段占 ，第6段占 ，第2段占 ；第1段也占 。 每个段落再均匀地分为16份，每一份作为一个量化间隔。 2024/7/2574这样， 量化范围内共划分出了 个不均匀的量化间隔；如果将最小的量化间隔记为 ，则 ，相应最大的量化间隔为 。 13折线 律非均匀量化编码也采用定长折叠二进制码，并将码长确定为8位；其8位码元安排如下：最高位 为极性码，用以表示信号极性，其准则与均匀量化相同；以下三位 为段落码，用以表示 落在正方向的第几个段落；最后四位 为段内码，用以表示 在段内落在第

36、几个量化间隔。 2024/7/2575在编码电路或编码程序中，13折线 律非均匀量化编码过程是：(1)对信号值进行极性判断，确定极性码 ；(2)通过段落码起始量化值的中位搜索，确定段落码 ；(3)信号绝对值与所确定段落起始量化值之差通过与段内码各位权值组合的逐次比较，确定段内码 ；(4)组合起来即得到13折线 律非线性量化编码。 由于每个段落的宽度不同，每个段落内段内码各位的权值也不同。 2024/7/2576【例5.2.2】已知某一采样时刻的归一化信号值 求其13折线 律非均匀量化编码。 确定极性码 ，由于信号值 ， ； 确定段落码 ：取第1段与第8段的中位第5段进行比较，由于 ，所以 ；取

37、第5段与第8段的中位第7段进行比较，由于 ，所以 ；取第7段与第5段的中位第6段进行比较，由于 ，所以 ；故段落码 即落在第6段； 确定段内码 ：第6段的起始量化值为 ，量化间隔为 ； 2024/7/2577将其组合，归一化信号值 的13折线 律非线性量化编码为 。 与段内码最高位权值比较，由于 ，所以 ；与段内码次高位权值比较，由于 ，所以 ；与段内码第三位权值比较，由于 ，所以 ；与段内码第三位和最低位权值之和比较，由于 ，所以 ；故段内码 ； 2024/7/2578由于每个段落的量化间隔不同，13折线 律非线性量化的量化噪声随着信号值落在不同段落而不同。 例如，例6.2.2的量化码所代表

38、的量化值为 ，相应的量化噪声 。 显然，信号绝对值越小，13折线 律非线性量化的量化噪声也越小，当信号绝对值落在第1段或第2段时， 。 虽然当信号绝对值落在其他段落时，量化噪声会大于 ；但由于语音信号小信号出现的概率远大于大信号出现的概率，所以13折线 律非线性量化的量化噪声功率与码长为12的均匀量化的量化噪声功率相差并不太大。 2024/7/2579换句话说，对于语音信号而言，码长为8的13折线 律非线性量化编码与码长为12的均匀量化编码的量化噪声水平基本相当，而编码效率却提高了 。 矢量量化是在图像、语音信号编码中研究得较多的量化编码方法，它的出现不仅仅是作为量化，更多的是作为压缩编码而提

39、出的。 在矢量量化中，将 个采样时刻的信号值组成一组，将其看作一个 维矢量，以这些 维矢量为单位逐个进行量化编码。 5.2.2 矢量量化矢量量化2024/7/2580以 为例讨论矢量量化。 对于时间离散的信号序列 ，如果将每2个采样时刻的信号值构成一个2维矢量，就形成 个2维矢量 ；2024/7/2581由于每个2维矢量的矢量量化过程相同，为方便，我们也去掉时标，将2维矢量记为 。 所有可能的2维矢量构成一个平面，矢量量化最重要的工作是将这个平面划分为 块（相当于标量量化中的量化数目），记为 ；这些块可以是均匀的，也可以是非均匀的（相当于标量量化中均匀或非均匀的的量化间隔）；一般将这些块称为胞

40、腔（Cell）。平面的划分： 2024/7/2582然后对于所划分的每一块给定一个量化矢量（相当于标量量化中的量化值），记为 ；通常将其取为所划分块的形心。 在矢量量化中，一般将每个量化矢量 称为码字或码矢，将所有 个量化矢量构成的集合 称为码书；因此，矢量量化中这项最重要的工作称为码书的建立。 2024/7/2583码书建立之后，矢量量化过程就成了在给定码书中搜索一个与信号矢量最接近的码字的过程。 矢量量化原理： 码书码书搜索搜索信道信道码书码书检索检索在发送端，信号矢量 与码书中的每一个码字 通过计算误差失真函数进行比较，搜索到失真最小的码字及其相应的序号（该码字在码书中的地址） ；在接收

41、端，由于设置了一个与发送端相同的码书，故只需根据序号就可检索到与 最接近的码字 。 2024/7/2584当码书长度为 时，传输码字序号所需的比特数为 ；由于矢量维数为 ，相当于每个信号值所对应的比特数仅为 ，可见其压缩比可以很高。 要做到最佳矢量量化，怎样建立一个合理的码书？当码书较大时，如何快速有效地搜索到与信号矢量最接近的码字？这是矢量量化的两个关键问题。 一、一、LBGLBG算法算法 利用训练序列建立码书的LBG算法的流程是： (1)给定码书长度 ，置 、初始平均失真 ，给定初始码书 ，给定计算停止门限 ； 2024/7/2585(2)用码书 为已知形心，利用信号序列构成的 维训练序列

42、 ，根据最佳划分原则 ， 划分出 个胞腔； (3)计算平均失真 和相对失真 ，如 ，则停止计算，当前码书就是设计好的码书；否则，进行第(4)步； (4)计算各胞腔的形心 ， ，置 ，返回第(2)步。 2024/7/2586该流程还有两个问题，第一是初始码书的选取，第二是空胞腔的处理。 初始码书的选取常用的方法是随机选取法和分裂法 ；处理空胞腔常用的方法是去空胞腔分裂法。 二、全搜索算法和树搜索算法二、全搜索算法和树搜索算法 常用时间复杂度和空间复杂度来衡量矢量量化的特点：时间复杂度是指每量化一个信号矢量所需的计算量，它主要取决于搜索过程中乘法运算的次数；空间复杂度是指码书所需的存储容量。 20

43、24/7/2587全搜索算法的特点是信号矢量与码书中的码字逐一进行比较，根据采用的误差失真函数找到失真最小的码字作为其量化矢量，采用全搜索算法的矢量量化也称为基本矢量量化。 对于基本矢量量化而言，如其矢量维数为 ，码书长度为 ，采用平方误差失真函数 ，那么时间复杂度 （次/信号矢量），空间复杂度 （单元）。 采用树搜索算法的矢量量化称为树搜索矢量量化，在树搜索矢量量化的发送端，需要建立树型码书以方便进行树搜索；而在接收端，由于只需根据序号检索，可以仍然是数组型码书。 2024/7/2588以以3层二叉树为例，其搜索步骤：层二叉树为例，其搜索步骤： (1)信号矢量 分别与第二层的中间节点 通过计

44、算误差失真函数进行比较，如 ，则走上子树，送0至信道；否则走下子树，送1至信道； (2)如走的是上子树，信号矢量 分别与第三层的中间节 点 通过计算误差失真函数进行比较，如 ，则走上上子树，送0至信道；否则走上下子树，送1至信道，结束搜索；如走的是下子树，信号矢量 分别与第三层的中间节点 通过计算误差失真函数进行比较，如 ，则走下上子树，送0至信道；否则走下下子树，送1至信道，结束搜索。2024/7/2589在信道中传输的是树型码书中树叶的序号，因此，在接收端，其数组型码书只需包含树叶就可根据序号检索。 对于二叉树矢量量化而言，如其矢量维数为 ，码书树叶数为 ，则树的层数 ，采用平方误差失真函

45、数，那么时间复杂度 （次/信号矢量），空间复杂度 （单元）。 与基本矢量量化相比，二叉树矢量量化的特点就是以空间复杂度的提高来换取时间复杂度的降低。 2024/7/25905.1 5.1 离散信源编码离散信源编码 5.2 5.2 连续信源编码连续信源编码5.3 5.3 相关信源编码相关信源编码 5.4 5.4 变换编码变换编码2024/7/2591对于有记忆信源，采样后的信号序列存在时间相关性，仍然对各个采样时刻的信号值逐个进行量化，会造成码长的冗余。 为提高编码效率，对于时间相关的信号序列，通常用两类方法进行编码：第一类方法是利用信号序列的时间相关性，通过预测以减少信息冗余后再进行编码，这类

46、方法称为预测编码；另一类方法则是引入某种变换，将信号序列变换为另一个域上彼此独立或者相关程度较低的序列，同时将能量集中在部分样值上，再对这个新序列进行编码，这类方法称为变换编码。 5.3 相关信源编码相关信源编码2024/7/2592现在讨论预测编码。 为方便，将第 个时刻的信号值 记为 ，相应第 个时刻的信号值记为 。 对于时间相关的信号序列，由于 与 相关，故只要知道 ，就可对 进行预测。 设预测值为 ，则 ， 称为预测误差。 5.3.1 预测编码预测编码2024/7/2593通过预测，我们将 所携带的信息量分成了两部分：一部分为 所携带的信息量，它实际上是 所携带的信息量；另一部分是 所

47、携带的信息量，它才是 所携带信息量的新增加部分。只要预测足够准确， 就足够小。 因此，如果是对 进行量化、编码而不是对 进行量化、编码，就会减少信息冗余，从而提高编码效率。 由于预测编码是对 进行量化、编码，接收端译码后也只能得到 ；接收端必须重建 ，而 ，因此接收端也同样需要进行预测。 2024/7/2594线性预测是最常用的预测方法，其表达为 ，式中 ，称为预测阶数， 为加权系数。 预测阶数应该取多大，加权系数又应该怎样选取，才能在性能和简单上得到合理的折中？为此，人们提出了许多方案，最常用的是增量调制（或DM，Differential Modulation）、差分脉冲编码调制（DPCM，

48、Differential Pulse Code Modulation）和自适应差分脉冲编码调制（ADPCM，Adaptive Differential Pulse Code Modulation），这类方案通常也称为差值编码。 2024/7/2595一一、增量调制增量调制 增量调制是预测编码中最简单的一种，增量调制原理如下，其中(a)为发送端，(b)为接收端。 1比特量化比特量化+ - 编码编码+ + + 译码译码(a)(b)5.3.2 差值编码差值编码2024/7/2596在发送端，将信号值 与量化预测值 之差 进行1比特量化，所谓1比特量化，就是只对差值的符号而不是大小进行量化，即当 时，

49、 ，否则， 。 同时，在 的基础上加减一个量化增量 ，以形成下一个采样时刻的量化预测值，备下一个采样时刻求差值之用。 编码则当 时， ； 时， ；其码长为1。 在接收端，通过译码将 还原为量化增量 后，将量化增量 与量化预测值 相加即可得到量化值 。 2024/7/2597同时，在 的基础上加上一个量化值 ，以形成下一个采样时刻的量化预测值，备下一个采样时刻相加之用。 【例例5.3.1】已知某归一化信号序列 ，设初始量化 ，量化增量 ，求其增量调制编码和量化值。 2024/7/2598 的编码 ； 的量化值 。 2024/7/2599在增量调制中，量化噪声分为一般量化噪声和过载量化噪声；一般量

50、化噪声 ，即1比特量化的量化噪声，其幅度不会超过量化增量 。 过载量化噪声则是由信号斜率过大而产生的；因为在增量调制中，每个采样间隔只允许一个量化增量的变化，所以当信号斜率比这个固定斜率大时，就会产生过载量化噪声。 过载量化噪声：2024/7/25100由于 的最大斜率是 ，因此，为了避免产生过载量化噪声，最大信号斜率必须满足 。 对于正弦信号 ，避免产生过载量化噪声的条件是 ，即 ；通常取 ，所以为了避免产生过载量化噪声，增量调制的采样频率要远远大于奈奎斯特采样定理的要求。 2024/7/25101二、差分脉冲编码调制二、差分脉冲编码调制 差分脉冲编码调制原理如下，其中(a)为发送端，(b)

51、为接收端。 + + + 译码译码(a)(b)量化量化+ + + - 编码编码寄存寄存2024/7/25102在发送端，将信号值 与量化预测值 之差 进行量化；量化可以采用均匀量化，也可以采用非均匀量化；由于差值 的动态范围一般比较小，通常用均匀量化且量化码的长度取3就可以了，因此量化间隔 。 编码 一般也与均匀量化相同，在量化码基础上增加一位极性码，故码长为4。 同时，在 的基础上加减一个量化值 ，以形成下一个采样时刻的量化预测值，备下一个采样时刻求差值之用。 2024/7/25103在接收端， 通过译码将还原为量化值 后，将量化值与量化预测值 相加即可得到量化信号值 。 同时，在 的基础上加

52、上一个量化信号值 ，以形成下一个采样时刻的量化预测值，备下一个采样时刻相加之用。 【例例5.3.2】已知某归一化信号序列 ，设初始值 ， ，采用码长为4的均匀量化，量化间隔 ，求其差分脉冲编码调制的编码和量化信号值。 2024/7/251042024/7/25105DPCM的编码 ； DPCM的量化信号值 。 在差分脉冲编码调制中，量化噪声 ，即均匀量化的量化噪声，其幅度不会超过量化间隔的一半 。 2024/7/251065.1 5.1 离散信源编码离散信源编码 5.2 5.2 连续信源编码连续信源编码 5.3 5.3 相关信源编码相关信源编码 5.4 5.4 变换编码变换编码2024/7/2

53、51075.4 变换编码变换编码所谓变换编码变换编码，就是引入某种变换，通常是正交变换，将时间相关的信号序列变换为另一个域上彼此独立或者相关程度较低的序列，同时将能量集中在部分样值上，再对这个新序列进行编码，给能量较大的分量分配较多的比特，给能量较小的分量分配较少的比特，从而提高编码整体效率的方法。 变换编码的关键关键是找到一种合适的变换，使时间相关的信号序列成为变换域上彼此独立或者相关程度较低的序列，同时将能量集中在部分样值上。 满足这样条件的变换有傅立叶变换傅立叶变换、余弦变换余弦变换、哈达玛变哈达玛变换换、 变换、小波变换小波变换等。 2024/7/251085.4.1 子带编码子带编码

54、子带编码首先将信号分割成若干个不同的频带分量（一般称其为子带信号），然后再分别对子带信号进行时间采样和量化编码；可见，子带编码既与频域有关，也与时域有关，是一种基于时频分析的变换编码。 子带编码原理如下，其中(a)(a)为发送端，(b)(b)为接收端。 量化编码量化编码1带通滤波带通滤波1量化编码量化编码2带通滤波带通滤波2量化编码量化编码M带通滤波带通滤波M信号信号编码编码合合成成频率搬移频率搬移1频率搬移频率搬移2频率搬移频率搬移M采样采样1采样采样2采样采样M(a)2024/7/25109带通滤波1译码译码1带通滤波2译码译码2带通滤波M译码译码M编码编码重建信号分分路路D/A变换变换1

55、D/A变换变换2D/A变换变换M频率搬移1频率搬移2频率搬移M(b)在发送端，用一组带通滤波将信号分割成若干个不同的频带分量，将这些子带信号通过频率搬移为基带，再对其分别采样，采样频率应满足奈奎斯特定理；如果将各子带带宽记为 ， ，则采样频率可取 ， 。 采样后的各信号序列分别进行量化编码形成子带码，将其合并成一个总码通过信道传送到接收端。 2024/7/25110在接收端，将总码分路为子带码，分别通过译码重建信号序列，经 变换重建基带，再通过将频率搬移重建子带信号，经带通滤波，最后得到重建信号。 在子带编码中，如果各子带的带宽 ， 相同，称为等带宽子带编码，否则，称为变带宽子带编码。 以语音

56、信号为例，信号的分割通常采用二叉树结构：首先根据整个音频信号的带宽将信号分割成两个相等带宽的子带高频子带和低频子带，然后将这两个子带或其中一个子带用同样的方法分割成4个或3个子带，这个过程可按需要重复下去，形成 个子带， 为分割次数；如果分割是满树，所形成的是等带宽子带，如果分割是非满树，所形成的是变带宽子带。 2024/7/25111例如，带宽为 的音频信号，当 时，可以形成8个相等带宽的子带，每个子带的带宽为 ；也可以形成5个不等带宽的子带，分别为 。 子带编码的好处是：子带编码的好处是： (1)即使采用均匀量化，也可以利用人耳或人眼对不同频率信号感知灵敏度不同的特性，对人听觉或视觉不敏感

57、的频带分量分配较少的比特数，以达到数据压缩的目的；(2)各子带的量化噪声都束缚在本子带内，从而避免幅值较小的子带信号被其它子带的量化噪声所掩盖；2024/7/25112(3)各子带的采样频率可以成倍下降，如将信号分割成 个等带宽子带，则每个子带的采样频率可以降为原始信号采样频率的 。 在实际应用中， 的取值一般为 ，这是由于 过大会使滤波运算量增大，从而延时增大。 所谓小波变换，就是把傅立叶变换中的函数 用小波 取代后对信号 进行变换，即 其中，小波的数学表述为： 5.4.2 小波变换小波变换2024/7/25113如果一个函数 满足条件 则该函数称作一个基本小波或母小波。 对于实数对 ，函数

58、族 称为小波或小波基。 其中， 称为尺度因子，它的作用是对基本小波进行缩放；当 时，小波的波形与基本小波相同，当 时，小波的波形与基本小波相比变得矮宽，当 时，小波的波形与基本小波相比变得高窄； 称为平移因子，它的作用使将基本小波平移。 2024/7/25114信号 的小波变换 是一个二元函数； 的不同取值对应着时频平面上的可调分析窗口， 的不同取值对应着分析窗口所处的时间位置。 当 较大时，有较高的时域分辨率、较低的频域分辨率，相当于对信号作概貌观察，而当 较小时，有较低的时域分辨率、较高的频域分辨率，相当于对信号作细节观察；一般将这种由粗到细逐级的分析称为多分辨分析。 2024/7/251

59、15信号的小波变换或者说多分辨分析的快速离散算法是由Mallat提出来的，一般称为Mallat算法。 MallatMallat算法的基本原理：算法的基本原理：设信号 的归一化频带为 ，采样频率为 。 Mallat算法首先将信号用低通滤波 和高通滤波 分割为频带为 的低频部分和频带为 的高频部分，它们的带宽比信号减小了一半，采样频率也可以减小一半，用 就可以了；2024/7/25116接着将低频部分再用低通滤波 和高通滤波 分割为频带为 的低低频部分和频带为 的高低频部分，它们的带宽比低频部分减小了一半，采样频率也可以减小一半，用 就可以了；这个过程可以继续下去。在分割过程中，每一级都有一个二抽

60、取环节，表示对每两个数据保存一个，所以采样频率降低一半。 可以看出，Mallat算法实际上将信号分割成了二叉树结构的变带宽子带。2024/7/25117如果将信号的频带 定义为空间 ，经第一级分割，划分为两个子空间：低频的 和高频的 ；经第二级分割， 又划分为两个子空间：低频的 和高频的 ；这种子空间分解过程可以记作： ， ， 这些子空间具有逐级包含和逐级替换的特性。 并且， 的中心频率为 、带宽为 ， 的中心频率为 、带宽为 ，；品质因素相等，均为 。 可见，Mallat算法实现了信号的小波变换。 2024/7/25118大多数基于小波变换的编码都在变换域对小波系数采用标量量化；在实现标量量化时，如果知道每个子带小波系数的概率分布，则以信息熵为约束条件在每个子带建立最佳量化；如果不了解各个子带小波系数的概率分布，则一般采用均匀量化。 小波分割的级数越多，频带的划分就越细；但级数越多，滤波运算量也越大、从而延时越大；因此在实际应用中，确定小波分割的级数要兼顾不同方面的影响。 2024/7/25119同学们同学们来学校和回家的路上要注意安全同学们同学们来学校和回家的路上要注意安全