《信息论与编码 第7讲》由会员分享，可在线阅读，更多相关《信息论与编码 第7讲（64页珍藏版）》请在金锄头文库上搜索。
1、信 息 论 与 编 码信 息 论 与 编 码 （第七讲）（第七讲） 第2页2010-4-6Department of Communication Engineering, NCUT 第一篇第一篇 信息论信息论 第第1章章 概论（概论（2） 第第2章章 信源及其信息量（信源及其信息量（12） 第第3章章 信道及其容量（信道及其容量（4） 第第4章章 信息率失真函数（信息率失真函数（4） 第二篇第二篇 编码理论编码理论 第第5章章 信源编码（信源编码（4） 第第6章章 信道编码的基本概念（信道编码的基本概念（2） 第第7章章 线性分组码（线性分组码（6） 第第8章章 循环码（循环码（4） 第第9章
2、章 卷积码（卷积码（4） 目 录目 录 第3页2010-4-6Department of Communication Engineering, NCUT 第二章 信息熵第二章 信息熵 本章重点：信源的统计特性和数学模型、各类信源的信息测 度 本章重点：信源的统计特性和数学模型、各类信源的信息测 度熵及其性质。熵及其性质。 2.1 单符号离散信源单符号离散信源 2.2 扩展信源扩展信源 2.3 连续信源连续信源 2.4 离散无失真信源编码定理离散无失真信源编码定理 2.5 小结小结 第4页2010-4-6Department of Communication Engineering, NCUT
3、2.4 离散无失真信源编码定理离散无失真信源编码定理 2.4.1 问题的提出问题的提出 2.4.2 定长等长编码定理定长等长编码定理 2.4.3 变长编码定理变长编码定理 2.4 离 散 无 失 真 信 源 编 码 定 理 第5页2010-4-6Department of Communication Engineering, NCUT 2.4.1 问题的提出问题的提出 (1) 为什么要进行信源编码为什么要进行信源编码 (2) 信源编码的概念信源编码的概念 (3) 一些码的定义一些码的定义 (4) 信源编码的方法信源编码的方法 2.4 离 散 无 失 真 信 源 编 码 定 理 第6页2010-
4、4-6Department of Communication Engineering, NCUT 2.4.1 问题的提出问题的提出 (1) 为什么要进行信源编码为什么要进行信源编码 ?信源的两个重要问题信源的两个重要问题 ?信源输出的信源输出的信息量计算信息量计算问题；问题； ?如何更有效地表示如何更有效地表示信源输出信源输出的问题。的问题。 ?信源编码就是为了提高通信效率，对信源所发送的消息进行变换的方 法之一。 信源编码就是为了提高通信效率，对信源所发送的消息进行变换的方 法之一。 ?为什么要进行信源编码为什么要进行信源编码 ?人们都希望人们都希望无失真传送无失真传送，首先要对信源无差错编
5、码；，首先要对信源无差错编码； ?数字技术应用越来越多，模拟信源通过数字化变成数字技术应用越来越多，模拟信源通过数字化变成数字信号传送数字信号传送。 返回目录 2.4 离 散 无 失 真 信 源 编 码 定 理 第7页2010-4-6Department of Communication Engineering, NCUT 2.4.1 问题的提出问题的提出 (2) 信源编码的概念信源编码的概念 ?信源编码定义：信源编码定义：指定能够满足信道特性（适合于信道传输） 的符号序列 指定能够满足信道特性（适合于信道传输） 的符号序列码序列码序列，来代表信源输出的消息。，来代表信源输出的消息。 编码器：
6、完成编码功能的器件。编码器：完成编码功能的器件。 ?离散信源输出的码序列离散信源输出的码序列 ?离散信源输出的消息是由一个个离散符号组成的随机序列离散信源输出的消息是由一个个离散符号组成的随机序列 ?信源编码就是把信源输出的随机符号序列变成码序列信源编码就是把信源输出的随机符号序列变成码序列 nilLl x,x,xxXXXXXXLLLL 2121 )( = = mjkKk y,y,yyYYYYYYLLLL 2121 )( = = 2.4 离 散 无 失 真 信 源 编 码 定 理 第8页2010-4-6Department of Communication Engineering, NCUT
7、2.4.1 问题的提出问题的提出 (2) 信源编码的概念信源编码的概念 ?研究研究信源编码信源编码时，将时，将信道编码和译码信道编码和译码看成是信道的一部分，而突出信源 编码； 看成是信道的一部分，而突出信源 编码； ?研究研究信道编码信道编码时，将时，将信源编码和译码信源编码和译码看成是信源和信宿的一部分，而突 出信道编码。 看成是信源和信宿的一部分，而突 出信道编码。 1.3 S S UVCCXY n 2.4 离 散 无 失 真 信 源 编 码 定 理 第9页2010-4-6Department of Communication Engineering, NCUT 2.4.1 问题的提出问
8、题的提出 (2) 信源编码的概念信源编码的概念 ?讨论无失真信源编码可以先不考虑抗干扰问题，所以它的数学模型比较 简单，如图 讨论无失真信源编码可以先不考虑抗干扰问题，所以它的数学模型比较 简单，如图2.4.0。 2.4 离 散 无 失 真 信 源 编 码 定 理 第10页2010-4-6Department of Communication Engineering, NCUT 2.4.1 问题的提出问题的提出 (2) 信源编码的概念信源编码的概念 ?信源符号：信源符号：编码器的输入是信源符号编码器的输入是信源符号 X=x1,x2,xi,xn。 ?信源符号序列：信源符号序列： ?码符号码符号/
9、码元：码元：元素元素 yj是适合信道传输的符号，是适合信道传输的符号， Y=y1,y2,yj,ym 称为码符号称为码符号/码元。码元。 ?码字（码符号序列）：码字（码符号序列）： ?码长（码字长度）：码长（码字长度）： ki称为码字长度或简称码长。称为码字长度或简称码长。 ?编码：编码：从信源符号到码符号的一种映射。若要实现无失真编 码，这种映射必须是一一对应的，可逆的。 从信源符号到码符号的一种映射。若要实现无失真编 码，这种映射必须是一一对应的，可逆的。 Yyyyy l i k iiiii = =),( 21 Ly y Xxxxx lL iiiii = =),( 21 Lx x 2.4 离
10、 散 无 失 真 信 源 编 码 定 理 第11页2010-4-6Department of Communication Engineering, NCUT 2.4.1 问题的提出问题的提出 (2) 信源编码的概念信源编码的概念 ?编码器功能：编码器功能：将信源符号集中的符号将信源符号集中的符号 xi（或者长为（或者长为 L 的信源 符号序列）变换成由 的信源 符号序列）变换成由 yj(j=1,2,m) 组成的长度为组成的长度为ki的序列的序列. Yyyyynix l i k iiiiii =),(), 2 , 1( 21 LLy ）（）（）（）（ iii iiiiiiii klYyLlXx
11、yyyxxx ll i kL , 2 , 1, 2 , 1 ),(),( 2121 LL LL = = = =y yx x 返回目录 2.4 离 散 无 失 真 信 源 编 码 定 理 第12页2010-4-6Department of Communication Engineering, NCUT 2.4.1 问题的提出问题的提出 (3) 一些码的定义一些码的定义 ?二元码：二元码：码符号集为码符号集为 X=0,1，所得码字都是一些二元序列。，所得码字都是一些二元序列。 ?定长码（等长码）：定长码（等长码）：一组码中所有码字的码长都相同，即：一组码中所有码字的码长都相同，即： ki=K(i=
12、1,2,n)。 ?变长码：变长码：一组码字中所有码字的码长各不相同，即任意码字由不同长度 的码符号序列组成。 一组码字中所有码字的码长各不相同，即任意码字由不同长度 的码符号序列组成。 ?非奇异码：非奇异码：一组码字中所有码字都不相同，即所有信源符号影射到不同 的码符号序列。 一组码字中所有码字都不相同，即所有信源符号影射到不同 的码符号序列。 ?奇异码：奇异码：一组码中有相同的码字。一组码中有相同的码字。 ?惟一可译码：惟一可译码：码的任意一串有限长的码符号序列只能被惟一地译成所对 应的信源符号。 码的任意一串有限长的码符号序列只能被惟一地译成所对 应的信源符号。 2.4 离 散 无 失 真
13、 信 源 编 码 定 理 第13页2010-4-6Department of Communication Engineering, NCUT 2.4.1 问题的提出问题的提出 (3) 一些码的定义一些码的定义 ?举例：举例：设信源设信源 X 的概率空间为：的概率空间为： ?把它通过一个二元信道传输；把它通过一个二元信道传输； ?为使信源适合信道传输，必须把信源符号变换成为使信源适合信道传输，必须把信源符号变换成0，1符号组成的码符 号序列（二元序列）； 符号组成的码符 号序列（二元序列）； ?可采用不同的二元序列使其与信源符号一一对应，得到不同的二元码可采用不同的二元序列使其与信源符号一一对应
14、，得到不同的二元码. 1)( )(,),(),( , )( 121 21 = = = = = = n i i n n xp xpxpxp xxx xp X L L 2.4 离 散 无 失 真 信 源 编 码 定 理 第14页2010-4-6Department of Communication Engineering, NCUT 2.4.1 问题的提出问题的提出 (3) 一些码的定义一些码的定义 ?举例：举例： ?码码1是等长非奇异码，码是等长非奇异码，码2是变长非奇异码。是变长非奇异码。 信源符号xi符号出现概率 p(xi)码 1码 2 x1 p(x1) 00 0 x2 p(x2) 01 0
15、1 x3 p(x3) 10 001 x4 p(x4) 11 111 2.4 离 散 无 失 真 信 源 编 码 定 理 第15页2010-4-6Department of Communication Engineering, NCUT 2.4.1 问题的提出问题的提出 (3) 一些码的定义一些码的定义 ?码的码的 N 次扩展：次扩展：以码以码2的二次扩展为例的二次扩展为例 X2=1x1x1, 2x1x2, 3x1x3, 16x4x4 所以码的二次扩展为：所以码的二次扩展为： 信源符号xi 码 字 信源符号码 字 信源符号码 字 1 00Y1Y1=B15 0111Y1Y4=B4 2 001Y1Y
16、2=B2 3 0001Y1Y3=B3 4 0111Y1Y4=B4 16 111111Y4Y4=B16 2.4 离 散 无 失 真 信 源 编 码 定 理 第16页2010-4-6Department of Communication Engineering, NCUT 2.4.1 问题的提出问题的提出 (3) 一些码的定义一些码的定义 ?码字与信息率的关系码字与信息率的关系 ?有时消息太多，不可能或者没必要给每个消息都分配一个码字；有时消息太多，不可能或者没必要给每个消息都分配一个码字； ?给多少消息分配码字可以做到几乎无失真译码？给多少消息分配码字可以做到几乎无失真译码？ ?传送码字需要一定的信息率，码字越多，所
