《信息论基础联合信源信道编码定理》由会员分享，可在线阅读，更多相关《信息论基础联合信源信道编码定理（46页珍藏版）》请在金锄头文库上搜索。
1、第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 4.5 联合信源联合信源信道编码定理信道编码定理定理的提出定理的提出联合信源联合信源信道编码定理信道编码定理两步编码与一步编码两步编码与一步编码1第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 4.5 联合信源联合信源信道编码定理信道编码定理定理的提出定理的提出联合信源联合信源信道编码定理信道编码定理两步编码与一步编码两步编码与一步编码2第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 定理的提出定理的提出通信的实质是信息的传输通信的实质是信息的传输 ！3第四章第四
2、章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 将信源信息通过信道传送给信宿怎样才能既做到尽可能不失真而又快速呢?定理的提出定理的提出需要解决两个问题：在不失真或允许一定失真条件下，如何用尽可能少的符号来传送信源信息，以便提高信息传输率；在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大.4第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 香农第一定理香农第一定理：要进行无失真数据压缩，必须RH；定理的提出定理的提出5第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 香农第二定理香农第二定理：要在信道中
3、可靠地传输数据，必须CR；定理的提出定理的提出6第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 香农第一定理香农第一定理：要进行无失真数据压缩，必须RH；香农第二定理香农第二定理：要在信道中可靠地传输数据，必须CR；问题：若信源通过信道传输，要做到有效且可靠地传输，是否必须有CH ?定理的提出定理的提出两步编码两步编码7第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 定理的提出定理的提出一步编码方案！一步编码方案！8第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 4.5 联合信源联合信源信道编码定理信道编码定理
4、定理的提出定理的提出联合信源联合信源信道编码定理信道编码定理两步编码与一步编码两步编码与一步编码9第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 联合信源联合信源信道编码定理信道编码定理设U1、U2、是取值于有限字母表的无记忆信源，有熵率H();,Q(y|x),为无记忆信道，有信道容量C.（a）若H(U)0，存在复(联)合信源信道码(f,g)使Pe(n)C，则Pe(n)0.10第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 证明：证明：弱典型序列弱典型序列的性质的性质联合信源联合信源信道编码定理信道编码定理11第四章第四章第四章第四章 信
5、道编码定理信道编码定理信道编码定理信道编码定理 12第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 熵率的定义熵、条件熵与熵、条件熵与互信息的关系互信息的关系法诺不等式法诺不等式信道容量的定义13第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 定理表明使用一步编码方案可以使通信的误差概率任意小.对于同一个通信系统，现在有两种数据处理方案.说明14第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 4.5 联合信源联合信源信道编码定理信道编码定理定理的提出定理的提出联合信源联合信源信道编码定理信道编码定理两步编码与一
6、步编码两步编码与一步编码15第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 两步编码与一步编码两步编码与一步编码用尽可能少的信道符号来表达信源，以减少编码后的数据的剩余度.16第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 两步编码与一步编码两步编码与一步编码对信源编码后的数据适当增加一些剩余度，使能纠正和克服信道中引起的错误和干扰.17第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 两步编码与一步编码两步编码与一步编码 思考思考: 在有噪信道中，当在有噪信道中，当HC时，用两步编码与一步时，用两步编码与一步
7、编码的处理方法传输信源信息均可使得误差概编码的处理方法传输信源信息均可使得误差概 率任意小率任意小. 对于给定的通信系统进行编码时，应该倾向于对于给定的通信系统进行编码时，应该倾向于 那种编码方案？那种编码方案？18第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 两步编码与一步编码两步编码与一步编码近代大多数通信系统都是数字通信系统近代大多数通信系统都是数字通信系统.实际数字通信系统中，信道多是共同公实际数字通信系统中，信道多是共同公用的二元数字信道用的二元数字信道.将语音、图像等首先数字化，再对数字将语音、图像等首先数字化，再对数字化的信源进行不同的信源编码化的信
8、源进行不同的信源编码针对针对各自信源的不同特点，用最有效的各自信源的不同特点，用最有效的二元二元码进码进行数据行数据压缩压缩；19第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 两步编码与一步编码两步编码与一步编码信道输入端只是一系列二元码信道输入端只是一系列二元码信道信道编码编码只需只需针对针对信道特性信道特性进进行，不用行，不用考考虑虑信源的特性；信源的特性； 以以纠纠正信道正信道带带来的来的错误错误，做到有效又可，做到有效又可 靠地靠地传输传输信息信息.u大大降低通信系统设计的复杂度！大大降低通信系统设计的复杂度！20第四章第四章第四章第四章 信道编码定理信道
9、编码定理信道编码定理信道编码定理 两步编码与一步编码两步编码与一步编码经典的无线通信系统是将信源编码和信道编码分别进行的。信源经典的无线通信系统是将信源编码和信道编码分别进行的。信源编码主要考虑信源的统计特性，信道编码主要考虑信道的统计特编码主要考虑信源的统计特性，信道编码主要考虑信道的统计特性。性。 优点是设计简单、通用性好，可以分别形成标准。优点是设计简单、通用性好，可以分别形成标准。 缺点是没有充分利用各自的优势，因而不是最佳的。缺点是没有充分利用各自的优势，因而不是最佳的。 无线系统的信源编码由于压缩比很高，对差错十分敏感；而信道无线系统的信源编码由于压缩比很高，对差错十分敏感；而信道
10、编码面临十分恶劣的传播环境，但提供的带宽冗余度很小。编码面临十分恶劣的传播环境，但提供的带宽冗余度很小。 在这种背景下，需要将信源编码和信道编码综合考虑。这就是联在这种背景下，需要将信源编码和信道编码综合考虑。这就是联合编码的基本思路。合编码的基本思路。 在无线多媒体通信中，联合编码是抗衰落的一种十分有效的措施。在无线多媒体通信中，联合编码是抗衰落的一种十分有效的措施。21第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 两步编码与一步编码两步编码与一步编码国内主要研究方向国内主要研究方向（以博士毕业论文为例）（以博士毕业论文为例）：基于基于Turbo码码的联合信源信
11、道编译码方法研究的联合信源信道编译码方法研究 中国科学院研究生院（中国科学院研究生院（2008）误码环境下的误码环境下的视频视频信源信道编码理论与技术研究信源信道编码理论与技术研究无线信道无线信道中的联合信源信道编码研究中的联合信源信道编码研究西安电子科技大学（西安电子科技大学（2006）信源信道联合解码算法研究及其在信源信道联合解码算法研究及其在语音传输语音传输中的应用中的应用 东南大学东南大学 （2005）无线图像传输无线图像传输中的联合信源信道编码研究中的联合信源信道编码研究上海交通大学上海交通大学 （2007）实现实现复杂度控制复杂度控制的信源信道联合编码研究的信源信道联合编码研究华中
12、科技大学华中科技大学 （2005）1993199319931993年法国教授年法国教授年法国教授年法国教授BerrouBerrouBerrouBerrou、GlavieuxGlavieuxGlavieuxGlavieux 和其缅甸籍博士生和其缅甸籍博士生和其缅甸籍博士生和其缅甸籍博士生ThitimajshimaThitimajshimaThitimajshimaThitimajshima 在在在在ICC ICC ICC ICC 会议提出；会议提出；会议提出；会议提出；全球全球全球全球3G3G3G3G标准：标准：标准：标准：WCDMAWCDMAWCDMAWCDMA、TD-SCDMATD-SCDM
13、ATD-SCDMATD-SCDMA和和和和CDMA2000CDMA2000CDMA2000CDMA2000均使用了均使用了均使用了均使用了TurboTurboTurboTurbo码码码码 22第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 4.5 联合信源联合信源信道编码定理信道编码定理定理的提出定理的提出联合信源联合信源信道编码定理信道编码定理两步编码与一步编码两步编码与一步编码23第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 展望展望提高信息传输的可靠性和有效性，始终是通信工作所追求的目标；近几节课掌握的几个编码定理，已经明确指出在
14、一定条件下总存在简单、有效编、译的“好码”.但是，都没有给出这类好码的编、译方法.24第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 4.64.6 线性分组码线性分组码 基础知识基础知识线性分组码的基本概念线性分组码的基本概念线性分组码的译码线性分组码的译码汉明码的编码与译码汉明码的编码与译码25第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 基础知识基础知识线性分组码的基本概念线性分组码的基本概念线性分组码的译码线性分组码的译码汉明码的编码与译码汉明码的编码与译码4.64.6 线性分组码线性分组码26第四章第四章第四章第四章 信道编码定
15、理信道编码定理信道编码定理信道编码定理 4.6 线性分组码线性分组码基础知识基础知识抽象代数基础抽象代数基础线性代数基础线性代数基础27第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 4.6 线性分组码线性分组码基础知识基础知识抽象代数基础抽象代数基础线性代数基础线性代数基础28第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 一、一、 群群定定义义设G是非空集合，并在G内定义了一种代数运算，若满足：(1)封闭性：对任意a、bG，恒有a bG；(2)结合律：对任意a、bG，有(a b)c=a (b c)；(3)存在单位元e：对任意aG，有e
16、G，使a e=e a=a；(4)对任意aG，存在有a的逆元a-1G，使aa-1=a-1a=e则称称G构成一个群构成一个群. .29第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 p定义中，G的运算“”可以是通常的乘法或加法：若为乘法，则单位元记为1；若为加法，则单位元记为0；a的逆元记为-a.p群中元素的个数，称为群的阶：若群中元素个数有限，称为有限群；否则，称无限群.p若G的运算“”满足交换律，称G为Abel群.30第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 例例G1：整数全体，按通常加法构成群，这是一个无限群. 例例G2：二元集0
17、,1，对其上定义的模2加法,构成一个群. 31第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 二、二、 域域域在编码理论中起着关键作用；域是定义了两种代数运算的系统.定义非空元素集合F，若在F中定义了加和乘两种运算，且满足下述公理：32第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 (1)F关于加法构成阿贝尔群，其加法单位元记为0；(2)F中非零元素全体对乘法构成阿贝尔群.其乘法单位元记为1；(3)满足分配律：a(b+c)=ab+ac(b+c)a=ba+ca则称则称F是一个域是一个域. . 33第四章第四章第四章第四章 信道编码定理信道编
18、码定理信道编码定理信道编码定理 例F1实数全体对加法、乘法构成域，称为实数域.例F20、1两个元素按模2加和模2乘构成域.该域中只有两个元素，记为GF(2).有限域有限域有限域有限域34第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 4.6 线性分组码线性分组码基础知识基础知识抽象代数基础抽象代数基础线性代数基础线性代数基础35第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 一、一、 线性空间线性空间定义如果域F上的n重元素集合V满足下述条件时：(1)V关于加法构成阿贝尔群；(2)对 V中 任 何 元 素 v和 F中 任 何 元 素 c，
19、 cvV.称V中元素v为矢量(向量)，F中元素c为纯量或标量，称乘c运算为数乘；36第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 (3)分配律成立，对任何u，vV，c，dF恒有： c(u+v)=cu+cv(c+d)v=cv+dv(4)若c，dF，vV，有：(cd)v=c(dv)，1v=v，1F则称V是域F上的一个n维线性空间或矢量空间，一般用VFn表示.37第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 例L1实数域R上的n重数组全体：(x1，x2，xn)；xiR组成一线性空间VRn.例L2GF(2)上的n重数组全体：xn=(x1，x2
20、，xn)；xiGF(2)是一线性空间GF(2)n.n n维维维维向量空间向量空间向量空间向量空间38第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 定义设x1，x2，xk是线性空间V中的一组非全零向量，当且仅当存在有一组不全为零的数c1，c2，ck(ciF；i=1，2，k)使c1x1+c2x2+ckxk=0成立时，则称这组向量线性相关；否则，称这组向量线性无关.39第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 定义线性空间V中的每一向量，如果可以由其中的一组向量集S中的向量线性组合生成，则说S生成了向量空间V.40第四章第四章第四章第四
21、章 信道编码定理信道编码定理信道编码定理信道编码定理 定义定义在任何线性空间中，能张成该空间的线性独立向量的集合称为该线性空间的基；基；而称这组线性独立向量的数目为该线性空间的维数.定定理理：如果V是k维线性空间，则V中任意k个线性独立的向量是V的基.41第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 二、矩阵在今后学习的纠错编码理论中，矩阵内的第i行第j列元素aij一般取自域F(2)上，今后我们仅讨论域F(2)上的矩阵：42第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 例例在GF(2)上的两个方阵相乘，例如43第四章第四章第四章第四章
22、 信道编码定理信道编码定理信道编码定理信道编码定理 分块矩阵概念：分块矩阵概念：如果把矩阵的每一行(或每一列)看成一个n(或m)维数组，或者行(列)矢量，则可把一个mn阶矩阵aij表示如下：44第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 4.6 线性分组码线性分组码基础知识基础知识抽象代数基础抽象代数基础线性代数基础线性代数基础45第四章第四章第四章第四章 信道编码定理信道编码定理信道编码定理信道编码定理 4.6 4.6 线性分组码线性分组码 基础知识基础知识线性分组码的基本概念线性分组码的基本概念线性分组码的译码线性分组码的译码汉明码的编码与译码汉明码的编码与译码46
