信息论与编码第6章信道编码

《信息论与编码第6章信道编码》由会员分享，可在线阅读，更多相关《信息论与编码第6章信道编码（165页珍藏版）》请在金锄头文库上搜索。

1、,一、引言 思考：信道编码的目的是什么？,第6章 信道编码,通信系统模型,信道编码：从消息到信道波形或矢量的映射,从三个方面引入信道编码,检错和纠错：对付信道引入的差错 直观的译码准则：最小距离译码 Shannon第二定理 当信息速率R小于信道容量C时，总存在一种编码方式使差错率低于任一给定值e 接近信道容量,5,信道编码的目的：实现信息在信道上正确传输，包括：线路编码正确接收载有信息的信号的编码纠错编码 避免少量差错信号对信息内容的影响，包括差错控制、检错、纠错,广义信道编码=特定信道上传输信息而进行的传输信号或信号格式的设计与实现,本章内容,信道编码的概念和分类 线性分组码 循环码 卷积码

2、 编码与调制的结合TCM码 运用级联、分集与信息迭代概念的纠错码,6.1 信道编码的概念,信源编码降低相关，去除冗余，提高通信系统有效性。 信道编码增加冗余(监督码)，检纠错误，提高通信系统可靠性 。 定义：为了与信道的统计特性相匹配，并且区分通路和提高通信的可靠性，在信源编码的基础上，按一定规律加入一些称之为监督码元的新的码元，以实现检错和纠错目的的编码方法 。,描述编码用于对特定数据信号的描述约束编码用于对特定信号特性的约束扩频编码 用于扩展信号频谱为近似白噪声谱并满足某些相关特性纠错编码用于检测与纠正信号传输过程中因噪声干扰导致的差错,1,2,3,4,信道编码的作用：在资源、可靠性和传信

3、量之间选择一个好的平衡点（有时还要考虑延时）。 资源指的提供信息传输所付出的代价 包括频率、时间、空间、功率等等。但不包括实现复杂度 一个好的编码就是要充分利用资源，传递尽可能多的信息,给定资源和可靠性要求，通过信道编码尽量提高传输速率 给定对信息传输的速率和可靠性要求，通过信道编码尽量减少资源开销 给定资源和传输速率，通过编码提高可靠性,6.1.1 信道编码的分类,差错控制的基本方式有反馈方式：反馈重发（ARQ ，Automatic Repeat reQuest）收端通过检测接收码是否符合编码规律来判断，如判定码组有错，则通过反向信道通知发端重发该码(类似于md5)信息反馈（IRQ，Info

4、rmation Repetition Request）收端将接受到的码全部通过反馈信道发送回发送端，在发送端进行比较，若有错，将错误的码再次重发，直到正确为止。混合纠错（HEC, Hybird Error Correction）前向纠错和反馈重发的结合，发端发送的码兼有检错和纠错两种能力 无反馈的方式：前向纠错（Forward Error Correction，FEC）发端信息经纠错编码后传送，收端通过纠错译码自动纠正传递过程中的差错,纠错码的分类,根据监督码元与信息组之间的关系,分组码 卷积码,信息码元是否发生变化,系统码 非系统码,构造编码的数学方法,代数码 几何码 算术码,根据监督码元和

5、信息码元的关系,线性码 非线性码,根据码的功能,检错码 纠错码 纠删码(创建函数，插值),按纠误的类型,纠随机差错码 纠突发差错码 纠混合差错码,按码字中码元的取值,二元码 多元码,按对信息元的保护能力,等保护纠错码 不等保护纠错码,纠错码的分类,信息元 监督元 码字分组码 卷积码 线性码与非线性码,6.1.2 纠错码的相关概念,信息元,编码信道模型,监督元r,分组码 将一个有限(k)维输入矢量映射到一个（n维）矢量的编码，记为(n, k)分组码 卷积码 输入为一个无限长序列，每个单位时间有k个符号送入编码器，同时有n个符号向输出至信道，但每单位时间的输出不仅与本单位时间的输入有关，还与之前L

6、-1个单位时间的输入有关，记为(n, k, L)卷积码 （类比离散有记忆信源） 级联码 两个以上的编码器按一定方式组合而成的编码器,矢量空间,F表示码元所在的数域，对于二进制码，F代表二元域0,1，设n重有序元素的集合V= Vi , 若满足条件： 1、V中矢量元素在矢量加运算下构成加群； 2、V中矢量元素与数域F元素的标量乘法封闭在V中 3、分配律、结合律成立，则称集合V是数域F上的n维矢量空间，或称n维线性空间，n维矢量又称n重(n-tuples)。,矢量空间与基底,注意： 1、n维矢量空间一定包含0矢量 2、n维矢量空间中的各矢量可能线性无关，也可能线性相关,矢量空间中矢量的关系,对于域F

7、上的若干矢量 线性组合：线性相关：其中任一矢量可表示为其它矢量的线性组合 线性无关或线性独立：一组矢量中的任意一个都不可能用其它矢量的线性组合来代替。,矢量空间与基底,3、一组线性无关的矢量 ，线性组合的集合就构成了一个矢量空间V，这组矢量就是这个矢量空间的基底。n维矢量空间应包含n个基底 基底不唯一 （中药）,二元域GF(2)上三重矢量空间,GF是Galois Field的缩写,中文称其为Galois域或有限域,GF（2）是最简单的有限域,只有0,1二元及+（异或运算）、（与运算） 以（100）为基底可张成一维三重子空间V1，含21 =2 个元素，即以(010)(001)为基底可张成二维三重

8、子空间V2，含 22 =4个元素，即以(100)(010)(001)为基底可张成三维三重空间V,含 23 =8个元素，V1和V2都是V的子空间。,矢量空间,两个矢量正交：V1V2 0 两个矢量空间正交：某矢量空间中的任意元素与另一矢量空间中的任意元素正交 两个矢量空间的基底正交，则两个矢量空间正交 正交的两个子空间V1、V2互为对偶空间 (Dual Space)，其中一个空间是另一个空间的零空间（null space，也称零化空间）。,码空间,消息k长 (n , k) 码字n长,qk 种 分组编码器 qn种k维k重矢量 n维n重矢量,通常qn qk，分组编码的任务是要在n维n重矢量空间的qn种

9、可能组合中选择其中的qk个构成一个码空间，其元素就是许用码的码集。,常用汉明距离来描述检纠差错的数目，对于两n长向量u,v,其汉明距离为：,d(1011,0110)=3 d(0011,1011)=?,两个码字相对应位不同的个数,汉明码距(hamming distance),码字中码元“1”的个数。例如： 100110 的码重是 3w( 1100110)= ？ 思考：码距和码重的关系？,汉明码重(hamming weight),结论：码距是两个码字异或的结果的码重例如：d(10101,01011)1 0 1 0 10 1 0 1 11 1 1 1 0,最小汉明码距dmin,码C的最小距离 （最小

10、码距）：在码C中，任意两码字之间的汉明距离的最小值，即,在码组中所有码字相互之间距离的最小值。例如：码组 10010，11010，01100d(10010,11010)=1d(10010,01100)=4d(11010,01100)=3dmin(10010,11010,01100)=1,6.1 信道编码的基本概念,差错图样（error pattern） 定量地描述信号的差错，收、发码之“差” ：差错图样E发码C 收码R,分组编码的任务,选择一个维n重子空间作为码空间。 确定由k维k重信息空间到k维n重码空间的映射方法。码空间的不同选择方法，以及信息组与码组的不同映射算法，就构成了不同的分组码。

11、,检纠错是根据信道输出序列 自身判断 是否可能是发送 的，或纠正导致 不等于 的错误。 冗余编码：码字 的长度 一定大于消息 的长度,编码码率 ：每个码字的序列符号（或码元）平均传送的消息比特数,6.1.3 纠错检错基本原理,有扰信道编码错误概率满足纠错检错就是使 。方法有: ,可靠性函数 ，包括：信道容量 或者减小码率,其中n是码字长，R是信息传输率，E(R)是传输可靠性函数，即误差函数。,R不变，信道容量大者其可靠性函数E(R)也大； C不变，码率减小时其可靠性函数E(R)增大,如何减小编码错误概率,增大信道容量C 扩展带宽 加大功率 降低噪声 减小码率R q、n不变而减小k q、k不变而

12、增大n n、k不变而减小q 增大码长N,冗余度纠错检错的原理,如果用2bit表示4种意义，是无法发现差错的。如果用3bit来表示4种意义，就有可能发现差错，因为3bit有8种组合，用其表示4种意义，还有4种冗余组合，如果传输差错使得收到的3bit组合落入4种冗余组合中，就可以断定一定有差错位。,定理 对一个最小距离为 纠错码，如下三个结论仅有其中任意一个结论成立，,（1） 可以检测出任意小于等于 个差错；,（2） 可以纠正任意小于等于 个差错；,（3）可以检测出任意小于等于l同时纠正小于等于t个差错，其中l和t满足,最小码距与检纠错能力,差错概率：通信作为一个统计过程时，纠检错能力的统计特性。

13、,FEC方式纠错码的码字差错概率,：发送码字 的先验概率,：码字数，对于充分随机的消息源,信息比特信噪比 ：传输一个比特信息所需的最小信噪比,比特差错概率 （又称误码率）与信噪比 的关系如下图所示，采用纠错码后，达到同样比特差错概率实际需要的信噪比减小量称为编码增益。,编码增益,简单的信道编码方法,偶（或奇）校验方法：实现检纠错目的的一个基本方法。,一个偶校验位 是对消息 使得如下校验方程成立的二进制符号，即,一个偶校验码码字,一个码率为 的 偶校验码，所有可能的 的全体,校验方程为1表明一定有奇数个差错，校验方程为0表明可能有偶数个差错,m0+m1+m2+mk1+p=0 （mod 2） 称c

14、=(m0,m1,m2mk-1,p)为一个偶校验字确定校验位P的编码方程为：P=m0+m1+mk-1 例如：消息序列1000111010101奇校验：1000111010101 0 偶校验：1000111010101 1,推理偶校验: 当实际数据中“1”的个数为偶数的时候，这个校验位就是“0”，否则这个校验位就是“1”，这样就可以保证传送数据满足偶校验的要求。在接收方收到数据时，将按照偶校验的要求检测数据中“1”的个数，如果是偶数个“1”，表示传送正确，否则表示传送错误。,编码可以产生多个奇偶校验位，即一个校验位可以由消息位的部分或全部按某种校验方程产生，例如对阵列消息进行垂直与水平校验以及总校

15、验的码字 和其码率分别为,重复消息位：实现检纠错目的第二个基本方法,一个 重复码是一个码率为 的码，仅有两个码字 和 ，传送1比特（ ）消息。,重复码可以检测出任意小于 个差错的错误图案，纠正任意小于 个差错的错误图案。,纠1位差错 的3重复码,重复编码是一种简单的信道编码方法，其实质就是将每个要发送的符号重复发送，或者说是将原来的每一个信源符号编成多个相同的码元符号，其值与原来的符号取值相同。比如(3，1)二元重复码，其编码方法就是将原来二进制序列中的每一个“0”编成“000”，将每一个“1”编成“111”。所谓的译码规则就是指接收符号与发送符号之间的映射关系。不同的译码规则会造成不同的平均错误概率，所以人们一般都根据最小错误概率准则来确定译码规则。对于二元对称信道来说，一般总认为出错概率是小于等于0.5的，所以对于二元重复码，最小错误概率准则与择多译码规则是一致的，也就是说，译码时根据码字中“0”“1”的数目选择数目多的进行译码。比如(3，1)二元重复码的译码，可以将接收到的“000”、“001”、“010”和“100”译为“0”，将接收到的“011”、“101”、“110”和“111”译为“1”。这样，每个码字对于传输过程中发生的任一位错误，通过译码都可以进行自动纠正。可以证明，一个（n，1）重复码可以纠正传输过程中可能出现的不多于n个差错。,