信息论与编码第六章有噪信道编码

《信息论与编码第六章有噪信道编码》由会员分享，可在线阅读，更多相关《信息论与编码第六章有噪信道编码（137页珍藏版）》请在金锄头文库上搜索。

1、第六章：有噪信道编码,一、信道编码的相关概念,二、有噪信道编码定理,三、纠错编码,第六章：有噪信道编码,信道编码的目标：提高通信的可靠性。,1. 信道编码概述,信道编码，就是按照一定的规则给信源编码后的码符号序列增加一些冗余信息，使其变成具有一定数学规律的码符号序列。,信道译码，就是按与信道编码器相同的数学规律去掉接收到的码符号序列中的冗余符号。,通常来说，增加的冗余符号越多，检错和纠错能力就越强。但是，增加的冗余符号越多，传输效率就越低。,信道编码的相关概念,信道编码器：将信源编码后的符号加上冗余符号，提高传输的可靠性。,第六章：有噪信道编码,1. 信道编码概述（续1）,信道编码的相关概念,

2、第六章：有噪信道编码,1. 信道编码概述（续2）,信道编码的相关概念,图1 编码信道模型,信道编码器,信道译码器,信道,1. 信道编码概述（续3）,首先讨论：在有噪信道中信息传输产生错误的概率与什么因素有关系，它们是怎样影响译码错误概率的,信道编码的基本思想根据相关性来检测和纠正传输过程中产生的差错,在有噪信道中，传输信息发生错误的错误概率与信道的统计特性编码方法译码规则,下面分别讨论这些因素，看看能不能对这些因素加以控制以提高通信的可靠性。,1. 信道编码概述（续4）,第六章：有噪信道编码,2. 译码规则对错误概率的影响,例1：,二进制对称信道,信道编码的相关概念,第六章：有噪信道编码,2.

3、 译码规则对错误概率的影响（续1）,译码规则1：,信道译码器收到符号“0”译为“0”信道译码器收到符号“1”译为“1”正确译码概率0.1，错误译码概率,信道编码的相关概念,第六章：有噪信道编码,2. 译码规则对错误概率的影响（续2）,译码规则2：,信道译码器收到符号“0”译为“1”信道译码器收到符号“1”译为“0”,信道编码的相关概念,正确译码概率0.9，错误译码概率,第六章：有噪信道编码,定义6.1 设信道的输入符号集为 ，输出符号集为 。若对每一个输出符号都有一个确定的函数 ，使对应于唯一的一个输入符号 ，则称这样的一个函数为译码规则，记为,3. 译码规则,信道编码的相关概念,第六章：有噪

4、信道编码,3. 译码规则（续1）,信道,共有rs 种译码规则,信道编码的相关概念,译码规则,例：,3. 译码规则（续2）,第六章：有噪信道编码,信道编码的相关概念,第六章：有噪信道编码,3. 译码规则（续3）,例2：设一个信道的信道矩阵为 ，根据此信道矩阵，设计译码规则。,解：,译码规则A,译码规则B,信道编码的相关概念,对于有r个输入符号，s个输出符号的信道，总共可以设计出 种译码规则，到底哪一种译码规则最好？依据什么标准来选择译码规则？,问题：,3. 译码规则（续4）,第六章：有噪信道编码,信道编码的相关概念,4. 错误译码概率,设译码规则为,当输入符号是xi时，,译码正确,当输入符号为除

5、xi以外的(r-1)种符号时，,译码错误,正确译码的概率：,错误译码的概率：,第六章：有噪信道编码,信道编码的相关概念,4. 错误译码概率（续1）,平均正确译码概率：,平均错误译码概率：,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则,为提高规则通信的可靠性，所采用的译码应当使平均错误译码概率最小。- 最大后验概率译码规则 最常用的译码规则，包括：,极大似然译码规则,最大后验概率译码规则,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则（续1）,(1) 最大后验概率译码规则,已知：,当求和项中的每一项都达到最小值时， 就最小。,要最小。,要最大。,第六章：

6、有噪信道编码,信道编码的相关概念,定义6. 2 令 ， ，而 应满足条件,5. 两种重要的译码规则（续2）,称满足上述条件的译码函数对应的译码规则为最大后验概率译码规则。,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则（续3）,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则（续4）,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则（续5）,问题：,最大后验概率 通常是未知的，使用不方便。我们能否推导出更便于使用的译码规则?,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则（续6）,当输入符号等概分布时,(2) 极大似然

7、译码规则,第六章：有噪信道编码,信道编码的相关概念,第六章：有噪信道编码,5. 两种重要的译码规则（续7）,1)当输入符号等概分布时，采用极大似然译码准则等价于最大后验概率准则。,2)当输入符号不等概分布或先验概率未知时，采用极大似然译码准则不一定使 最小。,关于极大似然译码准则：,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则（续8）,当输入符号等概分布时,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则（续9）,例3： 设信道矩阵为 ，且输入符号等概分布，即 ，求译码规则和平均错误译码概率。,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译

8、码规则（续10）,解： 因为输入符号为等概分布，所以由最大似然译码规则可得,译码规则,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则（续11）,译码规则A,译码规则B,例 6.3 假设输入等概，求以下两种译码规则的平均错误译码概率。,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则（续12）,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则（续13）,第六章：有噪信道编码,信道编码的相关概念,5. 两种重要的译码规则（续14）,第六章：有噪信道编码,信道编码的相关概念,6. Fano不等式,定理6.1 平均错误概率与信道疑义度H(X|Y)

9、满足不等式：,第六章：有噪信道编码,信道编码的相关概念,7. 简单重复编码,第六章：有噪信道编码,信道编码的相关概念,7. 简单重复编码（续1）,二元对称信道的三次扩展信道,M =2,第六章：有噪信道编码,信道编码的相关概念,由最大似然译码规则，可得,7. 简单重复编码（续2）,自动纠正一位错,第六章：有噪信道编码,信道编码的相关概念,7. 简单重复编码（续3）,在输入符号集（M个符号）等概的条件下，每个符号平均携带的最大信息量是 。 当用n个码元符号来传输M个信源符号时，每个码符号携带的平均信息量，即信道信息传输率为：,不重复编码时(n=1)， 重复编码时(n=3)，,第六章：有噪信道编码,

10、信道编码的相关概念,n =1, R=1, n =3, R=1/3, n =5, R =1/5, n =7, R =1/7, n =9, R =1/9, n =11, R =1/11, 增加重复次数n，可使 减小很多，但信息传输率R也减少很多。,7. 简单重复编码（续4）,第六章：有噪信道编码,信道编码的相关概念,7. 简单重复编码（续5）,第六章：有噪信道编码,信道编码的相关概念,如果在扩展信源的 个码符号序列中任意选择M个序列作为信道的输入，以代表M个信源消息。,因此若选择“000”和“001”代表消息“0”和“1”，则,7. 简单重复编码（续6）,第六章：有噪信道编码,信道编码的相关概念,

11、有没有一种很简便的方法，帮我们选择平均错误概率最小的M个序列？,7. 简单重复编码（续7）,第六章：有噪信道编码,信道编码的相关概念,8. 汉明距离,1）汉明距离,2）码的最小距离,3）汉明距离与极大似然译码准则,第六章：有噪信道编码,信道编码的相关概念,8. 汉明距离（续1）,定义6.4 设 和 表示两个长度为n的码符号序列，定义,称 为码字 和 之间的汉明距离。,1）汉明距离,第六章：有噪信道编码,信道编码的相关概念,8. 汉明距离（续2）,例4：求下面两个码字之间的汉明距离。,解：,第六章：有噪信道编码,信道编码的相关概念,8. 汉明距离（续3）,定义6.5 在二元码C中，任意两个码字之

12、间的汉明距离的最小值，被称为码C的最小距离：,2）码的最小距离,第六章：有噪信道编码,信道编码的相关概念,8. 汉明距离（续4）,例5：设有n=3的两组码，分别求它们的最小汉明距离。,解：,码 的最小汉明距离为,码 的最小汉明距离为,第六章：有噪信道编码,信道编码的相关概念,第六章：有噪信道编码,信道编码的相关概念,8. 汉明距离（续5）,8. 汉明距离（续7）,结论：,码的最小距离越大，平均译码错误概率越小。,第六章：有噪信道编码,信道编码的相关概念,设 和 表示两个长度为n的码符号序列， 为信道的输入， 为信道的输出。 和 的汉明距离为D。,8. 汉明距离（续8）,3) 汉明距离与极大似然

13、译码准则,对于离散平稳无记忆二元对称信道，有,第六章：有噪信道编码,信道编码的相关概念,通常情况下， ， ，D越小， 就越大。,8. 汉明距离（续9）,根据极大似然译码准则，,极大似然译码准则就等价于，当接收到一个长为n的码符号序列 时，在输入码字集中寻找一个 ，使,第六章：有噪信道编码,信道编码的相关概念,最小距离译码准则,1. 有噪信道编码定理,定理6.2 （香农第二定理） 设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率RC，即 ，则无论码长 n 取多大，也不可能使译码错误概率任意小。,第六章：有噪信道编码,有噪信道编码定理,1. 有噪信道编码定理（续3）,信道容量是在信道中可靠传输信息的最大信息传输率。,结论：,第六章：有噪信道编码,有噪信道编码定理,2. 错误概率的上界,第六章：有噪信道编码,有噪信道编码定理,纠错编码,1 纠错码的分类,2 纠错码的基本概念,3 线性分组码,4 汉明码,