《信息论基础与应用-李梅-第六章 有噪信道编码》由会员分享，可在线阅读，更多相关《信息论基础与应用-李梅-第六章 有噪信道编码（135页珍藏版）》请在金锄头文库上搜索。
1、第六章：有噪信道编码 一、信道编码的相关概念 二、有噪信道编码定理 三、纠错编码 第六章：有噪信道编码第六章：有噪信道编码 l信道编码的目标：提高通信的可靠性。 1. 1. 信道编码概述信道编码概述 l信道编码，就是按照一定的规则给信源编码后的码符 号序列增加一些冗余信息，使其变成具有一定数学规 律的码符号序列。 l信道译码，就是按与信道编码器相同的数学规律去 掉接收到的码符号序列中的冗余符号。 l通常来说，增加的冗余符号越多，检错和纠错能力 就越强。但是，增加的冗余符号越多，传输效率就 越低。 信道编码的相关概念 信道编码器： 将信源编码后的符号加上冗余符号，提高传输的可靠性。 第六章：有噪
2、信道编码第六章：有噪信道编码 1. 1. 信道编码概述（续信道编码概述（续1 1） 信道编码的相关概念 第六章：有噪信道编码第六章：有噪信道编码 1. 1. 信道编码概述（续信道编码概述（续2 2） 信道编码的相关概念 图1 编码信道模型 信道 编码器 信道 译码器 信道 第六章：有噪信道编码第六章：有噪信道编码 2. 2. 译码规则对错误概率的影响译码规则对错误概率的影响 例1： 二进制对称信道 0 1 0 1 信道编码的相关概念 第六章：有噪信道编码第六章：有噪信道编码 2. 2. 译码规则对错误概率的影响（续译码规则对错误概率的影响（续1 1） 译码规则1： 信道译码器收到符号“0”译为
3、“0” 信道译码器收到符号“1”译为“1” 正确译码概率0.1，错误译码概率 信道编码的相关概念 0 1 0 1 第六章：有噪信道编码第六章：有噪信道编码 2. 2. 译码规则对错误概率的影响（续译码规则对错误概率的影响（续2 2） 译码规则2： 信道译码器收到符号“0”译为“1” 信道译码器收到符号“1”译为“0” 信道编码的相关概念 正确译码概率0.9，错误译码概率 第六章：有噪信道编码第六章：有噪信道编码 定义6.1 设信道的输入符号集为 ，输 出符号集为 。若对每一个输出符号 都有一个确定的函数 ，使对应于唯一的一个输 入符号 ，则称这样的一个函数为译码规则，记为 3. 3. 译码规则
4、译码规则 X Y x1 x2 xr y1 y2 ys p(yj|xi) 信道编码的相关概念 第六章：有噪信道编码第六章：有噪信道编码 3. 3. 译码规则（续译码规则（续1 1） 信道 共有rs 种译码规则 信道编码的相关概念 译码规则 例： 0 1 0 1 3. 3. 译码规则（续译码规则（续2 2） 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 第六章：有噪信道编码第六章：有噪信道编码 3. 3. 译码规则（续译码规则（续3 3） 例2：设一个信道的信道矩阵为 ，根据 此信道矩阵，设计译码规则。 解： 译码规则A 译码规则B 信道编码的相关概念 对于有r个输入符号，s个输出
5、符号的信道，总共可 以设计出 种译码规则，到底哪一种译码规则最好？依 据什么标准来选择译码规则？ 问题： 3. 3. 译码规则（续译码规则（续4 4） 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 4. 4. 错误译码概率错误译码概率 l设译码规则为 当输入符号是xi时， 译码正确 当输入符号为除xi以 外的(r-1)种符号时， 译码错误 正确译码的概率： 错误译码的概率： 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 4. 4. 错误译码概率（续错误译码概率（续1 1） l 平均正确译码概率： l 平均错误译码概率： 第六章：有噪信道编码第六章：有噪信道编码
6、信道编码的相关概念 5. 5. 两种重要的译码规则两种重要的译码规则 为提高规则通信的可靠性，所采用的译码应当使平 均错误译码概率最小。- 最大后验概率译码规则 最常用的译码规则，包括： 极大似然译码规则 最大后验概率译码规则 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要的译码规则（续1 1） (1) 最大后验概率译码规则 已知： 当求和项中的每一项都达到最小值时， 就最小。 要最小。 要最大。 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 定义6. 2 令 ， ，而 应满足条件 5. 5. 两种重要的译码规则（续两种
7、重要的译码规则（续2 2） 称满足上述条件的译码函数对应的译码规则为最大后验 概率译码规则。 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要的译码规则（续3 3） 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要的译码规则（续4 4） 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要的译码规则（续5 5） 问题： 最大后验概率 通常是未知的，使用不方 便。我们能否推导出更便于使用的译码规则? 第六章：有噪信道编码第六章：有噪信
8、道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要的译码规则（续6 6） 当输入符号等概分布时 (2) 极大似然译码规则 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 第六章：有噪信道编码第六章：有噪信道编码 5. 5. 两种重要的译码规则（续两种重要的译码规则（续7 7） 1)当输入符号等概分布时，采用极大似然译码准则等价于 最大后验概率准则。 2)当输入符号不等概分布或先验概率未知时，采用极大似 然译码准则不一定使 最小。 l 关于极大似然译码准则： 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要
9、的译码规则（续8 8） 当输入符号等概分布时 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要的译码规则（续9 9） 例3： 设信道矩阵为 ，且输入符号等概 分布，即 ，求译码规则和平均 错误译码概率。 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要的译码规则（续1010） 解： 因为输入符号为等概分布，所以由最大似然译码 规则可得 译码规则 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要的译码规则（续1111） 译码规则
10、A 译码规则 B 例 6.3 假设输入等概，求以下两种 译码规则的平均错误译码概率。 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要的译码规则（续1212） 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要的译码规则（续1313） 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 5. 5. 两种重要的译码规则（续两种重要的译码规则（续1414） 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 6. Fano6. Fano不等式不等式 l 定理6.1 平均
11、错误概率与信道疑义度H(X|Y)满足不等式 ： 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 0 1 0 1 7. 7. 简单重复编码简单重复编码 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 7. 7. 简单重复编码（续简单重复编码（续1 1） 二元对称信道 的三次扩展信道 M =2 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 由最大似然译码规则，可得 7. 7. 简单重复编码（续简单重复编码（续2 2） 自动纠正一位错 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 7. 7. 简单重复编码（续简单重复编码（续3 3） l 在
12、输入符号集（M个符号）等概的条件下，每个符 号平均携带的最大信息量是 。 l 当用n个码元符号来传输M个信源符号时，每个码符 号携带的平均信息量，即信道信息传输率为： l 不重复编码时(n=1)， l 重复编码时(n=3)， 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 n =1, R=1, n =3, R=1/3, n =5, R =1/5, n =7, R =1/7, n =9, R =1/9, n =11, R =1/11, 增加重复次数n，可使 减小很多，但信息传输率 R也减少很多。 7. 7. 简单重复编码（续简单重复编码（续4 4） 第六章：有噪信道编码第六章：有噪
13、信道编码 信道编码的相关概念 7. 7. 简单重复编码（续简单重复编码（续5 5） 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 l 如果在扩展信源的 个码符号序列中任意选择M个序 列作为信道的输入，以代表M个信源消息。 l 因此若选择“000”和“001”代表消息“0”和 “1”，则 7. 7. 简单重复编码（续简单重复编码（续6 6） 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 l 有没有一种很简便的方法，帮我们选择平均错误概 率最小的M个序列？ 7. 7. 简单重复编码（续简单重复编码（续7 7） 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关
14、概念 8. 8. 汉明距离汉明距离 1）汉明距离 2）码的最小距离 3）汉明距离与极大似然译码准则 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 8. 8. 汉明距离（续汉明距离（续1 1） 定义6.4 设 和 表示两个长 度为n的码符号序列，定义 称 为码字 和 之间的汉明距离。 1）汉明距离 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 8. 8. 汉明距离（续汉明距离（续2 2） 例4：求下面两个码字之间的汉明距离。 解： 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 8. 8. 汉明距离（续汉明距离（续3 3） 定义6.5 在二元码C中，任意两个码字之间的汉明距离 的最小值，被称为码C的最小距离： 2）码的最小距离 第六章：有噪信道编码第六章：有噪信道编码 信道编码的相关概念 8. 8. 汉明距离（续汉明距离（续4 4） 例5：设有n=3的两组码，分别求它们的最小汉明距离。 解： 码 的最小汉明距离为 码 的最小汉明距离为 第
