《信道编码原理PPT课件》由会员分享，可在线阅读，更多相关《信道编码原理PPT课件（71页珍藏版）》请在金锄头文库上搜索。
1、第第5 5章信道编码原理章信道编码原理 第第5章信道编码原理章信道编码原理 信道及其数学模型信道及其数学模型信道及其数学模型信道及其数学模型 信道编码的基本概念信道编码的基本概念信道编码的基本概念信道编码的基本概念 译码准则译码准则译码准则译码准则 编码原则编码原则编码原则编码原则 抗干扰信道编码定理及逆定理抗干扰信道编码定理及逆定理抗干扰信道编码定理及逆定理抗干扰信道编码定理及逆定理 第第5 5章信道编码原理章信道编码原理 信道及其数学模型信道及其数学模型 有噪声信道编码的主要目的是提高传输可靠性，有噪声信道编码的主要目的是提高传输可靠性，有噪声信道编码的主要目的是提高传输可靠性，有噪声信道
2、编码的主要目的是提高传输可靠性，增加抗干扰能力，因此也称为增加抗干扰能力，因此也称为增加抗干扰能力，因此也称为增加抗干扰能力，因此也称为纠错编码纠错编码纠错编码纠错编码或或或或抗干抗干抗干抗干扰扰扰扰编码编码编码编码。 信源编码之后的码字序列抗干扰能力很脆弱，信源编码之后的码字序列抗干扰能力很脆弱，信源编码之后的码字序列抗干扰能力很脆弱，信源编码之后的码字序列抗干扰能力很脆弱，在信道噪声的影响下容易产生差错，为了提高在信道噪声的影响下容易产生差错，为了提高在信道噪声的影响下容易产生差错，为了提高在信道噪声的影响下容易产生差错，为了提高通信系统的有效性和可靠性，要在信源编码器通信系统的有效性和可
3、靠性，要在信源编码器通信系统的有效性和可靠性，要在信源编码器通信系统的有效性和可靠性，要在信源编码器和信道之间加上一个信道编码器。和信道之间加上一个信道编码器。和信道之间加上一个信道编码器。和信道之间加上一个信道编码器。第第5 5章信道编码原理章信道编码原理 不研究信号在信道中传输的物理过程，并假定信道的传不研究信号在信道中传输的物理过程，并假定信道的传不研究信号在信道中传输的物理过程，并假定信道的传不研究信号在信道中传输的物理过程，并假定信道的传输特性是已知的，将信道用其输入输特性是已知的，将信道用其输入输特性是已知的，将信道用其输入输特性是已知的，将信道用其输入/ /输出的统计关系模型来输
4、出的统计关系模型来输出的统计关系模型来输出的统计关系模型来描述，信道的分类方法有：描述，信道的分类方法有：描述，信道的分类方法有：描述，信道的分类方法有： 信道分类信道分类（1 1）按输入输出信号在幅度和时间上的取值分：）按输入输出信号在幅度和时间上的取值分：）按输入输出信号在幅度和时间上的取值分：）按输入输出信号在幅度和时间上的取值分： 数字信道或离散信道数字信道或离散信道数字信道或离散信道数字信道或离散信道、模拟信道或波形信道模拟信道或波形信道模拟信道或波形信道模拟信道或波形信道和和和和连续信道连续信道连续信道连续信道。（2 2）按输入）按输入）按输入）按输入/ /输出之间关系的记忆性分输
5、出之间关系的记忆性分输出之间关系的记忆性分输出之间关系的记忆性分, ,可分为可分为可分为可分为无记忆信道无记忆信道无记忆信道无记忆信道和和和和有记忆信道有记忆信道有记忆信道有记忆信道（3 3） 按输入按输入按输入按输入/ /输出信号之间的关系是否是确定分，可分为输出信号之间的关系是否是确定分，可分为输出信号之间的关系是否是确定分，可分为输出信号之间的关系是否是确定分，可分为有有有有噪声信道噪声信道噪声信道噪声信道和和和和无噪声信道无噪声信道无噪声信道无噪声信道。 第第5 5章信道编码原理章信道编码原理 基本离散信道允许输入基本离散信道允许输入基本离散信道允许输入基本离散信道允许输入r r( (
6、任意正整数任意正整数任意正整数任意正整数) )种不同的离散符号种不同的离散符号种不同的离散符号种不同的离散符号a ai i( (i i1 1，2 2，r r) )，其相应的输出为，其相应的输出为，其相应的输出为，其相应的输出为s s( (任意正整数任意正整数任意正整数任意正整数) )种不同种不同种不同种不同的离散符号的离散符号的离散符号的离散符号b bj j( (j j1 1，2 2，s) s)。如图所示。如图所示。如图所示。如图所示。 信道数学模型信道数学模型1. 1. 基本离散信道基本离散信道基本离散信道基本离散信道第第5 5章信道编码原理章信道编码原理 输入符号集输入符号集输入符号集输入
7、符号集X X= =a a1 1, ,a a2 2,a ar r， 输出符号集输出符号集输出符号集输出符号集Y Y= =b b1 1, ,b b2 2,b bs s 条件概率条件概率条件概率条件概率p p( (b bj j| |a ai i)( )(i i=1,2,=1,2,r r; ;j j=1,2,=1,2,s s) ) 为为为为信道的传递信道的传递信道的传递信道的传递概率概率概率概率注：注：注：注：符号集符号集符号集符号集X X和和和和Y Y之间可完全相同、部分相同或完全不同。之间可完全相同、部分相同或完全不同。之间可完全相同、部分相同或完全不同。之间可完全相同、部分相同或完全不同。 符号
8、种数符号种数符号种数符号种数r r和和和和s s可相等，也可不等。可相等，也可不等。可相等，也可不等。可相等，也可不等。第第5 5章信道编码原理章信道编码原理 要完整描述信道的传递特性必须测定要完整描述信道的传递特性必须测定要完整描述信道的传递特性必须测定要完整描述信道的传递特性必须测定r r s s个条件概率，个条件概率，个条件概率，个条件概率，并并并并将将将将r r s s个条件概率排列成一个个条件概率排列成一个个条件概率排列成一个个条件概率排列成一个r r s s阶矩阵阶矩阵阶矩阵阶矩阵 基本离散信道的信道矩阵基本离散信道的信道矩阵基本离散信道的信道矩阵基本离散信道的信道矩阵(i=1,2
9、,r)。 式中：式中：式中：式中：第第5 5章信道编码原理章信道编码原理 注：注：注：注：（1 1）p p( (b bj j| |a ai i)=0)=0时，表示在输入符号为时，表示在输入符号为时，表示在输入符号为时，表示在输入符号为a ai i( (i i1 1，2 2，r r) ) 的前提下，信道不可能输出的前提下，信道不可能输出的前提下，信道不可能输出的前提下，信道不可能输出b bj j( (j j1 1，2 2，s s) )；（2 2）p p( (b bj j| |a ai i) )1 1时，表示在输入符号为时，表示在输入符号为时，表示在输入符号为时，表示在输入符号为a ai i( (
10、i i1 1，2 2，r r) ) 的前提下，信道输出的前提下，信道输出的前提下，信道输出的前提下，信道输出b bj j( (j j1 1，2 2，s s) )是一个确定事是一个确定事是一个确定事是一个确定事 件。件。件。件。（3 3）由于噪声的随机干扰使得在信道输入某符号）由于噪声的随机干扰使得在信道输入某符号）由于噪声的随机干扰使得在信道输入某符号）由于噪声的随机干扰使得在信道输入某符号a ai i( (i i1 1， 2 2，r r) )的前提下，信道输出哪一种符号虽然是不确的前提下，信道输出哪一种符号虽然是不确的前提下，信道输出哪一种符号虽然是不确的前提下，信道输出哪一种符号虽然是不确
11、 定的，但一定是信道输出符号集定的，但一定是信道输出符号集定的，但一定是信道输出符号集定的，但一定是信道输出符号集Y=Y=b b1 1, ,b b2 2,b bs s中的中的中的中的 某一种符号。某一种符号。某一种符号。某一种符号。 第第5 5章信道编码原理章信道编码原理 【例【例【例【例5 51 1】二元对称信道简记为二元对称信道简记为二元对称信道简记为二元对称信道简记为BSC(BinarySymmetricChannel)BSC(BinarySymmetricChannel)，其输入，其输入，其输入，其输入/ /输出符号均取值输出符号均取值输出符号均取值输出符号均取值于于于于00，11，若
12、，若，若，若r r= =s s=2=2，且，且，且，且a a1 1= =b b1 1=0=0，a a2 2= =b b2 2=1=1，有转移概率，有转移概率，有转移概率，有转移概率 第第5 5章信道编码原理章信道编码原理 则则则则BSCBSC的信道转移概率矩阵的信道转移概率矩阵的信道转移概率矩阵的信道转移概率矩阵P P为为为为 0 1二元对称信道转移图如图二元对称信道转移图如图二元对称信道转移图如图二元对称信道转移图如图5 5 5 52 2 2 2所示。所示。所示。所示。可见，这些转移概率满足可见，这些转移概率满足可见，这些转移概率满足可见，这些转移概率满足 第第5 5章信道编码原理章信道编码
13、原理 图图图图5 52 2二元对称信道转移图二元对称信道转移图二元对称信道转移图二元对称信道转移图 第第5 5章信道编码原理章信道编码原理 【例【例【例【例5 52 2】二元删除信道简记为二元删除信道简记为二元删除信道简记为二元删除信道简记为BEC(BinaryErasureChannel)BEC(BinaryErasureChannel)，它的输入它的输入它的输入它的输入X X取值于取值于取值于取值于00，11，输出符号输出符号输出符号输出符号Y Y取值于取值于取值于取值于00，2 2，11，因，因，因，因r r=2=2，s s=3=3，则信道转移矩阵，则信道转移矩阵，则信道转移矩阵，则信道
14、转移矩阵为为为为 0 2 10 2 1信道转移图如图所示信道转移图如图所示信道转移图如图所示信道转移图如图所示第第5 5章信道编码原理章信道编码原理 设基本离散信道的输入符号集为设基本离散信道的输入符号集为设基本离散信道的输入符号集为设基本离散信道的输入符号集为X X= =a a1 1, ,a a2 2,a ar r，输，输，输，输出符号集为出符号集为出符号集为出符号集为Y Y= =b b1 1, ,b b2 2,b bs s，传递概率为，传递概率为，传递概率为，传递概率为p p( (Y Y| |X X)=)=p p( (b bj j| |a ai i) )；又设多符号离散平稳信源；又设多符号
15、离散平稳信源；又设多符号离散平稳信源；又设多符号离散平稳信源X X= =X X1 1X X2 2X XN N其每一时刻的随机其每一时刻的随机其每一时刻的随机其每一时刻的随机变量变量变量变量X Xk k( (k k=1,2,=1,2,N N) )均取自信道的输入符号集均取自信道的输入符号集均取自信道的输入符号集均取自信道的输入符号集X X= =a a1 1, ,a a2 2,a ar r, ,可知信源可知信源可知信源可知信源X X= =X XX X2 2X Xn n共有共有共有共有r rN N种不同的消种不同的消种不同的消种不同的消息，某一具体的消息可表示为息，某一具体的消息可表示为息，某一具体
16、的消息可表示为息，某一具体的消息可表示为 （5 53 3） 式中：式中：式中：式中：a ai i1 1, ,a ai i2 2,a ai iN NX X= =a a1 1, ,a a2 2,a ar r； i i1 1，i i2 2，iNiN=1=1，2 2，r r( (i i=1,2,=1,2,r rN N) )。 2. 2. 离散无记忆扩展信道离散无记忆扩展信道离散无记忆扩展信道离散无记忆扩展信道基本离散信道的基本离散信道的基本离散信道的基本离散信道的N N次扩展信道：次扩展信道：次扩展信道：次扩展信道：第第5 5章信道编码原理章信道编码原理 图图图图5 54 4N N次扩展信道次扩展信道
17、次扩展信道次扩展信道 第第5 5章信道编码原理章信道编码原理 输出的随机变量序列输出的随机变量序列输出的随机变量序列输出的随机变量序列Y Y= =Y Y1 1Y Y2 2Y YN N共有共有共有共有s sN N种不同的消息，种不同的消息，种不同的消息，种不同的消息，其中某一具体的消息可表示为其中某一具体的消息可表示为其中某一具体的消息可表示为其中某一具体的消息可表示为 式中：式中：式中：式中： j j1 1，j j2 2，jNjN=1=1，2 2，s s ( (j j=1,2,=1,2,s sN N) )。 基本离散信道的基本离散信道的基本离散信道的基本离散信道的N N次扩展信道：次扩展信道：
18、次扩展信道：次扩展信道：（1 1 1 1）从整个传递作用的效果来看，信道的输入是从整个传递作用的效果来看，信道的输入是从整个传递作用的效果来看，信道的输入是从整个传递作用的效果来看，信道的输入是X X= =X X1 1X X2 2X XN N，输出是输出是输出是输出是Y Y= =Y Y1 1Y Y2 2Y YN N。（2 2 2 2）与基本离散信道相比，）与基本离散信道相比，）与基本离散信道相比，）与基本离散信道相比，N N次扩展信道的输入符号数由次扩展信道的输入符号数由次扩展信道的输入符号数由次扩展信道的输入符号数由r r种扩展为种扩展为种扩展为种扩展为r rN N种种种种, ,输出符号数由
19、输出符号数由输出符号数由输出符号数由s s种扩展为种扩展为种扩展为种扩展为s sN N种。种。种。种。 第第5 5章信道编码原理章信道编码原理 N N次扩展信道的传递矩阵次扩展信道的传递矩阵次扩展信道的传递矩阵次扩展信道的传递矩阵式中：式中：式中：式中： ( (i i=1,2,=1,2, ,r rN N) )。 第第5 5章信道编码原理章信道编码原理 离散无记忆信道的离散无记忆信道的离散无记忆信道的离散无记忆信道的N N N N次扩展信道次扩展信道次扩展信道次扩展信道 即即即即 第第5 5章信道编码原理章信道编码原理 【例【例【例【例5 53 3】已知某二进制对称离散无记忆信道。设信道的输已知
20、某二进制对称离散无记忆信道。设信道的输已知某二进制对称离散无记忆信道。设信道的输已知某二进制对称离散无记忆信道。设信道的输入符号集为入符号集为入符号集为入符号集为X X= =0,10,1，输出符号集为，输出符号集为，输出符号集为，输出符号集为Y Y= =0,10,1，信道的矩，信道的矩，信道的矩，信道的矩阵为阵为阵为阵为 其中：其中：其中：其中：，求此离散无记忆信道的，求此离散无记忆信道的，求此离散无记忆信道的，求此离散无记忆信道的二次扩展信道的信道矩阵。二次扩展信道的信道矩阵。二次扩展信道的信道矩阵。二次扩展信道的信道矩阵。 第第5 5章信道编码原理章信道编码原理 解：解：解：解：二次扩展信
21、道的信道矩阵为二次扩展信道的信道矩阵为二次扩展信道的信道矩阵为二次扩展信道的信道矩阵为注：注：注：注：离散无记忆信道的二次扩展信道同样也是对称信道。离散无记忆信道的二次扩展信道同样也是对称信道。离散无记忆信道的二次扩展信道同样也是对称信道。离散无记忆信道的二次扩展信道同样也是对称信道。 第第5 5章信道编码原理章信道编码原理 信道编码的基本概念信道编码的基本概念 信息传输的有效性与可靠性是辨证统一的，信道编码的主信息传输的有效性与可靠性是辨证统一的，信道编码的主信息传输的有效性与可靠性是辨证统一的，信道编码的主信息传输的有效性与可靠性是辨证统一的，信道编码的主要目的就是改善传输系统的质量，从而
22、达到传输既有效、又要目的就是改善传输系统的质量，从而达到传输既有效、又要目的就是改善传输系统的质量，从而达到传输既有效、又要目的就是改善传输系统的质量，从而达到传输既有效、又可靠的目的。可靠的目的。可靠的目的。可靠的目的。基本概念基本概念1 1） 差错类型差错类型差错类型差错类型 1独立随机差错独立随机差错独立随机差错独立随机差错: 在无记忆信道中出现，数据流中发生的错误彼此无关在无记忆信道中出现，数据流中发生的错误彼此无关 。 2突发错误突发错误突发错误突发错误: 在有记忆信道中，数据流中一个错误的发生在有记忆信道中，数据流中一个错误的发生 , 带来一连带来一连 串错误的发生。串错误的发生。
23、 3混合差错混合差错混合差错混合差错第第5 5章信道编码原理章信道编码原理 2）信道编码分类：）信道编码分类： 纠独立随机差错码、纠突发差错码和纠混合差错纠独立随机差错码、纠突发差错码和纠混合差错纠独立随机差错码、纠突发差错码和纠混合差错纠独立随机差错码、纠突发差错码和纠混合差错码。码。码。码。3）信道编码的基本思路：）信道编码的基本思路： 根据一定的规律在待发送的信息码中加入一些多根据一定的规律在待发送的信息码中加入一些多根据一定的规律在待发送的信息码中加入一些多根据一定的规律在待发送的信息码中加入一些多余的码元，以保证传输过程的可靠性。其任务就是余的码元，以保证传输过程的可靠性。其任务就是
24、余的码元，以保证传输过程的可靠性。其任务就是余的码元，以保证传输过程的可靠性。其任务就是构造出以最小多余度代价换取最大抗干扰性能的构造出以最小多余度代价换取最大抗干扰性能的构造出以最小多余度代价换取最大抗干扰性能的构造出以最小多余度代价换取最大抗干扰性能的“好码好码好码好码”。第第5 5章信道编码原理章信道编码原理 4 4）好的错误控制编码方案的目标：）好的错误控制编码方案的目标：）好的错误控制编码方案的目标：）好的错误控制编码方案的目标： (1) (1) (1) (1)用可以纠正的错误个数来衡量纠错能力用可以纠正的错误个数来衡量纠错能力用可以纠正的错误个数来衡量纠错能力用可以纠正的错误个数来
25、衡量纠错能力; ; ; ; (2) (2) (2) (2)快速有效地对消息进行编码快速有效地对消息进行编码快速有效地对消息进行编码快速有效地对消息进行编码; ; ; ; (3) (3) (3) (3)快速有效地对接收到的消息进行译码快速有效地对接收到的消息进行译码快速有效地对接收到的消息进行译码快速有效地对接收到的消息进行译码; ; ; ; (4) (4) (4) (4)单位时间内所能传输的信息比特数尽量大单位时间内所能传输的信息比特数尽量大单位时间内所能传输的信息比特数尽量大单位时间内所能传输的信息比特数尽量大( ( ( (即有少的即有少的即有少的即有少的冗余度冗余度冗余度冗余度) ) )
26、)。上述上述上述上述第第第第(1)(1)个目标是最基本的个目标是最基本的个目标是最基本的个目标是最基本的。为了增加一个编码方案。为了增加一个编码方案。为了增加一个编码方案。为了增加一个编码方案的纠错能力，必须引入更多的冗余度。但增加的冗余度会造的纠错能力，必须引入更多的冗余度。但增加的冗余度会造的纠错能力，必须引入更多的冗余度。但增加的冗余度会造的纠错能力，必须引入更多的冗余度。但增加的冗余度会造成实际信息传输速率的降低。因此第成实际信息传输速率的降低。因此第成实际信息传输速率的降低。因此第成实际信息传输速率的降低。因此第(1)(1)个和第个和第个和第个和第(4)(4)个目标不个目标不个目标不
27、个目标不完全相容。另外，为了能纠正更多的错误，编码策略会变得完全相容。另外，为了能纠正更多的错误，编码策略会变得完全相容。另外，为了能纠正更多的错误，编码策略会变得完全相容。另外，为了能纠正更多的错误，编码策略会变得更复杂，于是第更复杂，于是第更复杂，于是第更复杂，于是第(2)(2)个和第个和第个和第个和第(3)(3)个目标也很难达到。个目标也很难达到。个目标也很难达到。个目标也很难达到。 第第5 5章信道编码原理章信道编码原理 1. 1. 译码规则（译码函数）译码规则（译码函数）译码规则（译码函数）译码规则（译码函数）使每一种可能的输出符号使每一种可能的输出符号使每一种可能的输出符号使每一种
28、可能的输出符号b bj j( (j j=1,2,=1,2, ,s s) )与一个惟一的与一个惟一的与一个惟一的与一个惟一的输入符号输入符号输入符号输入符号a ai i( (i i=1,2,=1,2, ,r r) )一一对应。函数一一对应。函数一一对应。函数一一对应。函数F F( (b bj j)=)=a ai i即为即为即为即为译码译码译码译码函数或译码规则函数或译码规则函数或译码规则函数或译码规则。 平均错误概率平均错误概率依据一定的判决准则设计一个单值函数依据一定的判决准则设计一个单值函数依据一定的判决准则设计一个单值函数依据一定的判决准则设计一个单值函数第第5 5章信道编码原理章信道编码
29、原理 注：注：注：注：（1 1）对输入符号集为对输入符号集为对输入符号集为对输入符号集为X X= =a a1 1, ,a a2 2,a ar r，输出符，输出符，输出符，输出符号集为号集为号集为号集为Y Y= = b b1 1, ,b b2 2,b bs s的信道来说，一共可构的信道来说，一共可构的信道来说，一共可构的信道来说，一共可构成成成成r rs s种不同的译码规则。种不同的译码规则。种不同的译码规则。种不同的译码规则。 例：例：例：例：二进制对称信道，其输入符号集为二进制对称信道，其输入符号集为二进制对称信道，其输入符号集为二进制对称信道，其输入符号集为X X= =0,10,1, ,输
30、出输出输出输出符号符号符号符号 集为集为集为集为Y Y= =0,10,1，则可构成，则可构成，则可构成，则可构成r rs s=2=22 2=4=4种译码规则。种译码规则。种译码规则。种译码规则。 译码规则译码规则译码规则译码规则(1)(1)(1)(1)：F(0)=0,F(1)=0F(0)=0,F(1)=0F(0)=0,F(1)=0F(0)=0,F(1)=0译码规则译码规则译码规则译码规则(2)(2)(2)(2)：F(0)=0,F(1)=1F(0)=0,F(1)=1F(0)=0,F(1)=1F(0)=0,F(1)=1译码规则译码规则译码规则译码规则(3)(3)(3)(3)：F(0)=1,F(1)
31、=0F(0)=1,F(1)=0F(0)=1,F(1)=0F(0)=1,F(1)=0译码规则译码规则译码规则译码规则(4)(4)：F(0)=1F(0)=1，F(1)=1F(1)=1第第5 5章信道编码原理章信道编码原理 例：例：例：例：若已知二进制对称信道传递矩阵为若已知二进制对称信道传递矩阵为若已知二进制对称信道传递矩阵为若已知二进制对称信道传递矩阵为 其信源符号其信源符号其信源符号其信源符号“0 0”和和和和“1 1”的正确传递概率均为的正确传递概率均为的正确传递概率均为的正确传递概率均为p p=1/4=1/4；“0 0”和和和和“1 1”的错误传递概率均为的错误传递概率均为的错误传递概率均
32、为的错误传递概率均为p p3 34 4。 注：注：注：注：（2 2） 不同的译码规则会引起不同的可靠程度。不同的译码规则会引起不同的可靠程度。不同的译码规则会引起不同的可靠程度。不同的译码规则会引起不同的可靠程度。第第5 5章信道编码原理章信道编码原理 如采取译码规则如采取译码规则如采取译码规则如采取译码规则(2)(2)，F(0)=0,F(1)=1F(0)=0,F(1)=1F(0)=0,F(1)=1F(0)=0,F(1)=1，则信道输出端出，则信道输出端出，则信道输出端出，则信道输出端出现现现现“0 0”和和和和“1 1”的正确译码概率分别是：的正确译码概率分别是：的正确译码概率分别是：的正确
33、译码概率分别是： 这意味着从统计的观点看，在这种译码规则下信道输这意味着从统计的观点看，在这种译码规则下信道输这意味着从统计的观点看，在这种译码规则下信道输这意味着从统计的观点看，在这种译码规则下信道输出端出现的四个符号出端出现的四个符号出端出现的四个符号出端出现的四个符号“0 0”( (或或或或“1 1”) )中，只能有一个能得中，只能有一个能得中，只能有一个能得中，只能有一个能得到正确译码。到正确译码。到正确译码。到正确译码。 第第5 5章信道编码原理章信道编码原理 如采用译码规则如采用译码规则如采用译码规则如采用译码规则(3)(3)。F(0)=1,F(1)=0F(0)=1,F(1)=0F
34、(0)=1,F(1)=0F(0)=1,F(1)=0，则信道输出端出，则信道输出端出，则信道输出端出，则信道输出端出现现现现“0 0”和和和和“1 1”的正确译码概率分别是：的正确译码概率分别是：的正确译码概率分别是：的正确译码概率分别是： 这意味着从统计的观点看，在这种译码规则下信道输出这意味着从统计的观点看，在这种译码规则下信道输出这意味着从统计的观点看，在这种译码规则下信道输出这意味着从统计的观点看，在这种译码规则下信道输出端出现的四个符号端出现的四个符号端出现的四个符号端出现的四个符号“0 0”( (或或或或“1 1”) )中有三个能得到正确译码。中有三个能得到正确译码。中有三个能得到正
35、确译码。中有三个能得到正确译码。 第第5 5章信道编码原理章信道编码原理 当信道的输入符号是当信道的输入符号是当信道的输入符号是当信道的输入符号是a ai i，在信道输出端接收到某符号，在信道输出端接收到某符号，在信道输出端接收到某符号，在信道输出端接收到某符号b bj j( (j j=1,2,=1,2,s s) )后，正确译码的概率后，正确译码的概率后，正确译码的概率后，正确译码的概率p prj rj为为为为是在信道输出端出是在信道输出端出是在信道输出端出是在信道输出端出现现现现b bj j( (j j=1,2,=1,2,s s) )的前提下，推测信道输入符号的前提下，推测信道输入符号的前提
36、下，推测信道输入符号的前提下，推测信道输入符号a ai i的后验概的后验概的后验概的后验概率，即率，即率，即率，即 2. 2. 正确译码概率正确译码概率正确译码概率正确译码概率P Prj rj第第5 5章信道编码原理章信道编码原理 当信道的输入符号是当信道的输入符号是当信道的输入符号是当信道的输入符号是a ai i，在信道输出端接收到某符号，在信道输出端接收到某符号，在信道输出端接收到某符号，在信道输出端接收到某符号b bj j( (j j=1,2,=1,2,s s) )后，错误译码的概率后，错误译码的概率后，错误译码的概率后，错误译码的概率p pej ej为信道输出端出现为信道输出端出现为信
37、道输出端出现为信道输出端出现b bj j( (j j=1,2,=1,2,s s) )的前提下，推测信道输入的符号是除了的前提下，推测信道输入的符号是除了的前提下，推测信道输入的符号是除了的前提下，推测信道输入的符号是除了a ai i以以以以外的其他任何可能的输入符号的后验概率，即外的其他任何可能的输入符号的后验概率，即外的其他任何可能的输入符号的后验概率，即外的其他任何可能的输入符号的后验概率，即 式中：式中：式中：式中：e e表示除了表示除了表示除了表示除了F F( (b bj j)=)=a ai i以外的所有可能的输入符号的集合。以外的所有可能的输入符号的集合。以外的所有可能的输入符号的集
38、合。以外的所有可能的输入符号的集合。 3. 3. 错误译码概率错误译码概率错误译码概率错误译码概率P Pej ej注：注：注：注：第第5 5章信道编码原理章信道编码原理 4. 4. 平均错误译码概率平均错误译码概率平均错误译码概率平均错误译码概率P Pe e第第5 5章信道编码原理章信道编码原理 注：注：注：注：（1 1 1 1）平均错误译码的概率平均错误译码的概率平均错误译码的概率平均错误译码的概率P P P Pe e e e：表示在信道输出端每收到一：表示在信道输出端每收到一：表示在信道输出端每收到一：表示在信道输出端每收到一个符号其产生错误译码的可能性的大小个符号其产生错误译码的可能性的
39、大小个符号其产生错误译码的可能性的大小个符号其产生错误译码的可能性的大小。（2 2 2 2）平均错误译码的概率平均错误译码的概率平均错误译码的概率平均错误译码的概率P Pe e可作为信道传输可靠性的衡量可作为信道传输可靠性的衡量可作为信道传输可靠性的衡量可作为信道传输可靠性的衡量标准；标准；标准；标准；（3 3 3 3）平均错误译码的概率平均错误译码的概率平均错误译码的概率平均错误译码的概率P Pe e取决于信道输出随机变量的概取决于信道输出随机变量的概取决于信道输出随机变量的概取决于信道输出随机变量的概率空间率空间率空间率空间P(Y)P(Y)、信道的后验概率分布、信道的后验概率分布、信道的后
40、验概率分布、信道的后验概率分布P(X|Y)P(X|Y)以及译码规则以及译码规则以及译码规则以及译码规则；（4 4）选择合适的译码规则可降低平均错误译码的概率选择合适的译码规则可降低平均错误译码的概率选择合适的译码规则可降低平均错误译码的概率选择合适的译码规则可降低平均错误译码的概率 。 第第5 5章信道编码原理章信道编码原理 描述了平均错误译码概率描述了平均错误译码概率描述了平均错误译码概率描述了平均错误译码概率P Pe e与信道疑义度与信道疑义度与信道疑义度与信道疑义度HH( (X X| |Y Y) )的内在联系，即的内在联系，即的内在联系，即的内在联系，即 H(XY) H(Pe)十Pe1o
41、ga(r-1) 费诺不等式费诺不等式第第5 5章信道编码原理章信道编码原理 （2 2 2 2）费诺不等式表明，在收到信道输出随机变量后，对输费诺不等式表明，在收到信道输出随机变量后，对输费诺不等式表明，在收到信道输出随机变量后，对输费诺不等式表明，在收到信道输出随机变量后，对输 入随机变量仍然存在的平均不确定性入随机变量仍然存在的平均不确定性入随机变量仍然存在的平均不确定性入随机变量仍然存在的平均不确定性HH( (X X| |Y Y) )由两部分由两部分由两部分由两部分 组成：组成：组成：组成：第一部分第一部分第一部分第一部分是收到输出随机变量后，按选择的译是收到输出随机变量后，按选择的译是收
42、到输出随机变量后，按选择的译是收到输出随机变量后，按选择的译 码规则译码时，是否产生错误译码的平均不确定性码规则译码时，是否产生错误译码的平均不确定性码规则译码时，是否产生错误译码的平均不确定性码规则译码时，是否产生错误译码的平均不确定性 HH( (P Pe e) )；第二部分第二部分第二部分第二部分是当平均错误译码概率为是当平均错误译码概率为是当平均错误译码概率为是当平均错误译码概率为P Pe e时，到底时，到底时，到底时，到底 是哪一个信源符号被错误译码的最大平均不确定性是哪一个信源符号被错误译码的最大平均不确定性是哪一个信源符号被错误译码的最大平均不确定性是哪一个信源符号被错误译码的最大
43、平均不确定性 P Pe e1og1oga a( (r r-1)-1)。注注注注：（1 1 1 1）不论采用什么准则选择译码规则，费诺不等式都是普不论采用什么准则选择译码规则，费诺不等式都是普不论采用什么准则选择译码规则，费诺不等式都是普不论采用什么准则选择译码规则，费诺不等式都是普 遍成立的。遍成立的。遍成立的。遍成立的。 第第5 5章信道编码原理章信道编码原理 按什么准则来选择合适的译码规则使其平均按什么准则来选择合适的译码规则使其平均按什么准则来选择合适的译码规则使其平均按什么准则来选择合适的译码规则使其平均错误译码概率错误译码概率错误译码概率错误译码概率P P P Pe e e e达到最
44、小，是达到最小，是达到最小，是达到最小，是提高由给定信源、提高由给定信源、提高由给定信源、提高由给定信源、给定信道组成的信息传输系统的可靠性给定信道组成的信息传输系统的可靠性给定信道组成的信息传输系统的可靠性给定信道组成的信息传输系统的可靠性的关键的关键的关键的关键问题。问题。问题。问题。 译码准则译码准则第第5 5章信道编码原理章信道编码原理 最大后验概率译码准则最大后验概率译码准则证明：证明：证明：证明：设基本离散信道传递矩阵为设基本离散信道传递矩阵为设基本离散信道传递矩阵为设基本离散信道传递矩阵为1. 1. 对于给定信源和给定信道来说，后验概率和信对于给定信源和给定信道来说，后验概率和信
45、对于给定信源和给定信道来说，后验概率和信对于给定信源和给定信道来说，后验概率和信道输出随机变量道输出随机变量道输出随机变量道输出随机变量Y Y的概率分布都是固定不变的的概率分布都是固定不变的的概率分布都是固定不变的的概率分布都是固定不变的(5(516)16)第第5 5章信道编码原理章信道编码原理 由由由由 可得可得可得可得r rs s个确定的后验概率个确定的后验概率个确定的后验概率个确定的后验概率，构成后验概率矩阵构成后验概率矩阵构成后验概率矩阵构成后验概率矩阵 （5 51818） (5(517)17)第第5 5章信道编码原理章信道编码原理 由给定的信源由给定的信源由给定的信源由给定的信源X
46、X的概率分布和信道的传递概率，可求得的概率分布和信道的传递概率，可求得的概率分布和信道的传递概率，可求得的概率分布和信道的传递概率，可求得信道输出随机变量信道输出随机变量信道输出随机变量信道输出随机变量Y Y的的的的s s个概率分量个概率分量个概率分量个概率分量 (5(519) 19) 式式式式(5(5(5(517)17)17)17)和和和和式式式式(5(5(5(519)19)19)19)表表表表明明明明，对对对对于于于于给给给给定定定定信信信信源源源源和和和和给给给给定定定定信信信信道道道道来来来来说说说说，后后后后验验验验概概概概率率率率和和和和信信信信道道道道输输输输出出出出随随随随机机
47、机机变变变变量量量量Y Y Y Y的的的的概概概概率率率率分分分分布布布布也也也也都都都都是是是是固固固固定定定定不变的。不变的。不变的。不变的。第第5 5章信道编码原理章信道编码原理 推导：推导：推导：推导： 平均错误译码概率平均错误译码概率平均错误译码概率平均错误译码概率P Pe e为：为：为：为：（5 52020） 达到最大。达到最大。达到最大。达到最大。2. 2. 最大后验概率译码准则最大后验概率译码准则最大后验概率译码准则最大后验概率译码准则 对于给定信源和给定信道，即对于给定信源和给定信道，即对于给定信源和给定信道，即对于给定信源和给定信道，即p p( (b bj j)( )(i
48、i=1,2,=1,2,s s) )和和和和p p( (a ai i| |b bj j)( )(i i=1,2,=1,2,r r；j j=1,2,=1,2,s s) )是固定不变的，要是固定不变的，要是固定不变的，要是固定不变的，要使使使使P Pe e最小，势必要使最小，势必要使最小，势必要使最小，势必要使第第5 5章信道编码原理章信道编码原理 达到最大。若把这个最大者所对应的信源符号记为达到最大。若把这个最大者所对应的信源符号记为达到最大。若把这个最大者所对应的信源符号记为达到最大。若把这个最大者所对应的信源符号记为a a* *，即有，即有，即有，即有 (i1，2，r；j=1,2,s) （52
49、2） (i1，2，r；j=1,2,s) （523）（5 52121） 而要使式而要使式而要使式而要使式(5(520)20)达到最大，势必要使达到最大，势必要使达到最大，势必要使达到最大，势必要使 这就是说，要使平均错误译码概率这就是说，要使平均错误译码概率这就是说，要使平均错误译码概率这就是说，要使平均错误译码概率P Pe e达到最小，势必有达到最小，势必有达到最小，势必有达到最小，势必有第第5 5章信道编码原理章信道编码原理 因此，译码规则为因此，译码规则为因此，译码规则为因此，译码规则为 (5(524) 24) 式式式式(5(524)24)就是就是就是就是最大后验概率译码准则最大后验概率译
50、码准则最大后验概率译码准则最大后验概率译码准则。它表明，它表明，它表明，它表明，若若若若p p( (a a*| *|b bj j)( )(j j=1,2,=1,2, ,s s) )是信道输出端收到符号是信道输出端收到符号是信道输出端收到符号是信道输出端收到符号b bj j( (j j=1,2,=1,2, ,s s) )后，所推测出的信道输入后，所推测出的信道输入后，所推测出的信道输入后，所推测出的信道输入( (信源输出信源输出信源输出信源输出) )符符符符号号号号a ai i( (i i=1,2,=1,2, ,r r) )的的的的r r个后验概率个后验概率个后验概率个后验概率p p( (a a
51、i i| |b bj j)( )(i i=1,2,=1,2, ,r r; ;j j=1,2,=1,2, ,s s) )中的最大者，则可把中的最大者，则可把中的最大者，则可把中的最大者，则可把接收符号接收符号接收符号接收符号b bj j( (j j=1,2,=1,2, ,s s) )翻译成翻译成翻译成翻译成a a* *。 第第5 5章信道编码原理章信道编码原理 3. 3. 由最大后验概率译码函数由最大后验概率译码函数由最大后验概率译码函数由最大后验概率译码函数F(bF(bj j)=a*(j=1,2,s)=a*(j=1,2,s)构成的译码规则能使平均错误译码概率达到最小值构成的译码规则能使平均错误
52、译码概率达到最小值构成的译码规则能使平均错误译码概率达到最小值构成的译码规则能使平均错误译码概率达到最小值 (5(525) 25) 注：注：注：注：（1 1）最小平均错误译码概率最小平均错误译码概率最小平均错误译码概率最小平均错误译码概率P Peminemin取决于给定信源和给定信取决于给定信源和给定信取决于给定信源和给定信取决于给定信源和给定信道的统计特性。道的统计特性。道的统计特性。道的统计特性。（2 2）当信源和信道给定后，信息传输可靠性的最高程度也当信源和信道给定后，信息传输可靠性的最高程度也当信源和信道给定后，信息传输可靠性的最高程度也当信源和信道给定后，信息传输可靠性的最高程度也就
53、确定了。而这个最高的可靠程度必须依靠最大后验概率准就确定了。而这个最高的可靠程度必须依靠最大后验概率准就确定了。而这个最高的可靠程度必须依靠最大后验概率准就确定了。而这个最高的可靠程度必须依靠最大后验概率准则来选则译码规则才能得以实现。则来选则译码规则才能得以实现。则来选则译码规则才能得以实现。则来选则译码规则才能得以实现。 第第5 5章信道编码原理章信道编码原理 推导：推导：推导：推导：若信道输入符号若信道输入符号若信道输入符号若信道输入符号( (信源输出符号信源输出符号信源输出符号信源输出符号) )a ai i( (i i=1,2,=1,2,r r) )先验先验先验先验等概，即满足等概，即
54、满足等概，即满足等概，即满足（526） (527) 的条件时，因为的条件时，因为的条件时，因为的条件时，因为最大似然译码准则最大似然译码准则1. 1. 最大似然译码准则最大似然译码准则最大似然译码准则最大似然译码准则第第5 5章信道编码原理章信道编码原理 可有可有可有可有 (i=1,2,r；j=1,2,s) (5(528) 28) 则选择译码规则则选择译码规则则选择译码规则则选择译码规则 (5(529) 29) 可把可把可把可把b bj j( (j j=1,2,=1,2, ,s s) )翻译成信源符号翻译成信源符号翻译成信源符号翻译成信源符号a a* *a a1 1, ,a a2 2, , ,
55、a ar r，即即即即信道输入符号信道输入符号信道输入符号信道输入符号( (信源输出符号信源输出符号信源输出符号信源输出符号) )a ai i( (i i=1,2,=1,2,r r) )先验等概时，先验等概时，先验等概时，先验等概时，选择上述译码规则的准则称之为选择上述译码规则的准则称之为选择上述译码规则的准则称之为选择上述译码规则的准则称之为最大似然译码准则最大似然译码准则最大似然译码准则最大似然译码准则。 第第5 5章信道编码原理章信道编码原理 2. 2. 2. 2. 最大似然准则是在满足信道输入符号最大似然准则是在满足信道输入符号最大似然准则是在满足信道输入符号最大似然准则是在满足信道输
56、入符号( (信源输出信源输出信源输出信源输出符符符符 号号号号) )先验等概的特定条件下的最大后验概率准则，先验等概的特定条件下的最大后验概率准则，先验等概的特定条件下的最大后验概率准则，先验等概的特定条件下的最大后验概率准则， 平均错误译码概率平均错误译码概率平均错误译码概率平均错误译码概率P Pe e同样能够达到最小值同样能够达到最小值同样能够达到最小值同样能够达到最小值P Pe eminmin(530) 第第5 5章信道编码原理章信道编码原理 注注注注：（1 1 1 1）在信道输入符号在信道输入符号在信道输入符号在信道输入符号( (信源输出符号信源输出符号信源输出符号信源输出符号) )先
57、验等概的特定条件先验等概的特定条件先验等概的特定条件先验等概的特定条件下，下，下，下，采用最大似然准则选择译码规则所得的最小平均错误译采用最大似然准则选择译码规则所得的最小平均错误译采用最大似然准则选择译码规则所得的最小平均错误译采用最大似然准则选择译码规则所得的最小平均错误译码概率码概率码概率码概率P Pe e min min取决于等概信源所含符号数取决于等概信源所含符号数取决于等概信源所含符号数取决于等概信源所含符号数r r和信道的传递特性。和信道的传递特性。和信道的传递特性。和信道的传递特性。（2 2 2 2）在信道的输入符号在信道的输入符号在信道的输入符号在信道的输入符号( (信源的输
58、出符号信源的输出符号信源的输出符号信源的输出符号) )先验等概的特定先验等概的特定先验等概的特定先验等概的特定条件下，若信道输入符号数条件下，若信道输入符号数条件下，若信道输入符号数条件下，若信道输入符号数( (信源输出符号数信源输出符号数信源输出符号数信源输出符号数) )r r固定不变，固定不变，固定不变，固定不变，可通过改变信道的传递特性，使最小平均错误译码概率进一可通过改变信道的传递特性，使最小平均错误译码概率进一可通过改变信道的传递特性，使最小平均错误译码概率进一可通过改变信道的传递特性，使最小平均错误译码概率进一步下降，从而进一步提高信息传输的最高可靠度。实际上，步下降，从而进一步提
59、高信息传输的最高可靠度。实际上，步下降，从而进一步提高信息传输的最高可靠度。实际上，步下降，从而进一步提高信息传输的最高可靠度。实际上，这就是这就是这就是这就是抗干扰信道编码的基本理论依据抗干扰信道编码的基本理论依据抗干扰信道编码的基本理论依据抗干扰信道编码的基本理论依据。 第第5 5章信道编码原理章信道编码原理 【例【例【例【例5 54 4】设某信道的信道矩阵为设某信道的信道矩阵为设某信道的信道矩阵为设某信道的信道矩阵为 第第5 5章信道编码原理章信道编码原理 解：解：解：解： (1) (1) 因信道输入符号非先验等概，故只能采用最大后验因信道输入符号非先验等概，故只能采用最大后验因信道输入
60、符号非先验等概，故只能采用最大后验因信道输入符号非先验等概，故只能采用最大后验概率准则选择译码规则。由式概率准则选择译码规则。由式概率准则选择译码规则。由式概率准则选择译码规则。由式(5(517)17)计算出后验概率矩阵计算出后验概率矩阵计算出后验概率矩阵计算出后验概率矩阵 根据最大后验概率准则根据最大后验概率准则根据最大后验概率准则根据最大后验概率准则, ,并考虑信道输出符号并考虑信道输出符号并考虑信道输出符号并考虑信道输出符号b bj j( (j j=1,2,3)=1,2,3)与信道输入符号与信道输入符号与信道输入符号与信道输入符号a ai i( (i i=1,2,3)=1,2,3)一一对
61、应一一对应一一对应一一对应，则选择，则选择，则选择，则选择译码规则译码规则译码规则译码规则 第第5 5章信道编码原理章信道编码原理 采用最大后验概率准则选择译码规则的最小平均错误译采用最大后验概率准则选择译码规则的最小平均错误译采用最大后验概率准则选择译码规则的最小平均错误译采用最大后验概率准则选择译码规则的最小平均错误译码概率码概率码概率码概率P Pe e min min的具体计算值为的具体计算值为的具体计算值为的具体计算值为 (2) (2)因信道输入符号因信道输入符号因信道输入符号因信道输入符号a a1 1、a a2 2、a a3 3先验等概，故采用最大似先验等概，故采用最大似先验等概，故
62、采用最大似先验等概，故采用最大似然准则选择译码规则。按最大似然准则得到译码规则然准则选择译码规则。按最大似然准则得到译码规则然准则选择译码规则。按最大似然准则得到译码规则然准则选择译码规则。按最大似然准则得到译码规则, ,并考并考并考并考虑信道输出符号虑信道输出符号虑信道输出符号虑信道输出符号b bj j( (j j=1,2,3)=1,2,3)与信道输入符号与信道输入符号与信道输入符号与信道输入符号a ai i( (i i=1,2,3)=1,2,3)要一要一要一要一一对应，则选择译码函数为一对应，则选择译码函数为一对应，则选择译码函数为一对应，则选择译码函数为 第第5 5章信道编码原理章信道编
63、码原理 采用最大似然准则选择译码规则的最小平均错误译码概采用最大似然准则选择译码规则的最小平均错误译码概采用最大似然准则选择译码规则的最小平均错误译码概采用最大似然准则选择译码规则的最小平均错误译码概率率率率P Pe e minmin的具体计算值为的具体计算值为的具体计算值为的具体计算值为 第第5 5章信道编码原理章信道编码原理 注：注：注：注：（1 1 1 1）上例中最小平均错误译码概率上例中最小平均错误译码概率上例中最小平均错误译码概率上例中最小平均错误译码概率( ( ( (P P P Peminemineminemin0.5667)0.5667)0.5667)0.5667)意味着意味着意
64、味着意味着在信道的输出端接收在信道的输出端接收在信道的输出端接收在信道的输出端接收100100100100个符号中个符号中个符号中个符号中, , , ,大约近大约近大约近大约近57575757个符号要发生错个符号要发生错个符号要发生错个符号要发生错误译码。显然误译码。显然误译码。显然误译码。显然, , , ,这不符合人们对信息传输可靠性的要求这不符合人们对信息传输可靠性的要求这不符合人们对信息传输可靠性的要求这不符合人们对信息传输可靠性的要求, , , ,应设应设应设应设法使平均错误译码概率最小值法使平均错误译码概率最小值法使平均错误译码概率最小值法使平均错误译码概率最小值P P P Pemi
65、nemineminemin继续下降。继续下降。继续下降。继续下降。（2 2 2 2）对于给定信源来说，要使平均错误译码概率最小值对于给定信源来说，要使平均错误译码概率最小值对于给定信源来说，要使平均错误译码概率最小值对于给定信源来说，要使平均错误译码概率最小值P P P Peminemineminemin继续下降，必须进行信道编码，以改变信道的统计特性。继续下降，必须进行信道编码，以改变信道的统计特性。继续下降，必须进行信道编码，以改变信道的统计特性。继续下降，必须进行信道编码，以改变信道的统计特性。第第5 5章信道编码原理章信道编码原理 【例【例【例【例5 55 5】已知二元对称离散无记忆信
66、道的信道矩阵为】已知二元对称离散无记忆信道的信道矩阵为】已知二元对称离散无记忆信道的信道矩阵为】已知二元对称离散无记忆信道的信道矩阵为 设设设设p p=0.01=0.01，p p=0.99=0.99，输入符号输入符号输入符号输入符号“0 0”和和和和“1 1”先验等慨，分先验等慨，分先验等慨，分先验等慨，分析其直接传输及编码传输的效果。析其直接传输及编码传输的效果。析其直接传输及编码传输的效果。析其直接传输及编码传输的效果。 编码原则编码原则编码的功能编码的功能编码的功能编码的功能第第5 5章信道编码原理章信道编码原理 解：解：解：解：因为信源先验等概，采用最大似然准则选择因为信源先验等概，采
67、用最大似然准则选择因为信源先验等概，采用最大似然准则选择因为信源先验等概，采用最大似然准则选择译码规则译码规则译码规则译码规则 F F(0)=0(0)=0； F F(1)=1 (1)=1 在这种译码规则下，在这种译码规则下，在这种译码规则下，在这种译码规则下，平均错误译码概率平均错误译码概率平均错误译码概率平均错误译码概率P Pe e达到最小值，即达到最小值，即达到最小值，即达到最小值，即 P Pe e minmin=10=10-2-2，意味着从平均的意义上来说，信道输出端，意味着从平均的意义上来说，信道输出端，意味着从平均的意义上来说，信道输出端，意味着从平均的意义上来说，信道输出端每收到每
68、收到每收到每收到100100个符号，就可能有一个符号发生错误译码。显然，个符号，就可能有一个符号发生错误译码。显然，个符号，就可能有一个符号发生错误译码。显然，个符号，就可能有一个符号发生错误译码。显然，不符合信息传输可靠性要求。不符合信息传输可靠性要求。不符合信息传输可靠性要求。不符合信息传输可靠性要求。第第5 5章信道编码原理章信道编码原理 注注注注： （1 1）实际表明，对输入符号进行重复编码，可提实际表明，对输入符号进行重复编码，可提实际表明，对输入符号进行重复编码，可提实际表明，对输入符号进行重复编码，可提高信息传输的可靠性。高信息传输的可靠性。高信息传输的可靠性。高信息传输的可靠性
69、。 例如，在信道输入端对输入符号例如，在信道输入端对输入符号例如，在信道输入端对输入符号例如，在信道输入端对输入符号“0”“0”和和和和“1”“1”进行重复编进行重复编进行重复编进行重复编码，离散无记忆信道的输入符号就不再是单个符号码，离散无记忆信道的输入符号就不再是单个符号码，离散无记忆信道的输入符号就不再是单个符号码，离散无记忆信道的输入符号就不再是单个符号“0”“0”和和和和“1”“1”，而是变成由三个符号组成的符号序列，而是变成由三个符号组成的符号序列，而是变成由三个符号组成的符号序列，而是变成由三个符号组成的符号序列 1 1=000=000和和和和 8 8=111=111，它们是二元
70、信源的，它们是二元信源的，它们是二元信源的，它们是二元信源的N N3 3次扩展信源中的两个次扩展信源中的两个次扩展信源中的两个次扩展信源中的两个“ “符号符号符号符号” ”。 3 3次扩展信源次扩展信源次扩展信源次扩展信源X X= = X X1 1 X X2 2 X X3 3= = 1 1, , 2 2, , 3 3, , 4 4, , 5 5, , 6 6, , 7 7, , 8 8中的中的中的中的r rN N=2=23 3=8=8个个个个“ “大符号大符号大符号大符号”(”(消息消息消息消息) )分别为分别为分别为分别为: : 第第5 5章信道编码原理章信道编码原理 针对三次扩展信源针对三
71、次扩展信源针对三次扩展信源针对三次扩展信源X X= =X X1 1X X2 2X X3 3，基本离散无记忆信道转，基本离散无记忆信道转，基本离散无记忆信道转，基本离散无记忆信道转变为离散无记忆信道的三次扩展信道，变为离散无记忆信道的三次扩展信道，变为离散无记忆信道的三次扩展信道，变为离散无记忆信道的三次扩展信道，输出符号集输出符号集输出符号集输出符号集由随机变由随机变由随机变由随机变量量量量Y Y的符号集的符号集的符号集的符号集Y Y= =0,10,1转变为随机序列转变为随机序列转变为随机序列转变为随机序列Y Y= =Y Y1 1Y Y2 2Y Y3 3的的的的“大符号大符号大符号大符号”集，
72、分别为：集，分别为：集，分别为：集，分别为： 离散无记忆信道的离散无记忆信道的离散无记忆信道的离散无记忆信道的三次扩展信道的信道矩阵三次扩展信道的信道矩阵三次扩展信道的信道矩阵三次扩展信道的信道矩阵为为为为 第第5 5章信道编码原理章信道编码原理 在信道输入符号在信道输入符号在信道输入符号在信道输入符号“0”“0”和和和和“1”“1”等概的条件下，等概的条件下，等概的条件下，等概的条件下，“0”“0”和和和和“1”“1”的码字的码字的码字的码字 1 1=000=000和和和和 8 8=111=111亦等概，即亦等概，即亦等概，即亦等概，即p p( ( 1 1)=)=p p( ( 8 8)=0.
73、5)=0.5。这时，若采用最大似然准则选择译码规则，并考虑到这时，若采用最大似然准则选择译码规则，并考虑到这时，若采用最大似然准则选择译码规则，并考虑到这时，若采用最大似然准则选择译码规则，并考虑到p p0.990.99，p p0.010.01，即有，即有，即有，即有p p p p，则可得，则可得，则可得，则可得译码规则译码规则译码规则译码规则 第第5 5章信道编码原理章信道编码原理 由式（由式（由式（由式（5 53030）可得）可得）可得）可得最小平均错误译码概率最小平均错误译码概率最小平均错误译码概率最小平均错误译码概率，即，即，即，即 所以经过简单重复信道编码以后，平均错误译码概率所以经
74、过简单重复信道编码以后，平均错误译码概率所以经过简单重复信道编码以后，平均错误译码概率所以经过简单重复信道编码以后，平均错误译码概率P Pe e的最小值的最小值的最小值的最小值P Pe e min min降低两个数量级，信息传输的可靠性有了降低两个数量级，信息传输的可靠性有了降低两个数量级，信息传输的可靠性有了降低两个数量级，信息传输的可靠性有了明显的提高。明显的提高。明显的提高。明显的提高。 第第5 5章信道编码原理章信道编码原理 （2 2 2 2）随机编码中码字的不同选择会导致不同的）随机编码中码字的不同选择会导致不同的）随机编码中码字的不同选择会导致不同的）随机编码中码字的不同选择会导致
75、不同的最小平均错误译码概率最小平均错误译码概率最小平均错误译码概率最小平均错误译码概率P P P Pe e e eminminminmin 若选若选若选若选1 1=000=000代表信源符号代表信源符号代表信源符号代表信源符号“0 0”；选；选；选；选2 2=001=001代表信源符代表信源符代表信源符代表信源符号号号号“1 1”。这时，相应的三次扩展离散无记忆信道的信道矩。这时，相应的三次扩展离散无记忆信道的信道矩。这时，相应的三次扩展离散无记忆信道的信道矩。这时，相应的三次扩展离散无记忆信道的信道矩阵就变为阵就变为阵就变为阵就变为 P=第第5 5章信道编码原理章信道编码原理 根据最大似然准
76、则选择的译码规则为：根据最大似然准则选择的译码规则为：根据最大似然准则选择的译码规则为：根据最大似然准则选择的译码规则为： 上述译码规则的最小平均错误译码概率为上述译码规则的最小平均错误译码概率为上述译码规则的最小平均错误译码概率为上述译码规则的最小平均错误译码概率为 第第5 5章信道编码原理章信道编码原理 1.1.1.1. 设信道的输入消息数为设信道的输入消息数为设信道的输入消息数为设信道的输入消息数为MM，信道随机编码的，信道随机编码的，信道随机编码的，信道随机编码的码字长度为码字长度为码字长度为码字长度为N N，则当信道的，则当信道的，则当信道的，则当信道的MM个输入消息先验个输入消息先
77、验个输入消息先验个输入消息先验等概时，信道编码的每一码号所携带的平均等概时，信道编码的每一码号所携带的平均等概时，信道编码的每一码号所携带的平均等概时，信道编码的每一码号所携带的平均信息量，即信息量，即信息量，即信息量，即码率码率码率码率 ( ( ( (比特码符号比特码符号比特码符号比特码符号) ) ) ) 最小汉明距离译码准则最小汉明距离译码准则第第5 5章信道编码原理章信道编码原理 （2 2 2 2）简单重复编码以减少平均错误译码概率简单重复编码以减少平均错误译码概率简单重复编码以减少平均错误译码概率简单重复编码以减少平均错误译码概率P Peminemin的方法是的方法是的方法是的方法是以
78、降低信息传输率以降低信息传输率以降低信息传输率以降低信息传输率R R作为代价的，即作为代价的，即作为代价的，即作为代价的，即“ “牺牲有效性，换取可牺牲有效性，换取可牺牲有效性，换取可牺牲有效性，换取可靠性靠性靠性靠性” ” 。 例例例例5 55 5中中中中，当当当当MM=2=2时时时时，若若若若N N=1=1，P Pe e min min；若若若若 N N=3, =3, P Pe e minmin3 31010-4-4；若若若若N N=11, =11, P Pe e minmin5 51010-10-10。当。当。当。当M=2M=2，N N分别为分别为分别为分别为1 1、3 3、5 5、11
79、11时时时时, ,码率码率码率码率R R分别为分别为分别为分别为1 1、1/31/3、1/51/5、1/111/11。注注注注：（1 1）信道随机编码的有效性取决于信道的输入消息数信道随机编码的有效性取决于信道的输入消息数信道随机编码的有效性取决于信道的输入消息数信道随机编码的有效性取决于信道的输入消息数MM和和和和码字长度码字长度码字长度码字长度N N。在随机编码中，只要保持在随机编码中，只要保持在随机编码中，只要保持在随机编码中，只要保持MM和和和和N N固定不变，就固定不变，就固定不变，就固定不变，就能使由不同选择所构成的不同信道编码具有相同的有效性。能使由不同选择所构成的不同信道编码具
80、有相同的有效性。能使由不同选择所构成的不同信道编码具有相同的有效性。能使由不同选择所构成的不同信道编码具有相同的有效性。第第5 5章信道编码原理章信道编码原理 2.2.2.2.最小汉明距离译码准则最小汉明距离译码准则最小汉明距离译码准则最小汉明距离译码准则 在随机编码中，在消息数在随机编码中，在消息数在随机编码中，在消息数在随机编码中，在消息数MM和码字长度和码字长度和码字长度和码字长度N N保持不变的条件保持不变的条件保持不变的条件保持不变的条件下，应遵循什么原则挑选码字才能得到尽可能小的最小平均下，应遵循什么原则挑选码字才能得到尽可能小的最小平均下，应遵循什么原则挑选码字才能得到尽可能小的
81、最小平均下，应遵循什么原则挑选码字才能得到尽可能小的最小平均错误译码概率错误译码概率错误译码概率错误译码概率P Pe eminmin? ? 因为消息数固定为因为消息数固定为因为消息数固定为因为消息数固定为MM，码字长度固定为，码字长度固定为，码字长度固定为，码字长度固定为N N且是由且是由且是由且是由0 0和和和和1 1组组组组成的码序列，所以离散无记忆信道的成的码序列，所以离散无记忆信道的成的码序列，所以离散无记忆信道的成的码序列，所以离散无记忆信道的N N次扩展信道有次扩展信道有次扩展信道有次扩展信道有MM22N N个个个个传递概率，它们是传递概率，它们是传递概率，它们是传递概率，它们是:
82、 :第第5 5章信道编码原理章信道编码原理 (533) 其中其中第第5 5章信道编码原理章信道编码原理 在在在在MM个消息先验等概的条件下，采用最大似然准则选择个消息先验等概的条件下，采用最大似然准则选择个消息先验等概的条件下，采用最大似然准则选择个消息先验等概的条件下，采用最大似然准则选择译码规则。对译码规则。对译码规则。对译码规则。对 j j( (j j=1,2,2=1,2,2N N) )来说，若有来说，若有来说，若有来说，若有 即即即即 ( (i i=1,2,=1,2, ,MM; ;j j=1,2,=1,2,2 ,2N N) ) 考虑到在一般情况下考虑到在一般情况下考虑到在一般情况下考虑
83、到在一般情况下, ,都有都有都有都有 ，且，且，且，且 ，所以有，所以有，所以有，所以有 第第5 5章信道编码原理章信道编码原理 即即即即选择译码规则为选择译码规则为选择译码规则为选择译码规则为 (537) (536) 上述两个式子就是用汉明距离表述的最大似然准则，上述两个式子就是用汉明距离表述的最大似然准则，上述两个式子就是用汉明距离表述的最大似然准则，上述两个式子就是用汉明距离表述的最大似然准则，即即即即最小汉明距离译码准则最小汉明距离译码准则最小汉明距离译码准则最小汉明距离译码准则。（。（。（。（输入消息等概的条件下输入消息等概的条件下输入消息等概的条件下输入消息等概的条件下）第第5 5
84、章信道编码原理章信道编码原理 (538) 3. 3. 最小汉明距离译码准则下的最小平均错误译码概率最小汉明距离译码准则下的最小平均错误译码概率最小汉明距离译码准则下的最小平均错误译码概率最小汉明距离译码准则下的最小平均错误译码概率(539) 亦可表示为：亦可表示为：亦可表示为：亦可表示为：第第5 5章信道编码原理章信道编码原理 注：注：注：注：（1 1）采用最大似然准则选择译码规则所得的采用最大似然准则选择译码规则所得的采用最大似然准则选择译码规则所得的采用最大似然准则选择译码规则所得的最小平均错误译最小平均错误译最小平均错误译最小平均错误译 码概率码概率码概率码概率P Pe e min mi
85、n取决于：取决于：取决于：取决于： 先验等概的消息数先验等概的消息数先验等概的消息数先验等概的消息数MM； 随机编码的码字长度随机编码的码字长度随机编码的码字长度随机编码的码字长度N N； 离散无记忆信道离散无记忆信道离散无记忆信道离散无记忆信道N N次扩展信道的输出序列次扩展信道的输出序列次扩展信道的输出序列次扩展信道的输出序列 j j( (j j=1,2,2=1,2,2N N) )与译码函数规定的翻译码字与译码函数规定的翻译码字与译码函数规定的翻译码字与译码函数规定的翻译码字 * *之间的汉明距离之间的汉明距离之间的汉明距离之间的汉明距离d d( ( * *, , j j); ); j j
86、( (j j=1,2,2=1,2,2N N) )与除了翻译码字与除了翻译码字与除了翻译码字与除了翻译码字( ( j j)= )= * *以外的其他以外的其他以外的其他以外的其他码字码字码字码字 i i( (i i*)*)之间的汉明距离之间的汉明距离之间的汉明距离之间的汉明距离d d( ( i i, , j j)( )(i i*)*)。第第5 5章信道编码原理章信道编码原理 注：注：注：注： （2 2）在保持一定的码率在保持一定的码率在保持一定的码率在保持一定的码率R R的前提下的前提下的前提下的前提下( (即保持先验等概的消息数即保持先验等概的消息数即保持先验等概的消息数即保持先验等概的消息数
87、MM和码字长度和码字长度和码字长度和码字长度N N不变的前提下不变的前提下不变的前提下不变的前提下) )，最小平均错误译码概率，最小平均错误译码概率，最小平均错误译码概率，最小平均错误译码概率P Pe e min min取决于汉明距离取决于汉明距离取决于汉明距离取决于汉明距离d d( ( * *, , j j)( )( * * 1 1, , 2 2, MM; ; j j=1,2,2=1,2,2N N) )和和和和d d( ( i i, , j j)( )(i i*；j j=1,2,2=1,2,2N N) )。 （3 3）信道编码的任务）信道编码的任务）信道编码的任务）信道编码的任务：保持码率：
88、保持码率：保持码率：保持码率R R在一定水平在一定水平在一定水平在一定水平( (保持保持保持保持MM和和和和N N不不不不变变变变) )的前提下，采用正确的方法选择的前提下，采用正确的方法选择的前提下，采用正确的方法选择的前提下，采用正确的方法选择MM个码字，使最小平均错个码字，使最小平均错个码字，使最小平均错个码字，使最小平均错误译码概率误译码概率误译码概率误译码概率P Pe e minmin尽量小。尽量小。尽量小。尽量小。第第5 5章信道编码原理章信道编码原理 在从在从在从在从r rN N个长度为个长度为个长度为个长度为N N的码符号序列的码符号序列的码符号序列的码符号序列 l l(l=1
89、,2,(l=1,2,r rN N) )中选择中选择中选择中选择MM个作为代表消息的码字的原则是：个作为代表消息的码字的原则是：个作为代表消息的码字的原则是：个作为代表消息的码字的原则是：MM个码字中，任何两个个码字中，任何两个个码字中，任何两个个码字中，任何两个不同的码字间的汉明距离要尽量大。不同的码字间的汉明距离要尽量大。不同的码字间的汉明距离要尽量大。不同的码字间的汉明距离要尽量大。若令若令若令若令d dminmin( ( k k, , h h) )khkh表表表表示示示示MM个码字中任何两个不同的码字个码字中任何两个不同的码字个码字中任何两个不同的码字个码字中任何两个不同的码字( ( k
90、 k, , h h) )之间的最小汉明之间的最小汉明之间的最小汉明之间的最小汉明距离，即距离，即距离，即距离，即 （540） 5.4.3 编码原则编码原则 d dminmin( ( k k, , h h) )khkh要尽量的大，即挑选出来的要尽量的大，即挑选出来的要尽量的大，即挑选出来的要尽量的大，即挑选出来的MM个码字之间个码字之间个码字之间个码字之间越不相似越好。越不相似越好。越不相似越好。越不相似越好。第第5 5章信道编码原理章信道编码原理 定理定理5-15-1 抗干扰信道编码定理（香农第二定理）抗干扰信道编码定理（香农第二定理）抗干扰信道编码定理（香农第二定理）抗干扰信道编码定理（香农
91、第二定理） 设某信道有设某信道有设某信道有设某信道有r r个输入符号，个输入符号，个输入符号，个输入符号，s s个输出符号，信道容量为个输出符号，信道容量为个输出符号，信道容量为个输出符号，信道容量为C C。当信。当信。当信。当信道的信息传输率道的信息传输率道的信息传输率道的信息传输率R RC C时，只要码长时，只要码长时，只要码长时，只要码长N N足够长，总可以在输入集足够长，总可以在输入集足够长，总可以在输入集足够长，总可以在输入集合中合中合中合中( (含有含有含有含有r rN N个长度为个长度为个长度为个长度为N N的码符号序列的码符号序列的码符号序列的码符号序列) )找到找到找到找到M
92、M( (MM22N N（C C- - ）， 为为为为任意小的正数任意小的正数任意小的正数任意小的正数) )个码字，分别代表个码字，分别代表个码字，分别代表个码字，分别代表MM个等可能性的消息，组成个等可能性的消息，组成个等可能性的消息，组成个等可能性的消息，组成一个信道编码，选择相应的译码规则，使信道输出端的译码过一个信道编码，选择相应的译码规则，使信道输出端的译码过一个信道编码，选择相应的译码规则，使信道输出端的译码过一个信道编码，选择相应的译码规则，使信道输出端的译码过程的最小平均错误译码概率程的最小平均错误译码概率程的最小平均错误译码概率程的最小平均错误译码概率P Peminemin达到
93、任意小。达到任意小。达到任意小。达到任意小。 5.5 抗干扰信道编码定理及逆定理抗干扰信道编码定理及逆定理第第5 5章信道编码原理章信道编码原理 注：注：注：注：（1 1 1 1）定理指出：总能找到一种抗干扰信道编码，定理指出：总能找到一种抗干扰信道编码，定理指出：总能找到一种抗干扰信道编码，定理指出：总能找到一种抗干扰信道编码，只要其码长只要其码长只要其码长只要其码长N N N N足够长，它的最小平均错误译码概率足够长，它的最小平均错误译码概率足够长，它的最小平均错误译码概率足够长，它的最小平均错误译码概率P Peminemin就可任意小，信道信息传输率就可任意小，信道信息传输率就可任意小，
94、信道信息传输率就可任意小，信道信息传输率( ( ( (码率码率码率码率)R)R)R)R可无限接可无限接可无限接可无限接近信息容量近信息容量近信息容量近信息容量C C C C。（2 2 2 2）这个定理是一个存在定理，指出错误率趋于这个定理是一个存在定理，指出错误率趋于这个定理是一个存在定理，指出错误率趋于这个定理是一个存在定理，指出错误率趋于0 0的编码方法是存在的。的编码方法是存在的。的编码方法是存在的。的编码方法是存在的。（3 3）定理表明，在错误率趋于定理表明，在错误率趋于定理表明，在错误率趋于定理表明，在错误率趋于0 0的同时，还可以使的同时，还可以使的同时，还可以使的同时，还可以使R
95、 R趋于趋于趋于趋于C C，这是具有理论指导意义的。，这是具有理论指导意义的。，这是具有理论指导意义的。，这是具有理论指导意义的。第第5 5章信道编码原理章信道编码原理 定理52抗干扰信道编码定理的逆定理抗干扰信道编码定理的逆定理 设某信道有设某信道有设某信道有设某信道有r r个输入符号，个输入符号，个输入符号，个输入符号，s s个输出符号，信道容个输出符号，信道容个输出符号，信道容个输出符号，信道容量为量为量为量为C C。若选用码字个数。若选用码字个数。若选用码字个数。若选用码字个数( (消息数消息数消息数消息数) )MM( (MM=2=2N N（C+C+），令，令，令，令 为任意小的正数为
96、任意小的正数为任意小的正数为任意小的正数) )，则无论码长，则无论码长，则无论码长，则无论码长N N多大，也不可能多大，也不可能多大，也不可能多大，也不可能找到一种编码，使平均错误译码概率找到一种编码，使平均错误译码概率找到一种编码，使平均错误译码概率找到一种编码，使平均错误译码概率P Pe e任意小。任意小。任意小。任意小。第第5 5章信道编码原理章信道编码原理 注：注：（1 1）逆定理指出：要使信道的信息传输率超过信逆定理指出：要使信道的信息传输率超过信逆定理指出：要使信道的信息传输率超过信逆定理指出：要使信道的信息传输率超过信息容量息容量息容量息容量C C，而又要求无错误地传输消息，这是不可，而又要求无错误地传输消息，这是不可，而又要求无错误地传输消息，这是不可，而又要求无错误地传输消息，这是不可能的。能的。能的。能的。（2 2）信道容量信道容量信道容量信道容量C C是在信道中可靠地传输消息的最大是在信道中可靠地传输消息的最大是在信道中可靠地传输消息的最大是在信道中可靠地传输消息的最大信息传输率。信息传输率。信息传输率。信息传输率。
