北邮信息论课件-第6章 离散信道及其容量讲解

《北邮信息论课件-第6章 离散信道及其容量讲解》由会员分享，可在线阅读，更多相关《北邮信息论课件-第6章 离散信道及其容量讲解（78页珍藏版）》请在金锄头文库上搜索。

1、1/78离散信道及其容量离散信道及其容量第第 6 6 章章北京北京邮电邮电邮电邮电 大学大学 信息与通信工程学院信息与通信工程学院 许许许许文俊文俊2/78信道是信号的信道是信号的传输传输传输传输 媒介，是媒介，是传传传传送信送信息的息的物理物理通道。通道。( (举举举举例例) )研究信道的目的主要是研究信道的目的主要是为为为为了解决信了解决信息如何有效、可靠地息如何有效、可靠地传输传输传输传输 的的问题问题问题问题 。本章重点解决某些特殊信道容量的本章重点解决某些特殊信道容量的计计计计算算问题问题问题问题 。第第6 6章章 离散信道及其容量离散信道及其容量3/78 概述概述 单单符号离散信道

2、及其容量符号离散信道及其容量 级联级联 信道及其容量信道及其容量 信道容量的迭代信道容量的迭代计计算算本章主要内容本章主要内容 多多维维矢量信道及其容量矢量信道及其容量4/78 6.1 6.1 概述概述 信道的分信道的分类类 离散信道的数学模型离散信道的数学模型 信道容量的定信道容量的定义义5/78 6.1.1 6.1.1 信道的分信道的分类类类类 数字通信系数字通信系统统的基本模型的基本模型 依据不同的条件，不同模依据不同的条件，不同模块块之之间间的通道可以的通道可以划分划分为为不同的信道不同的信道6/78 6.1.1 6.1.1 信道的分信道的分类类类类 按按输输入、入、输输出集合的取出集

3、合的取值值分分类类 按按输输入、入、输输出集合的个数分出集合的个数分类类 按信道按信道转转移概率的性移概率的性质质分分类类 根据信道根据信道统计统计 特性划分特性划分 根据信道噪声性根据信道噪声性质质划分划分7/78 6.1.1 6.1.1 信道的分信道的分类类类类1) 1) 离散信道：离散信道：输输入和入和输输出均出均为为离散集，如离散集，如B-BB-B2) 2) 连续连续 信道：信道：输输入和入和输输出均出均为连续为连续 集，也称波形信道，集，也称波形信道，其特点是其特点是时间时间 与取与取值值都都连续连续 ，如，如C-CC-C3) 3) 半半连续连续 （或半离散）信道：（或半离散）信道：

4、输输入和入和输输出一个出一个为连续为连续 、一个一个为为离散，如离散，如B-CB-C或或C-BC-B4) 4) 时间时间 离散离散连续连续 信道：信道：连续连续 取取值值但但时间时间 离散，例如信道离散，例如信道的的输输入和入和输输出出为为模模拟拟信号抽信号抽样样的情况。的情况。 按按输输入、入、输输出集合的取出集合的取值值分分类类8/78 6.1.1 6.1.1 信道的分信道的分类类类类1) 1) 单单用用户户信道：信道：X,YX,Y中各有一个事件集，称中各有一个事件集，称单单路或路或单单端信道端信道2) 2) 多用多用户户信道：信道：X,YX,Y中至少有一端是多个事件集，也称多中至少有一端

5、是多个事件集，也称多端信道。多用端信道。多用户户信道包含两种特殊的信道，即多元接信道包含两种特殊的信道，即多元接入信道和广播信道。入信道和广播信道。 多元接入信道就是多个多元接入信道就是多个输输入、入、单单个个输输出的信道出的信道 广播信道就是广播信道就是单单个个输输入、多个入、多个输输出的信道出的信道 按按输输入、入、输输出集合的个数分出集合的个数分类类9/78无无损损信道信道（每个输入对应多个输出）（每个输入对应多个输出）确定信道确定信道（多个输入对应单个输出）（多个输入对应单个输出）无无扰扰信道信道（一个输入对应一个输出）（一个输入对应一个输出） 按信道按信道转转移概率的性移概率的性质质

6、分分类类 6.1.1 6.1.1 信道的分信道的分类类类类1 1）无噪声信道）无噪声信道2 2）有噪声信道）有噪声信道无无记忆记忆 信道信道 给定时间输出仅依赖于当前输入给定时间输出仅依赖于当前输入有有记忆记忆 信道信道 输出值不仅依赖于当前输入又依输出值不仅依赖于当前输入又依赖于以前的输入赖于以前的输入10/78 根据信道根据信道统计统计 特性划分特性划分1 1）恒参信道）恒参信道 6.1.1 6.1.1 信道的分信道的分类类类类2 2）变变参信道参信道统计统计 特性不随特性不随时间变时间变 化（也称平化（也称平稳稳信道信道）例如：）例如：卫卫星通信信道星通信信道统计统计 特性随特性随时间变

7、时间变 化。例如：短波，移化。例如：短波，移动动通信信道通信信道11/78 根据信道噪声性根据信道噪声性质质划分划分1 1）高斯噪声信道）高斯噪声信道 6.1.1 6.1.1 信道的分信道的分类类类类2 2）非高斯噪声信道）非高斯噪声信道信道噪声信道噪声为为高斯分布（白噪声或有色噪声高斯分布（白噪声或有色噪声）信道噪声分布不是高斯分布信道噪声分布不是高斯分布12/78 6.1.2 6.1.2 离散信道的数学模型离散信道的数学模型13/78离散无离散无记忆记忆记忆记忆 信道信道 一般的信道数学模型一般的信道数学模型 离散无离散无记忆记忆 信道信道 平平稳稳（或恒参）信道（或恒参）信道 单单符号离

8、散信道符号离散信道14/78一般信道的数学模型一般信道的数学模型信道模型信道模型15/78离散无离散无记忆记忆记忆记忆 信道信道则则称称为为此信道此信道为为离散无离散无记忆记忆 信道（信道（DMCDMC），其数学），其数学模型模型为为：（：（Discrete Memoryless Channel)Discrete Memoryless Channel)利用利用给给定定时时刻的刻的输输出符号出符号仅仅依依赖赖于当前于当前输输入符号的入符号的条件可以推出。条件可以推出。 若信道的若信道的转转移概率移概率满满足足16/78平平稳稳稳稳( (或恒参或恒参) )信道信道 如果如果对对于任意正整数于任意正

9、整数mm、n n，和，和 离散无离散无记忆记忆 信道的信道的转转移概率移概率满满足：足：则则称称为为平平稳稳或恒参信道或恒参信道可可见见，对对于平于平稳稳信道，信道， 不随不随时间变时间变化。化。这样这样 ，平，平稳稳信道的模型就是信道的模型就是 17/78其中，信道的其中，信道的输输入入X X与与输输出出Y Y都是一都是一维维随机随机变变量集合量集合，x xX X，取自字母表，取自字母表, , 。y yY Y，取自字母表，取自字母表单单单单符号离散信道符号离散信道 对对于于离散平离散平稳稳无无记忆记忆 信道信道，可以用一，可以用一维维条件条件概率描述概率描述 这这种用一种用一维维条件概率描述

10、的条件概率描述的信道信道为为：单单符号符号离散信道离散信道 信道信道转转移概率移概率简记为简记为 ：18/78单单单单符号离散信道符号离散信道 信道信道转转移概率矩移概率矩阵阵19/78单单单单符号离散信道符号离散信道二元二元对对称信道称信道( (BSCBSC) )，输输入与入与输输出符号集分出符号集分别别为为 ，信道，信道转转移概率移概率p(y/x)p(y/x)满满足足 ， 称称为错误为错误 率率。写出信道的写出信道的转转移概率矩移概率矩阵阵并并画出画出转转移概率移概率图图。6.1.16.1.1例例解：解： 转转移概率矩移概率矩阵阵转转移概率移概率图图01-1011-Binary Symme

11、tric Channel 20/78单单单单符号离散信道符号离散信道二元二元删删除信道：其中除信道：其中A=0,1, B=0,2,1A=0,1, B=0,2,1画画出出转转移概率移概率图图和和转转移概率矩移概率矩阵阵。6.1.26.1.2例例解：解： 转转移概率矩移概率矩阵阵转转移概率移概率图图01-p1011-q2qp21/78单单单单符号离散信道符号离散信道6.1.36.1.3例例解：解：四个等概消息，四个等概消息，编编成的成的码码字字为为 ，当通，当通过过下下图图所示二所示二进进制制对对称无称无记忆记忆信道信道传输时传输时 ，求，求: : 1 1) )“接收到第一个数字接收到第一个数字为

12、为0 0”与与“发发MM1 1”的互信息的互信息2 2) )当当“接收到第二个数字也接收到第二个数字也为为0 0”时时，关于，关于MM1 1的附加信的附加信息息3 3) )当当“接收到第三个数字也接收到第三个数字也为为0 0”时时，又增加多少关于，又增加多少关于MM1 1的信息？的信息？ 1)1)01-1011-22/782)2)3)3)单单单单符号离散信道符号离散信道23/78 6.1.3 6.1.3 信道容量的定信道容量的定义义义义 平平稳稳离散无离散无记忆记忆 信道的容量信道的容量C C定定义为输义为输 入与入与输输出平均互信息出平均互信息I(X;Y)I(X;Y)的最大的最大值值：1 1

13、）单单位位为为: : 比特比特/ /信道符号（奈特信道符号（奈特/ /信道符号信道符号) )2 2）当信道）当信道给给定后定后, ,p(y|x)p(y|x)就固定就固定3 3）C C 仅仅与与p(y|x)p(y|x)有关，而与有关，而与p(x)p(x)无关无关4 4）C C是信道是信道传输传输 最大信息速率能力的度量最大信息速率能力的度量24/78多多维维维维矢量信道矢量信道若若 和和 分分别为别为 信道的信道的N N维输维输 入与入与输输出随机出随机矢量集合，矢量集合，则则信道容量定信道容量定义为义为 ：其中，其中， 为为信道信道输输入矢量的入矢量的联联合概率合概率25/78 6.2 6.2

14、 单单单单符号离散信道及其容量符号离散信道及其容量 离散无噪信道的容量离散无噪信道的容量 一般离散信道的容量一般离散信道的容量 离散离散对对称信道的容量称信道的容量26/78 6.2.1 6.2.1 离散无噪信道的容量离散无噪信道的容量 无无损损信道：信道：输输出符号只出符号只对应对应 一个一个输输入符号。入符号。其中其中r r为输入符号集的大小为输入符号集的大小27/78 6.2.1 6.2.1 离散无噪信道的容量离散无噪信道的容量 确定信道：确定信道：每个每个输输入符号都入符号都对应对应 一个一个输输出符号出符号其中其中s s为输出符号集的大小为输出符号集的大小28/78 无无损损确定信道

15、：确定信道： 输输入符号与入符号与输输出符号是一一出符号是一一对应对应 关系关系其中其中r r、s s为输入与输出字母表的大小，且为输入与输出字母表的大小，且r=sr=s 6.2.1 6.2.1 离散无噪信道的容量离散无噪信道的容量结论结论 ：离散无噪信道的容量离散无噪信道的容量为为 若一个信道的若一个信道的转转移概率矩移概率矩阵阵按按 输输输输出出 可分可分为为若干子集，若干子集，其中每个子集都有如下特性：即每一行是其他行的置其中每个子集都有如下特性：即每一行是其他行的置换换，每一列是其他列的置每一列是其他列的置换换，则则信道称信道称为为 对对称信道称信道29/78 6.2.2 6.2.2

16、离散离散对对对对称道的容量称道的容量6.2.16.2.1例例分析分析下下图图信道的信道的对对称性称性30/78 6.2.2 6.2.2 离散离散对对对对称道的容量称道的容量解：解： (a)(a)可分成两个子矩可分成两个子矩阵阵所以所以为为 对对称信道称信道(b)(b)的概率的概率转转移矩移矩阵为阵为所以不是所以不是对对称信道称信道 有有时时将将转转移概率矩移概率矩阵阵可分成多个子集的可分成多个子集的对对称信道称信道为为准准对对称或弱称或弱对对称信道称信道，而只有一个子集的，而只有一个子集的对对称信道称信道称称强强对对称信道称信道31/78 6.2.2 6.2.2 离散离散对对对对称道的容量称道

17、的容量 定理定理6.2.1 6.2.1 对对于离散于离散对对称信道，当称信道，当输输入等概率入等概率时时达到信道容量：达到信道容量： H(Y) H(Y)为输为输 入等概率入等概率时输时输 出的出的熵熵 H(pH(p1 1,p,p2 2, ,p,ps s) )为为信道信道转转移概率矩移概率矩阵阵某行元素某行元素注注释释: : 对对强强对对称信道称信道, ,输输入等概率入等概率时时达到容量，此达到容量，此时输时输 出出等概率。等概率。32/78 6.2.2 6.2.2 离散离散对对对对称道的容量称道的容量6.2.26.2.2例例解：解：一信道的一信道的转转移概率矩移概率矩阵阵如如图图，求信道容量和

18、达求信道容量和达到容量到容量时时的的输输出概率。出概率。设输设输 出概率出概率为为 。由于信道。由于信道为为强强对对称信道，故当称信道，故当输输入等概率入等概率时时达达到容量到容量C C，此，此时输时输 出也等概率出也等概率33/78 6.2.2 6.2.2 离散离散对对对对称道的容量称道的容量6.2.36.2.3例例解：解：一信道的一信道的转转移概率矩移概率矩阵阵如如图图，求信道容量和达求信道容量和达到容量到容量时时的的输输入入概率。概率。设输设输 入入输输出概率出概率为为 由于信道由于信道为为强强对对称信道，故当称信道，故当 时时, ,达到容量。达到容量。特特别别是，当是，当r=2r=2时

19、时，信道容量，信道容量为为C=1-H(p)C=1-H(p)比特比特/ /符号。符号。34/78 6.2.2 6.2.2 离散离散对对对对称道的容量称道的容量6.2.46.2.4例例解：解：一信道的一信道的转转移概率矩移概率矩阵阵如如图图，求信道容量和达求信道容量和达到容量到容量时时的的输输出概率。出概率。设输设输 出概率出概率为为 准准对对称信道，当称信道，当输输入等概率入等概率时时达到达到信道容量。可信道容量。可计计算算输输出概率出概率为为35/78 6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量求信道容量归结为求有约束极值的问题求信道容量归结为求有约束极值的问题信道转移概率矩

20、阵可逆信道转移概率矩阵可逆36/78 6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量37/78 6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量38/78验证验证 C C的正确性的正确性 6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量39/78用矩阵表示用矩阵表示 6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量40/78例例一信道的一信道的转转移概率如移概率如图图所示，求信道容量和达所示，求信道容量和达到容量到容量时时的的输输出概率。出概率。0120121/21/21/41/4 1/41/41 6.2.3 6.2.3 一般离散信道的容量一般

21、离散信道的容量41/78解：解： 6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量42/78例例解：解：利利用用 求例求例6.1.6.1.1 1中二元中二元对对称信道容量。称信道容量。 6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量43/78信道信道容量容量为为对应对应 的的输输入概率入概率为为 6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量44/78 定理定理6.2.2 6.2.2 对对于离散无于离散无记忆记忆 信道，当且信道，当且仅仅当当I(X;Y)I(X;Y)达到最大达到最大值值，此，此时时C C为为信道容量信道容量 6.2.3 6.2.3 一般离

22、散信道的容量一般离散信道的容量45/786.2.66.2.6例例解：解：信道的信道的转转移概率如移概率如下下图图所示，求信道容量和达所示，求信道容量和达到容量到容量时时的的输输入出概率。入出概率。设输设输 入、入、输输出概率出概率为为p p0 0,p,p1 1,p,p2 2.q.q0 0,q,q1 11 1）达到容量）达到容量时时，若，若输输入概率全不入概率全不为为零零解得解得 ，C=1C=1比特，但将比特，但将结结果代入第果代入第2 2式，使式，使该该式左式左边边的的值为值为 0 0，出，出现现矛盾。矛盾。 6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量46/782 2）设设p

23、 p2 2=0=0，p p0 0,p,p1 1, ,不不为为零零将将结结果代入第果代入第2 2式式，该该式左式左边边的的值为值为 0C0C。所以，信道容。所以，信道容量量C=1C=1比特比特/ /符号，达到容量符号，达到容量时时的的输输入概率入概率为为概率概率为为 6.2.3 6.2.3 一般离散信道的容量一般离散信道的容量47/78 6.3 6.3 级联级联级联级联 信道及其容量信道及其容量 级联级联 的含的含义义是被是被连连接的信道接的信道输输入只依入只依赖赖于前面相于前面相邻邻信道的信道的输输出而和前面的其它信道的出而和前面的其它信道的输输出无直接关系出无直接关系 若随机若随机变变量集合

24、量集合(X,Y,Z)(X,Y,Z)构成构成马马氏氏链链，则则称信称信道道X-YX-Y与与Y-ZY-Z构成构成级联级联 信道。由于当信道。由于当Y Y给给定定时时，Z Z不依不依赖赖于于X X，即，即P(z|y)=P(z|xy) P(z|y)=P(z|xy) 48/78证证 定理定理6.3.1 6.3.1 若若X,Y,ZX,Y,Z构成一构成一马马氏氏链链，则则： 6.3 6.3 级联级联级联级联 信道及其容量信道及其容量同理可证49/78 通信系通信系统统模型各部分的模型各部分的级联级联信道信道传输传输 后，后，译码译码 器收到器收到N N长长序列序列为为 ，译码译码 后后传给传给 信信宿的消息

25、序列宿的消息序列为为 。 6.3 6.3 级联级联级联级联 信道及其容量信道及其容量50/78证证 定理定理6.3.26.3.2( (数据数据处处理定理理定理) ) 定理的含定理的含义义：从信宿得到的关于信源的信息：从信宿得到的关于信源的信息经过编经过编 译码译码 器、信道的器、信道的处处理后会减少，而且理后会减少，而且处处理的次数越理的次数越 多，减少得越多。多，减少得越多。 6.3 6.3 级联级联级联级联 信道及其容量信道及其容量51/78级联级联 信道信道为马为马 氏氏链链 级联级联 信道的信道的转转移概率矩移概率矩阵阵一一级级联级级联 相当于状相当于状态态的一步的一步转转移移级联级联

26、 信道的信道的转转移概率矩移概率矩阵为阵为级联级联 信道中各矩信道中各矩阵阵依次相乘依次相乘 6.3 6.3 级联级联级联级联 信道及其容量信道及其容量 级联级联 信道的容量信道的容量 根据根据级联级联 信道的信道的转转移矩移矩阵阵特点，按照前面介特点，按照前面介绍绍的的离散信道容量的离散信道容量的计计算方法即可算方法即可计计算其信道容量。算其信道容量。52/78给给定二元定二元对对称信道其状称信道其状态转态转 移矩移矩阵阵如下，如下，计计算算两两级级联级级联 信道的概率信道的概率转转移矩移矩阵阵。如果信道。如果信道输输入入 0 0、1 1 等概率，求在两等概率，求在两级级联级级联 和三和三级

27、级联级级联 情况情况下下输输入与入与输输出的平均互信息。出的平均互信息。6.3.16.3.1例例解：解：1)1)两两级级联级级联 信道的概率信道的概率转转移矩移矩阵阵 6.3 6.3 级联级联级联级联 信道及其容量信道及其容量53/782)2)设设原信道原信道输输入与入与输输出集分出集分别为别为 X X、Y Y，两，两级级联级级联 和三和三级级联级级联 情况下情况下输输出集合分出集合分别为别为 Z Z、U U其中其中类类似地似地, ,可可计计算三算三级级信，信，级联级联 的情况：的情况：结论结论 ：信道串：信道串联联后增加信息后增加信息损损失，串失，串联级联级 数越多，数越多，损损失越大失越大

28、。 6.3 6.3 级联级联级联级联 信道及其容量信道及其容量54/78设错误设错误 概率概率 为为1/31/3，计计算两算两级级联级级联 信道的信道的容量及达到容量容量及达到容量时时的的输输出概率。出概率。6.3.1(6.3.1(续续) )例例解：解： 两两级级联级级联 信道的信道的转转移矩移矩阵为阵为 6.3 6.3 级联级联级联级联 信道及其容量信道及其容量该级联该级联 信道是一个信道是一个强强对对称信道，因此当称信道，因此当输输入等概入等概时时达达到信道容量，此到信道容量，此时输时输 出也等概。所以出也等概。所以比特比特/ /符号符号 55/78多多维维矢量信道矢量信道输输入与入与输输

29、出的性出的性质质并并联联信道及其容量信道及其容量离散无离散无记忆扩记忆扩 展信道及其容量展信道及其容量 6.4 6.4 多多维维维维矢量信道及其容量矢量信道及其容量和信道及其容量和信道及其容量56/78 6 6. .4 4. .1 1 多多维维维维矢量信道矢量信道输输输输入与入与输输输输出的性出的性质质质质 对对于于多多维维矢量信道矢量信道，输输入与入与输输出平均互信息出平均互信息为为: :57/78 引理引理6.4.1 6.4.1 设设信道的信道的输输入入输输出分出分别为别为 ，其中，其中 ，则则：1 1）2 2） 6 6. .4 4. .1 1 多多维维维维矢量信道矢量信道输输输输入与入与

30、输输输输出的性出的性质质质质58/78 定理定理6.4.1 6.4.1 对对于离散无于离散无记忆记忆 信道，有：信道，有：证证仅仅当当输输出独立出独立时时等式成立。等式成立。 6 6. .4 4. .1 1 多多维维维维矢量信道矢量信道输输输输入与入与输输输输出的性出的性质质质质59/78当当输输入独立入独立时时即当信源信道都无即当信源信道都无记忆时记忆时 ，等式成立。，等式成立。 6 6. .4 4. .1 1 多多维维维维矢量信道矢量信道输输输输入与入与输输输输出的性出的性质质质质60/78证证 定理定理6.4.2 6.4.2 对对于无于无记忆记忆 信源，有：信源，有：等式成立条件等式成立

31、条件： 6 6. .4 4. .1 1 多多维维维维矢量信道矢量信道输输输输入与入与输输输输出的性出的性质质质质61/78当信道无当信道无记忆时记忆时即当信源信道都无即当信源信道都无记忆时记忆时 ，等式成立。，等式成立。 6 6. .4 4. .1 1 多多维维维维矢量信道矢量信道输输输输入与入与输输输输出的性出的性质质质质62/78 结论结论 ：1 1）对对于无于无记忆记忆 信源和无信源和无记忆记忆 信道，有：信道，有：2 2）对对于平于平稳稳信源，因信源，因为为X Xi i、Y Yi i同分布同分布, ,因此：因此：对对于平于平稳稳离散无离散无记忆记忆 信道信道(DMC)(DMC)的的N

32、N次次扩扩展信道，当信展信道，当信源无源无记忆时记忆时 , ,有有 6 6. .4 4. .1 1 多多维维维维矢量信道矢量信道输输输输入与入与输输输输出的性出的性质质质质63/78设设无无记忆记忆 信源信源X X的的熵为熵为 H H，X X的的5 5次次扩扩展源展源为为X X5 5，信道，信道为为下面矩下面矩阵阵所示的置所示的置换换信道，其中第信道，其中第1 1行行为输为输 入的序号，第入的序号，第2 2行行为为信道信道输输出的序号，例出的序号，例如如X X1 1输输出到出到Y Y4 4 (P120)(P120) ，X X2 2输输出到出到Y Y2 2等等。计计算算6.4.16.4.1例例解

33、：解： 6 6. .4 4. .1 1 多多维维维维矢量信道矢量信道输输输输入与入与输输输输出的性出的性质质质质64/786.4.26.4.2例例解：解：设设离散离散无无记忆记忆 信信道的道的输输入入 ，输输出出 ，且有，且有计计算算 6 6. .4 4. .1 1 多多维维维维矢量信道矢量信道输输输输入与入与输输输输出的性出的性质质质质65/78 N N次次扩扩展信道展信道单符号离散信道单符号离散信道N N长长的随机序的随机序列列 N N长长的随机序的随机序列列 新信道新信道原序列的原序列的N N次次扩扩展信道展信道 6.4.2 6.4.2 离散无离散无记忆扩记忆扩记忆扩记忆扩 展信道及其容

34、量展信道及其容量66/78 N N次次扩扩展信道的描述要展信道的描述要满满足一般的信道数学模型的足一般的信道数学模型的描述，但符号集描述，但符号集为为同分布符号的同分布符号的扩扩展，即各展，即各X Xi i的分的分布都相同布都相同 信道可通信道可通过过下式来下式来计计算算 信道的信道的输输入和入和输输出集合分出集合分别为别为 和和 ，所包含的矢量分，所包含的矢量分别为别为 6.4.2 6.4.2 离散无离散无记忆扩记忆扩记忆扩记忆扩 展信道及其容量展信道及其容量67/78 一个信道的一个信道的N N次次扩扩展信道是展信道是N N个原信道的个原信道的KroneckKroneck乘乘积积例例设输设

35、输 入与入与输输出符号集的尺寸分出符号集的尺寸分别为别为 r r、s s， 则则N N次次扩扩展信道的展信道的输输入与入与输输出符号集的尺寸分出符号集的尺寸分别为别为则则，信道的信道的转转移概率移概率为为： 6.4.2 6.4.2 离散无离散无记忆扩记忆扩记忆扩记忆扩 展信道及其容量展信道及其容量68/78求求错误错误 概率概率为为p p的二元的二元对对称信道的二次称信道的二次扩扩展信展信道的道的转转移概率矩移概率矩阵阵。6.4.36.4.3例例解：解：2 2次次扩扩展信道的展信道的转转移概率矩移概率矩阵阵： 6.4.2 6.4.2 离散无离散无记忆扩记忆扩记忆扩记忆扩 展信道及其容量展信道及

36、其容量69/78 6.4.2 6.4.2 离散无离散无记忆扩记忆扩记忆扩记忆扩 展信道及其容量展信道及其容量当信源当信源为为无无记忆时记忆时 ，等式成立，等式成立 离散无离散无记忆记忆 N N次次扩扩展信道的容量展信道的容量当信道平当信道平稳时稳时 ：70/78求求该该二次二次扩扩展信道的容量展信道的容量。6.4.3(6.4.3(续续) )例例解：解：由例由例6.2.36.2.3可得，可得，错误错误 概率概率为为p p的二元的二元对对称信道称信道的容量的容量 ，根据式，根据式(6.4.6),(6.4.6),该该信道的二次信道的二次扩扩展信道展信道容量容量为为 6.4.2 6.4.2 离散无离散

37、无记忆扩记忆扩记忆扩记忆扩 展信道及其容量展信道及其容量71/78 6.4.3 6.4.3 并并联联联联信道及其容量信道及其容量并并联联信道的定信道的定义义p p 由若干并行的由若干并行的单单符号子信道符号子信道组组成成p p 在每在每单单位位时间时间 ，发发送端都同送端都同时时通通过过每个子信道每个子信道发发送送不同符号集的消息不同符号集的消息p p 每子信道的每子信道的输输出出仅仅与与该该子信道的子信道的输输入有关入有关各子信道各子信道输输入相互独立入相互独立时时达到信道容量达到信道容量72/78求下求下图图信道的容量和达到容量信道的容量和达到容量时时的的输输入概率分布入概率分布。6.4.

38、46.4.4例例解：解：从信道的从信道的转转移概率移概率图图可以看出，两个子信道是独立的可以看出，两个子信道是独立的，所以构成一个二，所以构成一个二维维并并联联信道。所求信道容量信道。所求信道容量为为 6.4.3 6.4.3 并并联联联联信道及其容量信道及其容量比特比特/ /符号符号 达到容量达到容量时时，输输入入 相互独立，且均相互独立，且均为为等概率分布等概率分布。73/78 6.4.4 6.4.4 和信道及其容量和信道及其容量和信道的定和信道的定义义p p一个信道分一个信道分为为若干子信道，且各子信道若干子信道，且各子信道输输入之入之间间互不互不相交，相交，输输出之出之间间也互不相交也互

39、不相交p p信道信道总总的的输输出与出与输输入集合分入集合分别为别为 各子信道各子信道输输出与出与输输入入之并集之并集p p每次每次传输传输 只能用一个子信道只能用一个子信道74/78定理定理6.4.3 6.4.3 对对于和信道，信道容量于和信道，信道容量为为 比特比特/ /符号，其中符号，其中 C Ci i 为为每个子信道的容量，第每个子信道的容量，第i i个子信道使用概率个子信道使用概率为为 ，达到容量的，达到容量的输输入概率入概率为为各子信道达到容量各子信道达到容量时时的概率再的概率再乘以乘以 。 6.4.4 6.4.4 和信道及其容量和信道及其容量75/786.4.56.4.5例例一信

40、道的一信道的转转移概率如移概率如图图所示，求信道容量和达所示，求信道容量和达到容量到容量时时的的输输入概率。入概率。解：解：其中其中p p为为为为不大于不大于1 1的正数的正数 6.4.4 6.4.4 和信道及其容量和信道及其容量76/78 信道达到容量信道达到容量时时的的输输入概率分布不一定唯一。入概率分布不一定唯一。（对对于于对对称信道是唯一的称信道是唯一的) )关于信道容量的注关于信道容量的注释释释释 对应对应 于信道容量的于信道容量的输输出概率是唯一的。出概率是唯一的。 达到容量达到容量时时的的输输出概率出概率严严格格为为正。正。 对对于任意的离散信道的于任意的离散信道的转转移概率分布

41、，要利用移概率分布，要利用迭代算法迭代算法进进行行计计算。算。77/78本本 章章 小小 结结结结1 1平平稳稳离散无离散无记忆记忆 信道模型：信道模型： 2 2平平稳稳离散无离散无记忆记忆 信道的容量：信道的容量： 3 3特殊离散无特殊离散无记忆记忆 信道的容量的信道的容量的计计算算 对对称信道：称信道：输输入等概率入等概率时时达到容量，且达到容量，且 一般离散信道一般离散信道PP有逆有逆阵时阵时78/78本本 章章 小小 结结结结利用定理列方程利用定理列方程组组求解求解 和信道和信道 并并联联信道信道 离散平离散平稳稳无无记记忆忆N N次次扩扩展信道展信道当信源无当信源无记忆时记忆时 信道达到容量信道达到容量 级联级联 信道信道：转转移概率矩移概率矩阵为阵为 各各级联级联 信道矩信道矩阵阵的乘的乘积积，再，再计计算容量。算容量。 达到容量的达到容量的输输入概率入概率为为各子信道达到容量各子信道达到容量时时的概率再乘以的概率再乘以