信息论与编码纠错第4章课件

上传人:壹****1 文档编号:569773287 上传时间:2024-07-31 格式:PPT 页数:45 大小:678.50KB
返回 下载 相关 举报
信息论与编码纠错第4章课件_第1页
第1页 / 共45页
信息论与编码纠错第4章课件_第2页
第2页 / 共45页
信息论与编码纠错第4章课件_第3页
第3页 / 共45页
信息论与编码纠错第4章课件_第4页
第4页 / 共45页
信息论与编码纠错第4章课件_第5页
第5页 / 共45页
点击查看更多>>
资源描述

《信息论与编码纠错第4章课件》由会员分享,可在线阅读,更多相关《信息论与编码纠错第4章课件(45页珍藏版)》请在金锄头文库上搜索。

1、信息论与编码信息论与编码第第4 4章章 离散信道的信道容量离散信道的信道容量信息论与编码信息论与编码内容提要内容提要信道对于信息率的容纳并不是无限制的,它不仅与信道对于信息率的容纳并不是无限制的,它不仅与物理信道本身的特性有关,还与信道输入信号的统计特物理信道本身的特性有关,还与信道输入信号的统计特性有关,它有一个极限值,即信道容量,信道容量是有性有关,它有一个极限值,即信道容量,信道容量是有关信道的一个很重要的物理量。这一章研究信道,研究关信道的一个很重要的物理量。这一章研究信道,研究在信道中传输的每个符号所携带的信息量,并给出信道在信道中传输的每个符号所携带的信息量,并给出信道容量的定义和

2、计算方法。容量的定义和计算方法。 信息论与编码信息论与编码4.14.14.14.1信道容量的定义信道容量的定义信道容量的定义信道容量的定义一信息传输率一信息传输率一信息传输率一信息传输率平均互信息量平均互信息量H(X):信道输入方关于发送符号集:信道输入方关于发送符号集X中的某个消息的平均不确定性;中的某个消息的平均不确定性; H(X/Y):信道输出方接收到符号集:信道输出方接收到符号集Y后对后对X发送消息仍存在的平均不发送消息仍存在的平均不确定性;确定性; I(X;Y):为通信过程中获得的信息量,也就是平均每个码元所携带的:为通信过程中获得的信息量,也就是平均每个码元所携带的信息量。信息量。

3、对于单符号传输情况,信息传输率为:对于单符号传输情况,信息传输率为: 信息论与编码信息论与编码二信道容量二信道容量二信道容量二信道容量信息传输率是衡量通信质量的一个重要指标,由前面的定理知:对于信息传输率是衡量通信质量的一个重要指标,由前面的定理知:对于固定信道,总存在某种输入概率分布固定信道,总存在某种输入概率分布p (x),使,使I(X;Y)达到最大值,)达到最大值,定义这个最大值为定义这个最大值为信道容量信道容量信道容量信道容量,记为,记为C。使使I(X;Y)达到信道容量的分布)达到信道容量的分布p(x)为为最佳分布最佳分布最佳分布最佳分布。 信道容量信道容量C就是在保证可靠通信的前提下

4、,信道所能容纳的最大就是在保证可靠通信的前提下,信道所能容纳的最大信息传输量。信息传输量。对于固定信道,信道容量对于固定信道,信道容量C是一个固定值;对于不同信道,是一个固定值;对于不同信道,C不同,不同,信道容量信道容量C是信道转移概率是信道转移概率p(y/x)的函数。的函数。信息论与编码信息论与编码4.2 4.2 4.2 4.2 离散无记忆信道容量的计算离散无记忆信道容量的计算离散无记忆信道容量的计算离散无记忆信道容量的计算 一离散无记忆信道的容量一离散无记忆信道的容量一离散无记忆信道的容量一离散无记忆信道的容量如果信道输入的是如果信道输入的是N维序列维序列XN,其概率分布为,其概率分布为

5、P(XN),输出的是),输出的是N维序列维序列YN,则平均互信息量记为,则平均互信息量记为I(XN;YN),此时),此时N维信道容量定义为:维信道容量定义为:下面一条定理给出了一维信道和下面一条定理给出了一维信道和N维信道的信道容量之间的关系。维信道的信道容量之间的关系。 定理:如果信道是离散无记忆(定理:如果信道是离散无记忆(DMC)的,则)的,则CN NC,其中其中C是同一信道传输单符号时的信道容量。是同一信道传输单符号时的信道容量。信息论与编码信息论与编码证明:对于证明:对于DMC信道,由定理信道,由定理2.4(若信道离散无记忆,则信道输入、输出若信道离散无记忆,则信道输入、输出符号序列

6、间的平均互信息量符号序列间的平均互信息量I(XN;YN)小于等于各单个符号间平均)小于等于各单个符号间平均互信息量的总和互信息量的总和) 信息论与编码信息论与编码(1)若输入的)若输入的N个符号统计独立,即信源离散无记忆个符号统计独立,即信源离散无记忆,根据根据定理定理2.3有:有: (信源无记忆,则信道输入、输出符号序列间的平均互信息量信源无记忆,则信道输入、输出符号序列间的平均互信息量I(XN;YN)大于等于各单个符号间平均互信息量的总和)大于等于各单个符号间平均互信息量的总和)(2)对每个)对每个i,输入分布,输入分布p (xi)可使可使I(Xi;Yi)达到信道容量达到信道容量C,则:,

7、则: 则:则: 综上,在信源和信道都离散无记忆的情况下,有综上,在信源和信道都离散无记忆的情况下,有CNNC,即定理中等号成立,这时即定理中等号成立,这时N长序列的传输问题可归结为单符号传长序列的传输问题可归结为单符号传输问题。输问题。信息论与编码信息论与编码二达到信道容量的充要条件二达到信道容量的充要条件二达到信道容量的充要条件二达到信道容量的充要条件定理:使平均互信息量定理:使平均互信息量I(X;Y)达到信道容量)达到信道容量C的充要条件是信道输入概的充要条件是信道输入概率分布率分布简记为简记为p (X)=p (x1), p (x2),p (xM)满足:满足:说明:定理只给出了使平均互信息

8、量达到信道容量的充要条件,并没有给说明:定理只给出了使平均互信息量达到信道容量的充要条件,并没有给出求信道容量及信道输入概率分布的显式,它只能用来求解一些特出求信道容量及信道输入概率分布的显式,它只能用来求解一些特殊情况的信道容量。殊情况的信道容量。信息论与编码信息论与编码下面介绍几种下面介绍几种特殊特殊信道信道信道容量的求解。信道容量的求解。对于对于特殊特殊信道,信道的输入信道,信道的输入X和输出和输出Y之间有着确定的关系,一般有之间有着确定的关系,一般有三类:三类:有噪无损信道有噪无损信道、无噪确定信道无噪确定信道和和无噪无损信道无噪无损信道。【例】【例】有噪无损信道有噪无损信道无损信道的

9、输入符号集元素个数小于输出符号无损信道的输入符号集元素个数小于输出符号集的元素个数,信道的一个输入对应多个互不交叉集的元素个数,信道的一个输入对应多个互不交叉的输出,如图所示,信道输入符号集的输出,如图所示,信道输入符号集X=x1,x2,x3,输出符号集,输出符号集Y=y1,y2,y3,y4,y5,y6,其信道转,其信道转移概率矩阵记为移概率矩阵记为P,计算该信道的信道容量。,计算该信道的信道容量。 信息论与编码信息论与编码【解】解】1先考察平均互信息量先考察平均互信息量I(X;Y)=H(X)-H(X/Y),在无噪信道条件),在无噪信道条件下,下,H(X/Y)=0,则平均互信息量,则平均互信息

10、量I(X;Y)=H(X)。)。 2根据定义计算信道容量根据定义计算信道容量C 从上式可看出,求信道容量从上式可看出,求信道容量C的问题转化为寻找某种分布的问题转化为寻找某种分布p(x)使信源使信源熵熵H(X)达到最大,由极大离散熵定理知道,在信源消息等概分布)达到最大,由极大离散熵定理知道,在信源消息等概分布p(x1)=p(x2)=p(x3)=1/3时,熵值达到最大,即有时,熵值达到最大,即有信息论与编码信息论与编码3.根据平均互信息量根据平均互信息量I(X;Y)达到信道容量的充要条件式对)达到信道容量的充要条件式对C进行验证:进行验证: 先根据计算出先根据计算出p(yj)(j=1,2,3,4

11、,5,6) 信息论与编码信息论与编码再计算出:再计算出:上面三式均满足平均互信息量达到信道容量上面三式均满足平均互信息量达到信道容量C的充要条件,故的充要条件,故C=log3。 信息论与编码信息论与编码【例】例】 无噪确定信道无噪确定信道确定信道的输入符号集的元素个数大于输出符号集的个数,信道的确定信道的输入符号集的元素个数大于输出符号集的个数,信道的一个输出对应多某个个互不交叉的输入,这时输入符号以确定的概率一个输出对应多某个个互不交叉的输入,这时输入符号以确定的概率1指指向某个输出符号,如图所示。信道输入符号集向某个输出符号,如图所示。信道输入符号集Xx1,x2,x3,x4,x5,输出符号

12、集输出符号集Yy1,y2,其信道转移概率矩阵记为,其信道转移概率矩阵记为P,计算该信道的容,计算该信道的容量。量。信息论与编码信息论与编码【解】解】1先考察平均互信息量先考察平均互信息量I(X;Y)=H(Y)-H(Y/X),对于确定信道,),对于确定信道,H(Y/X)=0,则平均互信息量,则平均互信息量I(X;Y)=H(Y)2根据定义计算信道容量根据定义计算信道容量C由于由于,由于信道转移概率是确定的,求使,由于信道转移概率是确定的,求使H (Y )达到最大值的达到最大值的p (x )的最佳分布就转化为求的最佳分布就转化为求p (y )的最佳分布。由极的最佳分布。由极大离散熵定理知,在大离散熵

13、定理知,在p (y )等概率分布时,等概率分布时,H (Y )达到最大,则达到最大,则 信息论与编码信息论与编码3.根据平均互信息量根据平均互信息量I(X;Y)达到信道容量的充要条件式对)达到信道容量的充要条件式对C进行验证:进行验证: 上面的式子均满足平均互信息量达到信道容量上面的式子均满足平均互信息量达到信道容量C的充要条件,故的充要条件,故C=log2。 信息论与编码信息论与编码【例】例】 无噪无损信道无噪无损信道无损确定信道的输入符号集的元素个数等于输出符号集的个数,且信无损确定信道的输入符号集的元素个数等于输出符号集的个数,且信道的输入符号以确定概率道的输入符号以确定概率1指向某个固

14、定的输出符号,如图所示,信道输入指向某个固定的输出符号,如图所示,信道输入符号集符号集Xx1,x2,x3,x4,x5,输出符号集,输出符号集Yy1,y2,y3,y4,y5,其信道转,其信道转移概率矩阵为移概率矩阵为P,计算信道容量。,计算信道容量。【解】【解】该信道的信道容量为:该信道的信道容量为: 信息论与编码信息论与编码三几类特殊信道的信道容量三几类特殊信道的信道容量三几类特殊信道的信道容量三几类特殊信道的信道容量1.准对称信道准对称信道定义定义1:如果信道转移概率矩阵:如果信道转移概率矩阵P中,每一行元素都是另一行相同元素的不中,每一行元素都是另一行相同元素的不同排列,则称该信道关于同排

15、列,则称该信道关于行(输入)对称行(输入)对称。 定义定义2:如果信道转移概率矩阵:如果信道转移概率矩阵P中,每一列元素都是另一列相同元素的中,每一列元素都是另一列相同元素的不同排列,则称该信道关于不同排列,则称该信道关于列(输出)对称列(输出)对称。信息论与编码信息论与编码定义定义3:如果信道转移概率矩阵:如果信道转移概率矩阵P可按输出符号集可按输出符号集Y分成几个子集(子矩阵)分成几个子集(子矩阵),而每一子集关于行、列都对称,称此信道为准对称信道。,而每一子集关于行、列都对称,称此信道为准对称信道。定义定义4:如果信道转移概率矩阵:如果信道转移概率矩阵P可按输出符号集可按输出符号集Y化分

16、的子集(子矩化分的子集(子矩阵)只有一个,则该信道关于关于行、列都对称,称此信道为阵)只有一个,则该信道关于关于行、列都对称,称此信道为对称信道。对称信道。信息论与编码信息论与编码【定理一】定理一】(准)对称信道的条件熵(准)对称信道的条件熵H(Y/X)与信道输入消息的分布与信道输入消息的分布p(x)无关,且有无关,且有H(Y/X)=H(Y/xi)。【定理二】定理二】离散对称信道,若信源(信道输入离散对称信道,若信源(信道输入集合)等概率分布,则信宿(信道输出集合)也集合)等概率分布,则信宿(信道输出集合)也是等概率分布的;反之亦然。是等概率分布的;反之亦然。信息论与编码信息论与编码【定理三】

17、定理三】实现实现DMC准对称信道的信道容量的信源分布为等概率分布。准对称信道的信道容量的信源分布为等概率分布。 证明:若信源含有证明:若信源含有K个消息,等概率分布,即个消息,等概率分布,即p(xk)=1/K,k1,2,.,K,则,则 准对称信道是关于行准对称信道是关于行对称,对任何对称,对任何k值,值,上式中的和值相等,上式中的和值相等,与与k无关,故无关,故I(xk;Y)是常数,根据前面是常数,根据前面的定理,知平均互信的定理,知平均互信息量达到信道容量息量达到信道容量C。信息论与编码信息论与编码【例】信道输入符号集【例】信道输入符号集X =x1,x2,输出符号集,输出符号集Y =y1,y

18、2,y3,y4,给定,给定信道转移概率矩阵为信道转移概率矩阵为P,求该信道的信道容量,求该信道的信道容量C。 这是一个准对称信道,根据定理,当这是一个准对称信道,根据定理,当X等概分布,等概分布,p(x1)p(x2)1/2时,信道容量时,信道容量平均互信息量平均互信息量 信息论与编码信息论与编码由由 得得 信息论与编码信息论与编码可算得信道容量可算得信道容量信息论与编码信息论与编码【例】【例】BSC信道的转移概率如下,求信道容量:信道的转移概率如下,求信道容量: 该信道为一个对称信道,当输入等概率分布(此时输出也是等概率分该信道为一个对称信道,当输入等概率分布(此时输出也是等概率分布),取得信

19、道容量。布),取得信道容量。信息论与编码信息论与编码 时,信道的输入符号和输出符号是时,信道的输入符号和输出符号是一一对应的关系,在这种情况下,信道容一一对应的关系,在这种情况下,信道容量量Clog2,达到最大值。,达到最大值。 时,信道的不确定性最大,在时,信道的不确定性最大,在这种情况下,信道容量这种情况下,信道容量C0,是一种,是一种最差信道。最差信道。时,这是一种强噪声信道,但也是一种确定信道,在这种情况时,这是一种强噪声信道,但也是一种确定信道,在这种情况下,可将判决取反,收到下,可将判决取反,收到y1判为判为x2,y2收到判为收到判为x1,也能达到信道容,也能达到信道容量的最大值量

20、的最大值Clog2。信息论与编码信息论与编码2.信源只含两个消息信源只含两个消息 【例】信道输入符号集【例】信道输入符号集X =x1,x2,输出符号集,输出符号集Y =y1,y2,y3,给定信道,给定信道转移概率矩阵转移概率矩阵P,求信道容量,求信道容量C。 设使平均互信息量达到信道容量的信源分布为设使平均互信息量达到信道容量的信源分布为:p(x1)= ,p(x2)=1- 。 由由 ,可算出,可算出 信息论与编码信息论与编码平均互信息量平均互信息量根据定义,求根据定义,求C的问题就转化为的问题就转化为 为何值时,为何值时,I(X;Y)达到最大值。令达到最大值。令 则信道容量则信道容量 信息论与

21、编码信息论与编码3信道转移概率矩阵为非奇异方阵信道转移概率矩阵为非奇异方阵 非奇异方阵:非奇异方阵: 方阵行列式的值不为零,存在逆阵。方阵行列式的值不为零,存在逆阵。 计算信道容量计算信道容量C按下面步骤进行:按下面步骤进行: (1)先验证信道转移概率矩阵先验证信道转移概率矩阵P =p(yj/xi)是方阵,且矩阵是方阵,且矩阵P的行列式的行列式|P|0; (2)计算出逆矩阵计算出逆矩阵P-1= p-1(yjxk); (3)计算出计算出 (4)根据式根据式 ,计算出信道容量,计算出信道容量C; 信息论与编码信息论与编码(5)验证是否满足验证是否满足p(xi) 0,i=1,2,K。 u先由式先由式

22、 计算出计算出p(yk)k=1,2,K u再由式再由式计算出计算出p(xi)i=1,2,K 信息论与编码信息论与编码【例】【例】已知信道转移概率矩阵已知信道转移概率矩阵P,求信道容量,求信道容量C。(1)P矩阵的行列式:矩阵的行列式: ,说明,说明P是一个非奇异方阵。是一个非奇异方阵。 (2)P的逆矩阵:的逆矩阵: (3)算出)算出 信息论与编码信息论与编码(4)根据式根据式 ,计算出信道容量,计算出信道容量C; (5)下面验证是否)下面验证是否p(xi) 0,i=1,2 先根据先根据 算出算出 信息论与编码信息论与编码再算得再算得信息论与编码信息论与编码4.3 4.3 4.3 4.3 组合信

23、道的容量组合信道的容量组合信道的容量组合信道的容量 考虑有两个信道信道1: 信道2: 下面介绍信道三种不同组合情况下的信道容量。信息论与编码信息论与编码一独立并行信道一独立并行信道一独立并行信道一独立并行信道 在这种情况下,二个信道作为一个信道使用,传送符号在这种情况下,二个信道作为一个信道使用,传送符号XX,接收,接收符号符号YY,因为两个信道是独立的,故并行信道的转移概率为:,因为两个信道是独立的,故并行信道的转移概率为:这相当于信道是离散无记忆的,根据定理这相当于信道是离散无记忆的,根据定理2.4,对于离散无记忆信道,对于离散无记忆信道,下式成立下式成立对上面不等式两边取最大值,得对上面

24、不等式两边取最大值,得 C C 1 + C2 说明在两信道并行使用的情况下,总容量小于等于两信道单独使说明在两信道并行使用的情况下,总容量小于等于两信道单独使用时的信道容量之和。用时的信道容量之和。推广到推广到N个信道的并行组合,当个信道的并行组合,当N个信道并行独立使用时,记个信道并行独立使用时,记Ck(k=1,2,N)为第为第k个信道的信道容量,个信道的信道容量,C为组合信道的总容量,则有为组合信道的总容量,则有等号成立的条件,都要求信源离散无记忆,即要求信道独立使用且输等号成立的条件,都要求信源离散无记忆,即要求信道独立使用且输入独立。入独立。信息论与编码信息论与编码二和信道二和信道二和

25、信道二和信道 两个信道轮流使用,使用概率分别为两个信道轮流使用,使用概率分别为p1,p2,且,且p1+p2=1,记概率分,记概率分布布P=(p1,p2),和信道的平均互信息计算如下),和信道的平均互信息计算如下信息论与编码信息论与编码根据定义,有根据定义,有求使上式取极大值的求使上式取极大值的P, 令令 对数以对数以2为底,注意到为底,注意到p2=1-p1,得,得 记记 ( 为待定常数)为待定常数) 信息论与编码信息论与编码从上式中解出从上式中解出 (*) 代入条件代入条件p1+p2=1,得,得 式(式(*)中的)中的p1,p2就是使平均互信息量就是使平均互信息量I(p1,p2)达到最大的取值

26、,)达到最大的取值,将其代入信道容量公式,得:将其代入信道容量公式,得:故信道容量为:故信道容量为:推广到推广到N个信道轮流使用的情况个信道轮流使用的情况,当当N个信道以不同概率轮流使用时,个信道以不同概率轮流使用时,记记Ck(k=1,2,N)为第为第k个信道的信道容量,个信道的信道容量,C为组合信道的总容量,为组合信道的总容量,则有则有信息论与编码信息论与编码三串行信道三串行信道三串行信道三串行信道 将两个信道级联,有将两个信道级联,有X=Y,如图所示,如图所示。 串行信道的信道转移概率串行信道的信道转移概率 用矩阵表示为:用矩阵表示为: 串连信道的总信道串连信道的总信道转移概率矩阵转移概率

27、矩阵第一个信道的转移第一个信道的转移概率矩阵概率矩阵第二个信道的转移第二个信道的转移概率矩阵概率矩阵信息论与编码信息论与编码【例】给定两个信道,信道转移概率矩阵分别为:【例】给定两个信道,信道转移概率矩阵分别为: 串行信道的转移概率矩阵为:串行信道的转移概率矩阵为: 串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值。串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值。这是很不利的,这种情况下出错概率增大,使信息能力减小。这是很不利的,这种情况下出错概率增大,使信息能力减小。求得串联信道的总转移概率矩阵,利用前面的方法可以求得信道的总容量。求得串联信道的总转移概率矩阵,利用前面

28、的方法可以求得信道的总容量。若将若将N个转移概率相同的信道级联,当个转移概率相同的信道级联,当N 时,其总信道容量将趋于零。时,其总信道容量将趋于零。信息论与编码信息论与编码对于前面的结论,可用数据处理定理说明:对于前面的结论,可用数据处理定理说明: 信道信道1:P1=p(y/x);信道;信道2:P2=p(y/x) )。信道信道1和信道和信道2是独立的,信道是独立的,信道2的输出的输出Z只与其输入只与其输入Y及信道转移概率及信道转移概率P2=p(y/x)有关,而与有关,而与X无关。因此信道无关。因此信道1和信道和信道2串连就构成了一个马串连就构成了一个马尔可夫链,对于马尔可夫链有如下定理:尔可

29、夫链,对于马尔可夫链有如下定理:定理:若随即变量定理:若随即变量X、Y、Z组成一个马尔可夫链,如图所示,则有组成一个马尔可夫链,如图所示,则有 I(X; Z) I(X; Y)I(X; Z) I(Y; Z)数据处理定理:无论经过何种数据处理,都不会使信息量增加。数据处理定理:无论经过何种数据处理,都不会使信息量增加。信息论与编码信息论与编码证明:证明:则:则:I(X;Z) I(X;Y)同理:同理:I(X;Z) I(Y;Z)若满足:若满足:H(X/Y)=H(X/Z),即满足,即满足p(x/y)=p(x/z),则等号成立,则等号成立I(X;Z)=I(X;Y),说明这种情况下串行传输不会增加信息的损)

30、,说明这种情况下串行传输不会增加信息的损失。失。信息论与编码信息论与编码【例】两个离散信道,将它们串行连接使用,计算总信道容量例】两个离散信道,将它们串行连接使用,计算总信道容量C。 【解】(【解】(1)先计算总信道的信道转移概率矩阵)先计算总信道的信道转移概率矩阵 信息论与编码信息论与编码串联信道的总信道矩阵串联信道的总信道矩阵P等于第一级信道的信道矩阵等于第一级信道的信道矩阵P1,从而概率满足,从而概率满足 对上式两边关于对上式两边关于x求和,得求和,得 上式说明:无论信源如何分布,只要串行信道的总信道转移概率矩上式说明:无论信源如何分布,只要串行信道的总信道转移概率矩阵等于第一个信道的转

31、移概率矩阵,这样串行噪声信道就不会增加信道阵等于第一个信道的转移概率矩阵,这样串行噪声信道就不会增加信道的信息损失,总的信道容量就等于第一个信道的容量。的信息损失,总的信道容量就等于第一个信道的容量。(2)计算信道容量计算信道容量C第一个信道是输入只有两个消息的情况,设最佳分布为第一个信道是输入只有两个消息的情况,设最佳分布为p(x1)= ,p(x2)=1- ,仿照前面的方法可算出,仿照前面的方法可算出 =0.4,则信道容量,则信道容量C=C1=0.32(比特比特/符号符号)。 信息论与编码信息论与编码本本章章小小结结本章主要定义了信道容量及讨论了信道容量的计算方法。讨论并证明本章主要定义了信

32、道容量及讨论了信道容量的计算方法。讨论并证明了使平均互信息量达到信道容量的充要条件,并给出如下几种情况下信道了使平均互信息量达到信道容量的充要条件,并给出如下几种情况下信道容量的计算方法容量的计算方法。(1)准对称信道)准对称信道(2)信源只含两个消息)信源只含两个消息(3)信道转移概率矩阵为可逆方阵)信道转移概率矩阵为可逆方阵还讨论了多个信道组合使用情况下,总信道容量的计算方法,讨论了还讨论了多个信道组合使用情况下,总信道容量的计算方法,讨论了以下几种情况:以下几种情况:(1)N个信道独立并行使用:记每个信道单独使用时的信道容量为个信道独立并行使用:记每个信道单独使用时的信道容量为Ck ,k

33、=1,2,N,则总信道容量,则总信道容量C满足满足,当,当N个信道个信道独立输入且独立使用时等号成立。独立输入且独立使用时等号成立。 信息论与编码信息论与编码(2)N个信道轮流使用:各信道使用概率为个信道轮流使用:各信道使用概率为pk,k=1,2,N,总信道,总信道容量为:容量为:每个信道的使用概率为每个信道的使用概率为 (3)N个信道串联使用:记各个信道的信道转移概率矩阵为个信道串联使用:记各个信道的信道转移概率矩阵为Pk,k=1,2,N,则总信道的信道转移概率矩阵,则总信道的信道转移概率矩阵P等于各信道转移概率矩阵相等于各信道转移概率矩阵相乘,即乘,即P=P1P2PN,矩阵的乘法要满足:左乘矩阵的列数应等,矩阵的乘法要满足:左乘矩阵的列数应等于右乘矩阵的行数,且矩阵相乘不满足交换率。于右乘矩阵的行数,且矩阵相乘不满足交换率。

展开阅读全文
相关资源
正为您匹配相似的精品文档
相关搜索

最新文档


当前位置:首页 > 办公文档 > 工作计划

电脑版 |金锄头文库版权所有
经营许可证:蜀ICP备13022795号 | 川公网安备 51140202000112号