信息论课件3信息论第三章

《信息论课件3信息论第三章》由会员分享，可在线阅读，更多相关《信息论课件3信息论第三章（77页珍藏版）》请在金锄头文库上搜索。

1、第三章 离散信道及其信道容量,3.1 信道的数学模型及分类,3.2 平均互信息及平均条件互信息,3.3 平均互信息的特性,3.4 信道容量及其一般计算方法,3.6 离散无记忆扩展信道及其信道容量,3.7 独立并联信道及其信道容量,3.8 串联信道的互信息和数据处理定理,3.9 信源与信道的匹配,3.1 信道的数学模型及分类,3.1.1 信道的分类,3.1.2 离散信道的数学模型,3.1.3 单符号离散信道的数学模型,3.1 信道的数学模型及分类,3.1.1 信道的分类,两端信道：只有一个输入端和一个输出端 多端信道：在输入端或输出端至少有一端 有两个以上的用户。,无反馈信道：输出端信号对输入端

2、信号无 影响。 反馈信道：输出端信号对输入端信号有影 响。,固定参数信道：信道参数不随时间变化。 时变参数信道：信道参数随时间变化。,离散信道：输入和输出的随机序列取值都 是离散的。 连续信道：输入和输出的随机序列取值都 是连续的。 半离散或半连续信道：一端序列取值是离 散的一端序列取值是连续的。 波形信道：输入输出都是时间上连续 的随机信号X(t),Y(t).,3.1.2 离散信道的数学模型,信道统计特性用条件概率表示,1、无干扰（无噪）信道 输出信号Y与输入信号X之间有确定的一一对应关系,2、有干扰无记忆信道 无记忆信道：信道任一时刻输出符号只统计依赖于对应时刻的输入信号，而与非对应时刻的

3、输入符号及输出符号无关。,有干扰：输出符号与输入符号之间无确定的对应关系，符合某种概率分布。,上式是离散无记忆信道的充要条件,3、有干扰有记忆信道 研究方法：,(1) N个符号当作一个矢量符号，矢量之间以为是无记忆的，引入误差。,(2) 把 看成马尔可夫链的形式， 用 描述信道，相当复杂。,本章着重研究离散无记忆信道。,a1 b1 a2 b2 ar bs,3.1.3 单符号离散信道的数学模型,条件概率,称传递概率或转移概率,例3.1 二元对称信道BSC,且,二元对称信道的传递矩阵,Y,例3.2 二元删除信道BEC,单符号信道的传递概率用矩阵表示：,简写 ，信道传递矩阵为,且,矩阵中每行元素之和

4、等于1。,可求出：,(1) 联合概率,(2) 输出符号概率,(3) 后向概率,概念,信道传递概率前向概率,后向概率后验概率,先验概率,3.2 平均互信息及平均条件互信息,3.2.1 信道疑义度,3.2.2 平均互信息,3.2.3 平均条件互信息,3.2 平均互信息及平均条件互信息,3.2.1 信道疑义度,1、先验熵 H（X） 接收到输出Y 以前，关于输入变量X 的先验不确定性的度量。,2、后验熵 ,当接收到输出符号ybj后，输入符号的概率分布成为 ，则关于x 的平均不确定性为,3、条件熵信息疑义度H（X|Y）,表示输出端收到输出变量Y 的符号后，对输入端变量X尚存在的平均不确定性。,讨论： （

5、1）一般情况下，H（X|Y）H（X） 说明接收到Y后，关于输出变量X的不确定 性减少了，即总能消除一些关于X的不确 定性，从而获得信息。 （2）对于无扰信道 接收到Y后，完全消除了对X的不确定 性，从而获得全部信息。,3.2.2 平均互信息,1、定义式平均互信息,表示收到输出符号Y后，平均每个符号获得的关于X的信息量。,对称性,2、互信息定义式,（1） 可正、可负、可零 （2）平均互信息是互信息的统计平均 （3）平均互信息 永远不会取负值,3、其它熵的定义式及计算,损失熵 信道疑义度H（X|Y）,表示信源符号通过有噪信道传输后所引起的信息量的损失。,噪声熵 散布度 H（Y|X）,表示在已知X的

6、条件下，对于随机变量Y尚存在的不确定性，此不确定性完全是由信道中的噪声引起。,联合熵 H（XY）,维拉图表示熵的公式,4、两种极端信道,结论：,（1）无噪一一对应信道,（2）输入端与输出端完全独立统计,接收到Y后不可能消除X的任何不确定性，也不能从X中获得任何关于Y的信息量。,结论：,3.2.3 平均条件互信息,两概率空间中两事件之间的互信息。 两个概率空间X、Y之间的平均互信息,1、条件互信息 设有三个概率空间X、Y、Z，且有,定义：,2、平均条件互信息,3、联合互信息,4、平均联合互信息,联合变量YZ和变量X之间的平均互信息，等于变量X和变量Y的平均互信息，加上在此变量Y已知条件下变量X和

7、另一变量Z的平均互信息,3.3 平均互信息的特性,3.3.1 平均互信息的非负性,3.3.2 平均互信息的极值性,3.3.3 平均互信息的交换性（对称性）,3.3.4 平均互信息 I ( X ; Y ) 的凸状性,3.3 平均互信息的特性,3.3.1 平均互信息的非负性,当X、Y统计独立时，,通过一个信道获得的平均信息量不会是负值。也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。,3.3.2 平均互信息的极值性,3.3.3 平均互信息的交换性（对称性）,平均互信息只与信源的概率分布和信道的传递概率有关.,3.3.4 平均互信息 I ( X ; Y ) 的凸

8、状性,定理3.1 平均互信息 是输入信源概率分布 的 型凸函数。,例3.4 已知二元对称信道,输入信源：,求I（X；Y）,信道固定（固定p），I（X；Y）是的 型凸函数。 信道固定后，接收到的信息量I（X；Y）与输入概率分布p（x）有关。当1/2（等概率分布）时，信道接收端平均每个符号获得最大的信息量。,定理3.2 平均互信息 是信道传递概 率 的 型凸函数.,例3.4 续,固定 时， 是 p的 型凸函数.,当二元信源固定后，存在一种二元对称信道（p1/2时），使信道输出端获得的信息量最小，等于0. 最差信道,当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得关于信源的信息量

9、是不同的。,3.4 信道容量及其一般计算方法,3.4.1 离散无噪信道的信道容量,3.4.2 对称离散信道的信道容量,3.4.3 准对称信道的信道容量,3.4 信道容量及其一般计算方法,信息传输率R：信道中平均每个符号所能传送的信息量。,平均互信息 ：接收到Y后，平均 每个符号获得的关于X的信息量。,信息传输速率Rt：信道在单位时间内（一 般以秒为单位）平均传输的信息量。,相应的输入概率分布称最佳输入分布.,也称信道容量,信道容量定义： 对于一个固定信道，总存在一种信源（概率分布 ），使传输每个符号平均获得的信息量最大。这就是固定信道的最大信息传输率，定义为信道容量C。,信道容量的物理意义：

10、信道容量已与输入信道的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。所以，信道容量是能完全描述信道特性的参量,是信道能够传输的最大信息量。,如例3.4中,只与 有关，而与 无关了。,3.4.1 离散无噪信道的信道容量,1、无噪无损信道,2、有噪无损信道,3、无噪有损信道,小结：,3.4.2 对称离散信道的信道容量,1、对称离散信道,判断下列信道是否是对称离散信道？,是,是,不是,不是,2、强对称信道 （均匀信道）,3、对称离散信 道的信道容量,上式是对称离散信道能够传输的最大信息量，只有当输入符号X达到等概率分布时，才能达到。此信道容量只与信道矩阵行矢量 和输出符号集个数s有

11、关。,3.4.3 准对称信道的信道容量,1、准对称信道定义,信道矩阵Q可按列组合成对称矩阵，QK.（每行元素相同，只是不同排列）,判断下列信道是否是准对称离散信道？,是,是,2、准对称信道的信道容量 （1）要求的输入分布是等概率分布 （2）信道容量,n 对称子集数； Nk第k个子矩阵Qk中行元素之和，Mk 第k个子矩阵Qk中列元素之和。,例如：,例如：,3.6 离散无记忆扩展信道及其信道容量,3.6.1 数学模型,3.6.2 离散无记忆扩展信道的 信道容量,3.6 离散无记忆扩展信道及其信道容量,3.6.1 数学模型,1、单符号,2、消息序列,3、N次扩展信道,N次扩展信道矩阵,这里,例3.1

12、1 求二元无记忆对称信道的二次扩 展信道 。已知：,解：,同理得,结论：对无记忆信道，由信道矩阵可求得N次扩展信道矩阵。,3.6.2 离散无记忆扩展信道的信道容量,1、N次扩展信道的平均互信息,若信道的输入随机序列为 ，通过信道传输，接收到的随机序列为 。若信道是无记忆的，则存在,2、定理3.5, 给出了I（X；Y）的极大值,3、定理3.6,若信道的输入随机序列为 ，通过信道传输，接收到的随机序列为 。若信源是无记忆的，则存在, 给出了I（X；Y）的极小值,4、离散无记忆信道、无记忆信源时,此式表明，当信源无记忆时，无记忆的N次扩展信道的平均互信息等于原信道平均互信息的N倍。,5、离散无记忆信

13、道的N次扩展信道的信 道容量,结论：离散无记忆的N次扩展信道的信道容量等于单符号时信道容量的N倍.,条件： （1）输入信源是无记忆的; （2）每一输入Xi的分布各自达到最佳分 布，使传输达到信道容量C。,一般情况下：,3.7 独立并联信道及其信道容量,在这N个独立并联信道中，每个信道输出的Yi只与本信道的输入Xi有关，与其它信道的输入、输出都无关，此并联信道是无记忆的.,结论：,（2）当输入符号相互独立，且的概率分布达到各信道容量的最佳输入分布时，并联信道的容量才等于各信道容量之和。,根据定理3.5,（1）独立并联信道的信道容量不大于各个信道容量之和。,3.8 串联信道的互信息和数据处理定理,

14、3.8.1 串联信道数学模型,3.8.2 串联信道平均互信息,3.8.3 一般通信系统模型,3.8 串联信道的互信息和数据处理定理,3.8.1 串联信道数学模型,1、串联信道举例,2、串联信道模型,证明：,即,3、马尔可夫链串联信道,定义：满足条件 ,称这两个信道的输入和输出X，Y，Z序列构成马尔可夫链。,且,3.8.2 串联信道平均互信息,1、定理3.7,联合变量XY与变量Z之间的平均互信息不小于变量Y与Z之间的平均互信息。,实际的串联信道，往往满足马尔可夫链条件。因此由Z获得的关于Y的信息量即相同于由Z获得的关于XY的联合信息量。,2、定理3.8 数据处理定理,定理3.8和推论表明通过串联

15、信道传输只会丢失更多的信息。,若X、Y、Z组成一个马尔可夫链，则有,取等号条件,推论：,表明串联第二个信道传输信息后不会增加信息的损失。,结论：若第二个信道是数据处理系统，一般只会增加信息的损失，最多保持原来获得的信息，不可能比原来获得的信息有所增加。,需要,即第二个信道是无噪无损信道。,则,3、一系列串联信道的信道容量,说明在任何信道传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，都不能再恢复已丢失的信息。这称做信息不增性原理。,串连信道的信道容量：,显然，串接的无源数据处理信道越多，其信道容量可能会越小。当串接信道数无限大时，信道容量可能趋于零。,(2)两个二元对称信道串联,解：,例3.13 (1)已知信源输出符号概率,由图3.31知：,当串联级数n增加时，损失的信息增加,可证明,由于实际信道中错误概率p很小， 因此，若干次串接后信道容量的减少并不明显。,3.8.3 一般通信系统模型,即,则,往往为了获得更有用的和更有效的信息，还是需要进行适当的信息处理。,3.9 信源与信道的匹配,1、信源与信道匹配,指信源与信道连接时，信息传输率达到了信道容量。,2、信道剩余度,