《北京交通大学信息论第三章课件》由会员分享，可在线阅读，更多相关《北京交通大学信息论第三章课件（53页珍藏版）》请在金锄头文库上搜索。
1、第三章 离散信道及其信道容量,第一节 信道的数学模型及分类,第二节 平均互信息,第三节 平均互信息的特性,第四节 信道容量及其一般计算方法,第五节 离散无记忆扩展信道及其信道容量,第六节 信源与信道的匹配,第一节 信道的数学模型及分类,1、信道的分类：,根据信道用户的多少，可分为：,（1）单用户信道：只有一个输入端和一个输出端,（2）多用户信道：至少有一端有两个以上的用户，双向通信,根据输入端和输出端的关联：,（1）无反馈信道,（2）有反馈信道,第一节 信道的数学模型及分类,根据信道参数与时间的关系：,（1）固定参数信道,（2）时变参数信道,根据输入输出信号的特点 （1）离散信道 （2）连续信
2、道 （3）半离散半连续信道： （4）波形信道,以下我们只研究无反馈、固定参数的单用户离散信道。,第一节 信道的数学模型及分类,P(y/X),X,Y,根据这一模型，可对信道分类如下：,设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示： 规定一个离散信道应有三个参数： 输入符号集：X=x1，x2， 输出符号集：Y=y1，y2， 信道转移概率：P(Y/X)=p(y1/x1),p(y2/x1),p( /x1),p(y1/ )p( / ),2、离散信道的数学模型,第一节 信道的数学模型及分类,（1）无干扰信道：输入信号与输出信号 有一一对应关系,（2）有干扰无记忆信道：输入与输出无一
3、一对应关系， 输出只与当前输入有关； （3）有干扰有记忆信道：这是最一般的信道。,第一节 信道的数学模型及分类,3、单符号离散信道的数学模型 单符号离散信道的输入变量为X，取值于 输出变量为Y，取值于 。 并有条件概率 条件概率被称为信道的传递概率或转移概率。 一般简单的单符号离散信道的数学模型可以用概率空间X,p(y|x),Y来描述。 X Y,第一节 信道的数学模型及分类,表示成矩阵形式：,第一节 信道的数学模型及分类,例1 二元对称信道（BSC） X=0,1; Y=0,1; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p;,0 1-p 0,p p,1 1-p 1,第一
4、节 信道的数学模型及分类,例2 二元删除信道 X=0,1; Y=0,2,1,0 1-p 0,p,p,1 1-p 1,2,由此可见，一般单符号离散信道的传递概率可以用矩阵表示,第一节 信道的数学模型及分类,第一节 信道的数学模型及分类,为了表述简便，可以写成,下面推导几个关系式：,第一节 信道的数学模型及分类,（1）联合概率,其中,称为前向概率，描述信道的噪声特性,称为后向概率，,有时也把 称为先验,概率，把 称为后验概率,（2）输出符号的概率,（3）后验概率,表明输出端收到任一符号，必定是输入端某一符号输入所致,第二节 平均互信息,1、信道疑义度,这是收到 后关于X的后验熵，表示收到 后关于输
5、入符号的信息测度,这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。,第二节 平均互信息,I(X;Y)=H(X)-H(X/Y),2、平均互信息,因为H(X),表示传输前信源的不确定性，而H(X/Y)表示收到一个符号后，对信源尚存的不确定性，所以二者之差信道传递的信息量。,下面我们讨论一下互信息与其他的熵之间的关系,I(X;Y)=H(X)-H(X/Y) =H(X)+H(Y)-H(XY) =H(Y)-H(Y/X) (
6、3.34),第二节 平均互信息,也可以得到：H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y),由3.34也可以看出，互信息I(X;Y)也表示输出端H(Y)的不确定性和已知X的条件下关于Y的不确定性之差，也等于发送前后关于Y的不确定性之差。,H(X/Y)即信到疑义度，也表示通过有噪信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵。,互信息与各类熵之间的关系可以用下图表示：,第二节 平均互信息,H(X,Y),H(X/Y) H(Y/X),H(X) H(Y) I
7、(X,Y),可以看出，联合熵等于两园之和减去第三部分，也等于一个园加上另外一部分,下面讨论两种极端情况：,图1,第二节 平均互信息,（1）无噪一一对应信道,此时可以计算得：H(X/Y)=H(Y/X)=0在图一中表示就是两圆重合。,(2)输入输出完全统计独立 此时I(X;Y)=0 H(X/Y)=H(X) H(Y/X)=H(Y),第三节 平均互信息的特性,1、平均互信息的非负性,I(X;Y)=0,该性质表明，通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但决不会失去已知的信息。 2、平均互信息的极值性 I(X;Y)=H(X) 一般来说，信到疑义度总是大
8、于0，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度等于0，互信息等于信源的熵。,第三节 平均互信息的特性,3、平均互信息量的交互性 I(X,Y)=I(Y,X) I(Y;X)表示从X中提取关于的Y的信息量，实际上I(X,Y)和I(Y,X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式,4、平均互信息的凸状性,第三节 平均互信息的特性,定理3.1 平均互信息I(X;Y)是信源概率分布P(X)的 型凸函数,这就是说，对于一定的信道转移概率分布，总可以找到某一个先验概率分布的信源X，使平均交互信息量达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可
9、以说不同的信道转移概率对应不同的Imax。,第三节 平均互信息的特性,例：对于二元对称信道,0 1-p 0,p,p,1 1-p 1,如果信源分布X=w,1-w，则,I(X;Y),w,1/2,1-H(P),第三节 平均互信息的特性,而：,所以：,当信道固定时，平均互信息时信源分布的 型凸函数，最大只为1-H(P),第三节 平均互信息的特性,定理3.2 平均互信息I(X;Y)信道传递概率分布P(Y/X)的 U型凸函数,这就是说，对于一个已知先验概率为批P(X)的离散信源，总可以找到某一个转移概率分布的信道，使平均交信息量达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin。或者说I
10、min是P(X)的函数。即平均交互信息量的最小值是由体现了信源本身的特性。,例：对于二元对称信道,0 1-p 0,p,p,1 1-p 1,如果信源分布X=w,1-w，则 由此可得,I(X;Y),p,1/2,第四节 信道容量及其一般计算方法,第四节 信道容量及其一般计算方法,我们先定义信息传输率： R=I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) bit/符号,由定理3.1可知，对于每一个确定信道，都有一个信源分布，使得信息传输率达到最大值，我们把这个最大值称为该信道的信道容量。,信道容量与与信源无关，它是信道的特征参数，反应的是信道的最大的信息传输能力。 对于二元对称信道，由图
11、可以看出信道容量等于 1-H(P),第四节 信道容量及其一般计算方法,1、离散无噪信道的信道容量,（1）具有一一对应关系的无噪声信道,x1 y1 x2 y2 x3 y3,此时由于信道的损失熵和疑义度都等于0，所以 I(X;Y)=H(X)=H(Y) C=logr=logs,第四节 信道容量及其一般计算方法,(2)有噪无损信道,x1,x2,y1,y2,y3,y4,y5,此时信道疑义度不为0，而信道噪声熵为0，从而 C=maxI(X;Y)=maxH(X)-H(X/Y)=maxH(X)=logr,可见，信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道,第四节 信道容量及其一般计算方法
12、,(3)无噪有损信道,x1,x2,x3,x4,x5,y1,y2,此时信道疑义度为0，而信道噪声熵不为0，从而 C=maxI(X;Y)=maxH(Y)-H(Y/X)=maxH(Y)=logs,第四节 信道容量及其一般计算方法,如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为对称信道 如：,和,2、对称离散信道的信道容量,第四节 信道容量及其一般计算方法,如果离散信道的转移矩阵如下,则称此信道为强对称信道或均匀信道，它是对称离散信道的一种特例。该信道的各列之和也为1,第四节 信道容量及其一般计算方法,下面我们来计算对称离散信道的信道
13、容量,I(X;Y)=H(Y)-H(Y/X) 而,H(Y/X=x)是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个与x无关的一个常数，即,因此,可以看出，当输出等概分布时，即H(Y)=logs时信道容量达到。,第四节 信道容量及其一般计算方法,那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输入等概分布时，输出也等概分布,可以看出，信道的输出也是等概分布的,第四节 信道容量及其一般计算方法,例：,对于二元对称信道,这个式子很重要。,第四节 信道容量及其一般计算方法,例：对于强对称信道，其信道容量为：,第四节 信道容量及其一般计算方法,3、准对称信道的信道容量： 若信道的
14、列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道，如：,可划分为：,第四节 信道容量及其一般计算方法,有如：,可分成：,第四节 信道容量及其一般计算方法,可以证明达到信道容量的输入分布是等概分布，也可计算准对称信道的信道容量为：,其中r是输入符号集的个数， 为矩阵中的行元素,是第k各矩阵中的行元素只和， 是第k个矩阵的列元素之和,第四节 信道容量及其一般计算方法,例：,可分成：,第四节 信道容量及其一般计算方法,4、一般离散信道的信道容量,我们可以对输入分布求极值，得到,而：,定理3.3 一般离散信道达到信道容量的充要条件是输入概率分布满足,该定理说明，当平均互
15、信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。,第四节 信道容量及其一般计算方法,第四节 信道容量及其一般计算方法,可以利用该定理对一些特殊信道求得它的信道容量,例：输入符号集为:0,1,2,假设P(0)=P(2)=1/2，P(1)=0，则：,第四节 信道容量及其一般计算方法,所以：,第四节 信道容量及其一般计算方法,对于一般信道的求解方法，就是求解方程组,移项得：,令,则,若r=s，此方程有解，可以解出s各未知数 ，再根据,得,从而,第四节 信道容量及其一般计算方法,例：,可列方程组：,第四节 信道容量及其一般计算方法,解之得：,第五节 离散无记忆扩展信道及其信道容量,离散无
16、记忆信道为：,则它的N次扩展信道为：,第五节 离散无记忆扩展信道及其信道容量,为N次扩展信源中的一个符号,为N次扩展接收符号集中的一个符号,第五节 离散无记忆扩展信道及其信道容量,我们首先从一个例子开始 例：二元无记忆对称信道得二次扩展信道 二元记忆对称信道为,可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。,第五节 离散无记忆扩展信道及其信道容量,则它的二次扩展信道为：,第五节 离散无记忆扩展信道及其信道容量,根据互信息的定义,定理3.5 如果信道是无记忆的，即,则：,定理3.6 如果信源是无记忆的,第五节 离散无记忆扩展信道及其信道容量,因此，如果信源、信道都是无记
