《信息论与编码-第三章》由会员分享，可在线阅读，更多相关《信息论与编码-第三章（93页珍藏版）》请在金锄头文库上搜索。
1、第3章-信道与信道容量,信道的基本概念 离散单个符号信道及其容量 离散序列信道及其容量 连续信道及其容量 信源与信道的匹配,信息论与编码-信道与信道容量,由于一般信道中总是存在噪声和干扰，在这样的信道中进行信息传输会造成损失。那么在有噪信道中怎么能够使消息通过传输后发生的错误最少？在有噪信道中无错误传输可以达到的最大信息率是多少？这就是本章研究的内容。,信息论与编码-信道与信道容量,信道分类和表示参数 通信系统中，信道是非常重要的部分。信道的任务是以信号方式传输信息。在信道中会引入噪声，这些都会使信号通过信道后产生错误和失真，故信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系。 只
2、要知到了信道的输入信号和输出信号以及它们之间的统计依赖关系，则信道的全部特性就确定了。所以可以用信道的转移概率矩阵P(Y/X)来描述信道、信道的数学模型及分类 研究信道，就要研究信道中能够传送的最大信息量，即信道容量问题。,信息论与编码-信道与信道容量,信道的分类：从不同的角度，有不同的分类方法。 根据信道的参数是否随时间变化，可以分为： （1）固定参数信道：信道的参数不随时间变化； （2）时变参数信道：信道的参数随时间变化。 根据输入和输出信号的特点，可以分为： （1）离散信道：信道的输入和输出的随机序列取值都是离散的； （2）连续信道：信道的输入和输出的随机序列的取值都是连续的；,信息论与
3、编码-信道与信道容量,（3）半离散或半连续信道：输入序列是离散的但相应的输出序列是连续的，或者反过来； （4）波形信道：信道的输入输出不但取值是连续的，而且还随时间连续变化。一般可用随机过程来描述其输入输出。由于实际信道的带宽总是有限的，所以输入信号和输出信号总可以分解成时间离散的随机序列。序列的取值可以是连续的，也可以是离散的，因此，波形信道可以分解成连续信道或离散信道或半离散半连续信道。,信息论与编码-信道与信道容量,信道参数 设信道的输入矢量和输出矢量分别是通常采用条件概率 来描述信道输入输出信号之间统计的依赖关系。 该条件概率通常称为转移概率,信息论与编码-信道与信道容量,根据信道是否
4、存在干扰以及有无记忆，可将信道分为下面三类 无干扰信道：信道的输出符号Y与输入符号X之间又确定的关系Y=f(X),已知X后就确知Y。 有干扰无记忆信道：信道的输出符号Y与输入符号X之间没有确定的关系，但转移概率满足即每个输出符号只与当前输入符号之间有概率转移关系。 在这种情况下，只需分析单个符号的转移概率即可,信息论与编码-信道与信道容量,有干扰有记忆信道： 一般情况都是如此，常用的方法有两种 将记忆很强的L个符号当矢量符号，各矢量符号之间是无记忆的，但此事会引入误差，L越大，误差越小 将转移概率看成马尔科夫链的形式，记忆有限，信道的统计特性可用在已知现在时刻输入符号和前信道所处的状态的条件概
5、率来描述，这种处理方法比较复杂，通常取一阶时稍简单,信息论与编码-信道与信道容量,下面我们讨论几种常用信道。 （1）二进制离散信道二进制离散信道的输入值集合是0，1，输出值集合也是0，1，再加上一组描述信道统计特性的转移概率，就可以完全确定信道。 二进制离散信道的一个特例：二进制对称信道（BSC-Binary Symmetric Channel）。如果描述二进制离散信道的转移概率对称，即则称这种二进制输入、二进制输出的信道为二进制对称信道。,信息论与编码-信道与信道容量,如图所示。 BSC信道是无记忆信道。 BSC信道是研究二元编解码最简单也是最常用的信道模型。,输入,0,1,1-p,1-p,
6、p,p,输出,0,1,信息论与编码-信道与信道容量,（2）离散无记忆信道 设信道的输入符号集合是 ， 输出符号集合是 再加上一组（mn个）转移概率这样的一种信道称为离散无记忆信道 （DMC:Discrete Memoryless Channel）。,信息论与编码-信道与信道容量,可以把转移概率写成矩阵的形式，即,信息论与编码-信道与信道容量,图示,a0,an-1,a1,b0,b1,bm-1,信息论与编码-信道与信道容量,（3）离散输入、连续输出信道信道输入符号选自一个有限离散的符号集合信道输出时未经量化的任意值，即 m- 信道特性由转移概率密度函数决定典型信道是加性高斯白噪声信道（AWGN）,
7、信息论与编码-信道与信道容量,（4）波形信道 输入和输出都是随机过程x(t)和y(t)，模拟系统。 对于频带受限的波形信道，可以用抽样的方法变成时间离散信道。设带宽为W，则在T时间间隔内，根据抽样定理，应该抽样至少2WT个点，分别记为输入和输出这样波形信道就转化为多维连续信道,信息论与编码-信道与信道容量,信道转移概率密度函数为且满足完备性。 连续无记忆信道，满足一般情况下，是有记忆信道,信息论与编码-信道与信道容量,对于加性噪声，单符号信道可以表示为y(t)=x(t)+n(t)n(t) 为噪声过程的一个样本函数 由于噪声和信号相互独立，所以有转移概率为即信道的转移概率密度函数等于噪声的概率密
8、度函数,信息论与编码-信道与信道容量,条件熵,信息论与编码-信道与信道容量,上式说明条件熵是由噪声引起的，它等于噪声信源的熵。故条件熵也称噪声熵。 在加性多维连续信道中，输入矢量X、输出矢量Y和噪声矢量n之间的关系是Y=X+n 可得,信息论与编码-信道与信道容量,3.2离散单个符号信道及其容量 我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信息传输率R。而信道的信息传输率就是平均互信息，即 bit/符号 若已知平均传输一个符号所需的时间为t(s)，则将信道在单位时间内平均传输的信息量定义为信息传输速率：bit/符号s/符号=bit/s 即 单位为bit/s,信息论与编码-信道
9、与信道容量,前面我们已经讨论过，I(X;Y)是输入随机变量X的概率分布p(xi)和信道转移概率p(yj/xi)的函数。 对于一特定信道，若转移概率已确定，则互信息就是就是关于输入符号概率分布的函数。 因此对于一个固定的信道，总存在一种信源符号的概率分布，使传输每个符号平均获得的信息量最大。这个最大的信息传输率就称为信道容量C。即此时相应的输入概率分布称为最佳输入分布。,信息论与编码-信道与信道容量,有时候也把单位时间内信道平均传输的最大信息量叫做信道容量，即信道容量C已与输入信源的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。 所以，信道容量是完全描述信道特性的参量，是信道每
10、符号能够传输的最大信息量。 对于特定的信道，信道容量是个定值，但在传输信息时信道能否提供其最大传输能力，则取决于输入端的概率分布。,信息论与编码-信道与信道容量,无干扰离散信道 设信道的输入符号集合是输出符号集合是 按照X与Y的对应关系，可以分为如下几类 无噪无损信道 无噪有损信道 有噪无损信道 这些信道是部分理想化的，使用中比较少,3.2离散单个符号信道及其容量,无干扰离散信道的信道容量,X、Y一一对应 Clog n,多个输入变成一个输出 CmaxH(Y),一个输入对应多个输出 CmaxH(X),信息论与编码-信道与信道容量,DMC信道的信道容量设DMC信道的输入符号集合是 输出符号集合是
11、转移概率由信道特性决定。,信息论与编码-信道与信道容量,给定信道，就是给定信道的转移概率。此时有所以信道容量为由上式可以看出，信道容量C只是转移概率的函数，也就是说，信道容量由信道唯一决定。,信息论与编码-信道与信道容量,因为 是最佳输入分布， 是信道特性，一旦这两个参数确定， 就被确定了：对于信道容量，一个是其存在性问题，一个是它的计算。关于存在性问题，在这里我们不做讨论，主要看它的计算问题。,信息论与编码-信道与信道容量,对称DMC信道的容量对称DMC信道的定义： 如果一个DMC信道的转移概率矩阵P中的每一行都是第一行的置换（包含同样的元素，但位置可以不同），则称该矩阵是输入对称的， 如果
12、转移概率矩阵P的每一列都是第一列的置换，则称该矩阵是输出对称的， 如果一个DMC信道的输入、输出都对称，则称该DMC信道为对称DMC信道。,信息论与编码-信道与信道容量,对称DMC信道:,信息论与编码-信道与信道容量,对称DMC信道的性质：i）对称DMC信道的条件熵H(Y/X)与信道输入符号的概率分布无关，且有这是因为 与 无关。,信息论与编码-信道与信道容量,ii）当信道输入符号等概分布时，信道输出符号也等概分布；反之亦然(列对称）容量公式：,信息论与编码-信道与信道容量,iii）当信道输入符号等概分布时，对称DMC信道达到其信道容量，为,信息论与编码-信道与信道容量,例题3-1：某对称DM
13、C信道，信道转移矩阵为求信道容量。 解：,例题3-2：强对称信道（均匀信道），信道转移概率矩阵 输入符号和输出符号的个数相同，都为n，正确的传输概率为1-，错误概率，均匀的分配给n-1各输出符号。信道容量为,信息论与编码-信道与信道容量,信息论与编码-信道与信道容量,（2）BSC信道的信道容量 BSC信道是均匀DMC信道在输入输出在n=m=2时的特例，所以对于转移概率为p(0/1)=p(1/0)=p， p(0/0)=p(1/1)=1-p的信道，当时，其平均互信息量最大，即其信道容量为：,信息论与编码-信道与信道容量,信息论与编码-信道与信道容量,C与信道转移概率的关系如下图所示。 当p=0时，
14、即信道无误码时， C=H(X)=1bit/符号，达到了信道容量的最 大值，相当于没有噪声 损失。,C,p,C-p曲线,0.2,0.4,0.6,0.8,1.0,0.2,0.4,0.6,0.8,1.0,0,当p=0.5时，信道容量C=0，这时候由于输入输出完全独立，从输出端得不到任何关于输入的信息,信息论与编码-信道与信道容量,例3-3 设有两个离散BSC信道，其转移概率矩阵都为,0,1,Y,X,Z,1-,1-,1-,1-,0,1,信息论与编码-信道与信道容量,可以求得 I(X;Y)=1-H(), I(X;Z)=1-H(2(1- ),信息论与编码-信道与信道容量,（3）准对称DMC信道的信道容量
15、如果信道转移矩阵P是输入对称而输出不对称，即转移概率矩阵的每一行都包含同样的元素，但每一列包含的元素可以不同，则称这样的信道为准对称DMC信道。例如：就是准对称DMC信道。,信息论与编码-信道与信道容量,由于每列元素不相同，所以信道的输入和输出概率可能不等，此时H(Y)的最大值可能小于Y等概率时的熵，因而准对称DMC信道的容量可以证明，对于准对称DMC信道，当输入概率分布为等概分布时，达到其信道容量，为,信息论与编码-信道与信道容量,n是输入符号集中符号个数， 是转移概率矩阵中一行的元素，即是信道转移矩阵的第k个子矩阵中行元素之和， 是信道转移矩阵的第k个子矩阵中列元素之和。r是互不相交的子集个数,信息论与编码-信道与信道容量,转移矩阵的子矩阵是这样得到的：由于转移矩阵中每一行都包含同样的元素，而每一列则可以包含不同的元素，因此，我们可以把转移矩阵分成n个互不相交的子集，每一个子集构成的子矩阵都是对称的。,信息论与编码-信道与信道容量,例如：设转移矩阵为则可以分成三个子集，每个子集组成的子矩阵为,信息论与编码-信道与信道容量,又例如：设转移矩阵为则可以分成二个子集，每个子集组成的子矩阵为因此,信息论与编码-信道与信道容量,例题3-5：已知一个信道的信道转移概率矩阵为求该信道的信道容量。 解：将P划分成两个子矩阵：则,
