《信息论与编码课件(铁道) 4》由会员分享，可在线阅读，更多相关《信息论与编码课件(铁道) 4（24页珍藏版）》请在金锄头文库上搜索。
1、第四章 信道与其容量,信道是通信系统中的重要部分。它是传输信息的载体，其任务是以信号的方式传输、储存信息。因而研究信道就是研究信道中理论上能够传输或储存的最大信息量，即信道容量问题。 在信道固定的条件下，总是希望传输的信息越多越好，所以，信息传输率是衡量通信质量的重要指标。但是信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量。 信道容量是有关信道的一个很重要的物理量，本章将讨论信道的分类及表示信道的参数，同时研究在信道中传输的每个符号所携带的信息量，并定义信道容量，最后讨论几种特殊信道的容量及其计算方法。,主要内容,4.1
2、 信道的分类与描述 4.2 离散无记忆信道 4.3 信道容量 4.4 连续信道及其容量（了解）,4.1 信道的分类与描述,一、信道的分类： 1）按照信道输入端或输出端的个数： 单用户信道和多用户信道； 2）按照信道的统计参数是否随时间变化： 时变参数信道和固定参数信道； 3）按照信道输入/输出信号取值幅度集合的离散性和连续性： 连续信道和离散信道； 4）按照信道输入/输出信号在取值时刻上是否有依赖关系： 有记忆和无记忆信道； 5）按照信道输入/输出信号之间是否统计依赖： 有噪信道和无噪信道；,二、信道的描述： 描述信道的三要素： 1)信道输入统计概率空间: X,p(x) 2)信道输出统计概率空
3、间： Y,p(y) 3)信道本身的统计特性，即转移概率(或传递概率)：P(y|x),信道的模型,输入：X，p(x),输出：Y，p(y),信道 p(y|x),干扰,4.2 离散无记忆信道,一、定义：设信道的输入为N维随机矢量X，其取值为： 信道的输出为N维随机矢量Y，其取值为： 若信道的传递概率有下列关系成立： 则称该信道为离散无记忆信道。,特点：任一时刻的输出符号仅仅统计依赖与对应时刻的输入 符号；而与其他时刻无关。 注意：本章讨论的均为无记忆的信道。,二、根据信道是否存在干扰，离散信道又可分成： 1、无扰离散信道：,2、有扰离散信道：,无扰离散信道和有扰离散信道的情况,三、单符号离散信道：
4、1、二进制对称信道(二元对称信道BSC信道) 该信道的输入和输出都取自符号集0,1，且传递概率为： 由传递概率构成的矩阵，称为信道矩阵P。,2、信道模型：（见P77图4.2.2） 由于这种信道的输出比特仅与对应时刻的一个输入比特有关，而与以前的输入无关，所以这种信道是无记忆的。BSC信道研究二元编解码最简单，也是最常用的信道模型。,举例 P84页例4.2.2 一个信源以相等的概率及1000码元/秒的速率把0和1码送入有噪信道，由于信道中噪声的影响，发送0接收1的概率是1/16，而发送1接收0的概率是1/32，求信源熵和条件熵、平均互信息。,一、信息传输率： 1、信息传输速率是指在信道上传输过程
5、中，每单位时间内所传输的实际信息量。 信息传输速率的单位与信道容量的单位相同。若信息量的单位为比特，时间单位为秒，其单位为比特/秒;若信息量的单位为比特，时间单位为码元时间，其单位为比特/码元时间。 2、若要求消息能在信道上不失真地传输，则信息传输速率要小于或等于信道的信道容量。若信息传输速率等于信道容量，则所传输的消息必然产生失真。,4.2 信道容量,3、信息传输率的数学表达式： 信道的信息传输率也可表述为平均每个符号所能传送的信息量：,:表示平均传输一个符号需所要的时间。,二、有关平均互信息量的两条重要定理（P81页） 研究通信问题，主要就是信源和信道。我们知道它们的 统计特性可以分别用消
6、息的先验概率P（X）及信道转移概率 P（Y/X）来描述，而平均互信息量是经过通信后信宿所获得 的信息量。,定理4.2.1 对于固定的信道，即信道的转移概率P（Y/X）是固定的，那么平均互信息量I（X；Y）是输入信源的概率分布 P（X）的上凸函数。 （见P83图4.2.6） 定理说明： 1）信道固定后，对于不同的信源概率分布，信道输出端获得的信息量是不同的。 2）可以预见，对于每一个固定信道，一定存在一种信源分布 P（X），使输出端获得的信息量最大，因为，上凸形函数存在最大值。,定理4.2.2 对于固定的信源分布 P（X），平均互信息 I（X；Y）是信 道传递概率 P（Y/X）的下凸形函数。 （
7、见P83图4.2.7） 定理说明： 1）信源固定以后，用不同的信道来传输同一信源符号时，在 信道输出端获得的信息量是不同的。 2）可以预见，对于一种信源，一定存在一种最差的信道，此 信道的干扰最大，而使输出端获得的信息量最小，因为下凸形 函数存在最小值。,三、信道容量： 1、它等于单位时间内，信道上所能传输的最大信息量。 若平均传输一个符号需要 秒钟，则 含义： 1）描述信道的最大信息传输能力，是信道自身的特性，与输入信源的概率分布无关。 2）若实际的信息传输速率小于信道容量，说明信道未能被充分利用，这就引出下面要讨论的编码效率问题。若实际信息传输速率大于信道容量，那就会引起传输失真。 3）对
8、于不同信道，C值不同；对于固定信道，其C值是一个固定值,三、几种特殊信道的信道容量计算： 1、无损确定信道：又称为无噪无损信道,该信道的传递概率和后向概率相等，即为,特点：输入输出消息之间存在一一对应关系，所以集合X与集合Y的消息数目也相等。其信道矩阵是一方阵，矩阵只有0和1两种，且每行或每列只有一个1，其它元素为0。,2、对称离散信道：,A,B,C,D,特点：信道矩阵的每行元素都由同一个集合的诸元素组成而每列元素都由另一个集合的诸元素组成，则称此信道为对称信道。 如 A 和 B,定理4.5.1 若一个离散对称信道具有r个输入符号，s个输出符号,则当输入为等概率分布时，达到信道容量C，且,其中
9、：,为信道矩阵中任一行。,P100 例4.5.1 已知某两个对称离散信道的信道矩阵，试求出它们各自的信道容量。,3、强对称信道或均匀信道： 若输入符号和输出符号个数相同，都等于r，且信道矩阵如下：,均匀信道的信道容量为：,4、 二进制对称信道： 它就是 r=2 的均匀信道，根据上式可得其信道容量的表达式为：,可见，是信道转移概率的函数。讨论几种情况： 1）P=0时，信道的输入、输出符号一一对应（无噪），在这种情况下，C=log2,达到最大值。 ）P=.5时，信道的不确定性最大，在这种情况下，这是一种最差信道。 ）时，这是一种强噪声信道，但也是一种确定信道，在这种情况下，可将判决取反（反向判决），也能达到信道容量的最大值 C=log2 .,
