信息论与编码第三章

《信息论与编码第三章》由会员分享，可在线阅读，更多相关《信息论与编码第三章（117页珍藏版）》请在金锄头文库上搜索。

1、信息论与编码基础教程,第3章 信道及信道容量,本章主要内容 3.1信道的基本概念 3.2离散单符号信道及容量 3.2.1数学模型 3.2.2信道容量 3.3离散序列符号信道及容量 3.4 信源与信道的匹配 3.5* 连续信道及其容量,本次课内容 3.1 信道的基本概念 3.2 离散单符号信道及容量 3.2.1 数学模型 3.2.2 信道容量,信道(information channels)： 是信号的传输媒质。 信道的作用： 把携有信息的信号从它的输入端传递到输出端。 它的最重要特征参数是信息传递能力，即信道容量问题。,相关知识,在高斯信道下，信道的信息通过能力与信道的频带宽度、信道的工作时间

2、、信道的噪声功率密度有关。 频带越宽，工作时间越长，信号、噪声功率比越大，信道的通过能力就越强，信道容量越大。,相关知识复习,本章主要讨论离散信道的统计特性和数学模型，定量的研究信道传输的平均互信息及其重要性质，导出信道容量的概念和几种比较典型的信道的信道容量计算方法。 本章重点在于研究一个输入端和一个输出端的信道，即单用户信道。以无记忆、无反馈、固定参数的离散信道为重点内容讨论。,相关知识复习,X=X0,X1,X2 Xr-1含r个元素的输入符号集,Y=y0,y1,y2ys-1含S个 元素的输出符号,r与s的值不同信道模型不同,3.1信道分类,5.1信道分类,信道分类： 1.有线信道和无线信道

3、 有线信道：明线、对称电缆、同轴电缆及 光缆等。 无线信道：地波传播、短波电离层反射、 超短波或微波视距中继、人造 卫星中继以及各种散射信道等。,3.1信道分类,2恒参信道和随参信道 恒参信道：信道的统计特性不随时间而变化。如明线、对称电缆、同轴电缆、光缆、卫星中继信道一般被视为恒参信道。 随参信道：信道的统计特性随时间而变化。大多数的信道都是随参信道，统计特性随着环境、温度、湿度而变化。如短波电离层反射信道、对流层散射信道等。,3.1信道分类,3单用户信道和多用户信道 单用户信道：信道只有一个输入端和一个输出端，且只能进行单方向的通信。 多用户信道：又称多端信道，输入端或者输出端至少有一端具

4、有两个或者两个以上用户，并且可以实现双向通信，目前大多数信道都是多端信道。,3.1信道分类,4离散信道、连续信道、半离散半连续信道和波形信道 离散信道：又称数字信道，该类信道中输入空间、输出空间均为离散时间集合，集合中事件的数量是有限的，或者无限的，随机变量取值都是离散的。 波形信道：也称为时间连续信道，信道输入、输出都是时间的函数，而且随机变量的取值都取自连续集合，且在时间上的取值是连续的。,3.1信道分类,连续信道：又称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是无限的、不可数的，即随机变量的取值数量是无限的，或者不可数的。 半离散半连续信道：输入空间、输出空间一个为

5、离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个是连续的。,3.1信道分类,5随机差错信道和突发差错信道。 随机差错信道：信道中传输码元所遭受的噪声是随机的、独立的，这种噪声相互之间不具有关联性，码元错误不会成串出现。 如：高斯白噪声信道。 突发差错信道：信道中噪声或干扰对传输码元的影响具有关联性，相互之间不独立，使码元错误成串出现。 如：衰落信道、码间干扰信道。移动通信的信道、光盘存储属于该类信道。,3.1信道分类,3.2离散单符号信道及容量,3.2.1 数学模型 若信道的输入符号之间、输出符号之间都不存在关联性，信道的分析可简化为对单个符号的信道分析，此时输

6、入、输出可以看做是单符号的，称这类信道为单符号信道。如果信道的输入、输出随机变量又都是离散的，该信道则为单符号离散无记忆信道。,3.2离散单符号信道及容量,设离散信道的输入变量为X，输出变量为Y，对应的概率空间分别为,输入符号集合的元素个数为r，输出符号集合的元素个数为s,3.2.1 数学模型,i=1，2，r，j=1，2，s。 表明：在输入x的情况下，信道输出y的取值只能是其中的一个，不可能还有其他的取值。,该类信道的特性可用条件转移概率进行描述。 输入 ，输出 时对应的条件转移概率为,3.2.1 数学模型,称该矩阵为：条件转移矩阵 或者信道转移矩阵。,用矩阵表示信道输入输出符号之间的条件转移

7、关系,3.2.1 数学模型,由于信道中存在干扰或者噪声，信道输入符号与输出符号之间并不是一一对应关系，不能使用确定性函数描述输入、输出之间的关系。故信道的分析用统计方法。,用条件转移概率 可以表示输出为bj 的各种可能性,输入:,传输的过程中出现错误,3.2.1 数学模型,信道输入、输出符号之间的联合分布为,前向概率，表示在输入为x=ai 时，通过信道后接收为bj 的概率，描述了信道噪声的特性。P(ai) 为先验概率。,联合分布还可以表示为,后验概率,表示当接收符号为bj时,信道输入为ai的概率。,3.2.1 数学模型,可以得到后验概率为,= PT(YX),由前向概率和先验概率可计算出信道输出

8、符号概率,矩阵表示形式,3.2.1 数学模型,二进制离散信道（r=s=2）,由输入值集合X=0,1,输出值Y=0,1,一组表示输入、输出关系的条件概率(转移概率)组成。,P(yj /xi),X0,1,Y0,1,3.2.1 数学模型,若信道存在干扰，导致二进制序列发生统计独立的差错，且条件概率对称.,P(Y=1/X=1)=P(Y=0/X=0)=1-P,即P(Y=0/X=1)=P(Y=1/X=0)=P,输入是1或0输出为0或1,这种对称二进二出的信道叫做二进制对称信道,简称BSC信道.,3.2.1 数学模型,信道模型:,0,1,1-P,P,P,1-P,1,0,这种信道的输出符号仅与对应时刻输入符号

9、有关,与以前输入无关，故称此信道是无记忆信道的.,3.2.1 数学模型,2.离散无记忆信道,则P(Y=yi/X=xi)=P(yi/xi)称为离散无记忆信道,若输入值的集合 X=X0,X1Xr-1,输出 Y=y0,y1ys-1,且信道和调制过程是无记忆的,离散无记忆信道(DMC),3.2.1 数学模型,决定DMC特点的条件概率P(yj/xi)可写成矩阵形式,P(Y1=V1，Y2=V2Yn=Vn/X=U1X=Un) =,若DMC信道的输入、输出是由n个符号组成的序列, 其中uiX,viY，i=1 2,3,4n,则联合条件概率为:,3.2.1 数学模型,转移概率矩阵,3.2.1 数学模型,若信道中有

10、干扰,信道输出不是一个固定值,是概率各异的一组值, 称有扰离散信道.输入Xi时,各可能输出值yj的概率之和必得1,即:,3.2.1 数学模型,3.离散输入连续输出信道,设信道输入符号是有限、离散的,其输入字符集,信道输出,称离散输入,连续输出信道.,即,又称半离散或半连续信道。,3.2.1 数学模型,4.波形信道,若输入是模拟波形，输出也是模拟波形则为波形信道.,若分析性能的理论极限多选用离散输入,连续输出的信道模型。,选择何种模型取决于我们目的.,从工程上讲,最常用的DMC信道或BSC信道.,3.2.1 数学模型,3.2.2 信道容量,在单符号离散信道中，平均每个符号传送的信息量定义为信道的

11、信息传输率 。从统计角度而言，信道的噪声总是有限的，总有部分信息能够准确传输，所以信道的信息传输率为,3.2.2 信道容量,互信息量 是输入符号X 概率分布的凸函数。对于一个给定的信道，总是存在某种概率分布 ，使得传输每个符号平均获得的信息量最大，即对于每个固定的信道总是存在一个最大的信息传输速率，这个最大信息传输速率定义为信道容量。,什么是信道容量？,3.2.2 信道容量,定义 3-1 设某信道的平均互信息量为 ，信道输入符号的先验概率为 ，该信道的信道容量C 定义为 比特/符号,先验概率分布 应当满足下列条件,3.2.2 信道容量,对于给定信道，条件转移概率p(bjai)是一定的，所以信道

12、容量就是在信道的前向概率一定的情况下，寻找某种先验概率分布p(x)，使得平均互信息量最大,这种先验分布概率为最佳分布。,3.2.2 信道容量,如果信道输入满足最佳分布，信息传输率最大，即达到信息容量C；如果信道输入的先验分布不是最佳分布，那么信息传输率不能够达到信息容量C。信道传输的信息量R必须小于信道容量C,否则传输过程中会造成信息损失，出现错误；反之，如果RC成立，可以通过信道编码方法保证信息能够几乎无失真地传送到接收端。,3.2.2 信道容量,1. 无干扰离散信道 这类信道是理想信道。输入、输出符号之间是确定性关系，可以根据输入或者输出划分为互不相交的集合。 这类信道在实际通信系统中较少

13、，在数据压缩系统中，可以使用这类模型进行研究。根据信道输入符号X与信道输出符号Y之间的关系，可以分为下了几种信道。,3.2.2 信道容量,无噪无损信道 该信道的输入、输出集合符号数量相等，输入X与输出Y之间是一一对应。对于给定ai,由于p(bjai)只有一个为1，其余都为0，所以H(XY)=0,则,(a),无噪无损信道模型,3.2.2 信道容量,根据信道容量的定义，信道容量就是平均互信息量的最大值，根据极大熵定理可知，当输入符号的先验概率为等概率分布时，H(X) 取得最大值 ,信道容量为,比特符号,所以当输入信源满足等概率分布时，信息传输率最大，达到信道容量。这类信道的前向概率矩阵和后验概率矩

14、阵是相等的，都是rr单位矩阵，,3.2.2 信道容量,无噪有损信道 信道输出符号Y 集合的数量小于信道输入符号 X集合的数量，即rs，形成多对一的映射.,3.2.2 信道容量,这类信道的特点是，信道概率转移矩阵中每行只有一个非零元素.,接收到符号Y后,不能确定信道输入X ，即不能够完全消除X的不确定性，所以H(XY)0，且H(X)H(Y) ,I(X;Y)=H(Y). 信道容量为,3.2.2 信道容量,3.2.2 信道容量,有噪无损信道 信道输出符号Y集合的数量大于信道符号X集合的数量,即rs,形成一对多的映射关.由于一对多的映射关系,不能由输入完全确定信道的输出,H(XY) 0，H(X)H(Y

15、),I(X;Y)=H(X).,信道的容量为,3.2.2 信道容量,当信道输入为等概率输入时，I(X;Y)=H(X) 才能取得最大值，所以先验概率的最佳分布就是 使得 p(aj)=1/r 的分布。这类信道的特点是，信道概率转移矩阵中每列只有一个非零元素.,P(YX),3.2.2 信道容量,2. 对称离散信道的信道容量,对称离散无记忆信道是最简单的信道之一， 1）输入对称信道容量 定义 3-2: 如果信道转移概率矩阵中所有行矢量都是第一行的某种置换，则称信道关于输入是对称的，这种信道称为输入对称离散信道。 例如，信道转移矩阵为,3.2离散单符号信道及容量,3.2离散单符号信道及容量,又比如信道转移矩阵,即条件熵H(Y | X)与信道输入的符号无关。,因此，输入对称信道的容量为,3.2离散单符号信道及容量,为了表示方便起见，假设转移矩阵首行元素为,则有,由于,所以输入对称信道的容量就是找到一种分布，使得信道输出的熵最大。,【例 3.2-1】 信道的转移矩阵为 求该信道的容量 。 解 设信道输入的概率空间为,3.2离散单符号信道及容量,信道输出的概率分布为 取得极值的条件为,解上述方程可以得到取极值的条件为P=0.5 ，即当信道输入为等