第3章-信道与信道容量

《第3章-信道与信道容量》由会员分享，可在线阅读，更多相关《第3章-信道与信道容量（105页珍藏版）》请在金锄头文库上搜索。

1、第3章 信道与信道容量,吴晓青,目 录,3.1信道分类 3.2 单符号离散信道及其容量 3.2.1 数学模型 3.2.2信道容量 3.2.3 离散信道容量的迭代算法 3.3 离散序列信道及其容量 3.4 信源与信道的匹配 3.5 连续信道及其容量 3.5.1 连续单符号加性信道 3.5.2 多维无记忆加性连续信道 3.5.3 加性高斯白噪声波形信道,信道：信息传输的通道，是传输信息的载体，其主要任务是传输或者存储信息。 通信的本质：就是通过信道传输信息，实现不同地点之间或者不同时间的信息交流。 主要研究内容：在理论上能够传输或者存储的最大信息量，即信道容量。,3.1信道分类,信息论研究信道，一

2、般认为已经知道信道的传输特性，即输入、输出之间的统计依赖关系已知。,离散无记忆信道模型,根据统计特性分类： 恒参信道：信道的统计特性不随时间而变化。比如，幅度衰减倍数等参数恒定。如电话线、光纤、高斯白噪声信道、卫星信道一般视为恒参信道。 随参信道：信道的统计特性随时间而变化。统计特性随着环境、温度、湿度等参数而变化。如短波信道随电离层变化而变化；微波信道，移动电话在高速列车上可能因多普勒效应发生频移等。,根据信道用户量多少分类： 单用户信道：也称两端信道，该信道只有一个输入端和一个输出端，而且只能进行单方向的通信。 点对点应用。 多用户信道：也称多端信道，输入端或者输出端至少有一端具有两个或者

3、两个以上用户，并且可以实现双向通信。目前大多数信道都是多端信道。 广播信道、通信网络等。,根据输入、输出的取值特性分类： 离散信道：也称为数字信道，该类信道中输入空间、输出空间均为离散事件集合，集合中事件数量是有限的，或者有限可数的，随机变量取值都是离散的。 连续信道：也称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是无限的、不可数的，即随机变量的取值数量是无限的、或者不可数的。 半离散半连续信道：输入空间、输出空间一个为离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个是连续的。 波形信道：也称为时间连续信道，信道输入、输出都是时间的函数，而

4、且随机变量的取值都取自连续集合，且在时间上的取值是连续的。,根据信道中信号所受噪声的统计特性分类： 随机差错信道：信道中传输码元所遭受的噪声是随机的、独立的，这种噪声相互之间不具有关联性，码元错误不会成串出现，最具有代表性的是高斯白噪声信道。（ 无记忆信道） 突发差错信道：信道中噪声或者干扰对传输码元的影响具有关联性，相互之间并不独立，从而使得码元错误往往成串出现，常有的如衰落信道、码间干扰信道。在实际中这种信道经常出现，如移动通信的信道、光盘存储等都属于该类信道。 （ 有记忆信道）,3.2单符号离散信道及其容量 3.2.1 数学模型,单符号无记忆信道： 信道的输入符号之间、输出符号之间都不存

5、在关联性，即无记忆的，此时输入、输出可以看作是单符号的，称这类信道为单维信道或者单符号信道。 单符号离散无记忆信道 进一步，如果信道的输入、输出随机变量都是离散的，则该信道为单符号离散无记忆信道。,输入符号集合X、输出符号集合Y内部不存在关联性，集合X和集合Y之间有关联 。,离散无记忆信道模型,条件转移概率,用来描述信道特性。 输入x=ai，输出y=bj对应的条件转移概率为,信道转移矩阵,用矩阵来表示信道输入、输出符号之间的条件转移关系： 又称为条件转移矩阵或者信道转移矩阵。条件转移矩阵是一个rs的矩阵， 当输入、输出集合的元素数量相等(r=s)时，是一个方阵。,信道的条件转移概率p(bj|a

6、i)通常称为前向概率，表示在输入为ai时，通过信道后接收为bj的概率，描述了信道噪声的特性。 p(ai|bj)称为后向概率，表示当接收符号为bj时，信道输入为ai的概率，所以也称为后验概率。,后验概率求法,前向概率、后验概率,由公式,由公式,3.2.2 信道容量,信道的信息传输率R 含义： 1、表示在单符号离散信道中，平均每个符号传送的信息量。 2、由于信道中存在干扰，信道输出端接收的符号与输入符号之间并不是一一对应的; 从信息传输的角度而言，信道输入符号X所携带的平均信息量H(X)并不等于信道输出端接收到的信息量H(Y)； 3、信道的干扰或者噪声总是有限的，从统计角度而言，总有部分信息能够准

7、确传输。,信息传输速率 t:传输一个符号所需时间 的单位：bit/符号s/符号=bit/s,定义3.1 设某信道的平均互信息量为I(X;Y)，信道输入符号的先验概率为p(x)，该信道的信道容量C定义为,上述的极值问题实际是有约束条件的，先验概率分布,应当满足下列条件,对于给定信道，前向概率p(x)是一定的，所以信道容量就是在信道前向概率一定的情况下，寻找某种先验概率分布，从而使得平均互信息量最大，这种先验分布概率称为最佳分布。,几点讨论： 1、对于给定信道最佳分布总是存在的。 如果信道输入满足最佳分布，信息传输率最大，即达到信息容量C； 如果信道输入的先验分布不是最佳分布，那么信息传输率不能够

8、达到信息容量。 2、信道传输的信息量R必须小于信道容量C，否则传输过程中会造成信息损失，出现错误； 如果RC成立，可以通过信道编码方法保证信息能够几乎无失真地传送到接收端。,几种特殊信道的信道容量 1无干扰离散信道 理想信道。 根据信道输入符号X与信道输出符号Y之间的关系，可以分为下列几种：,（1）无噪无损信道的信道容量,该信道的输入、输出集合符号数量相等，即r=s，此时输入X与输出Y之间是一一对应的 。 对于给定ai，由于只有一个为1，其余都为0， 所以 可得 信道容量,（2）无噪有损信道的信道容量,信道输出符号Y集合的数量小于信道输入符号X集合的数量，即rs，形成多对一的映射关系，可得：

9、信道容量 此时使得 最佳分布不唯一，满足上述条件即可。,无噪有损信道矩阵特点 每行只有一个元素为1，其余元素都为0 。,（3）有噪无损信道,信道输出符号Y集合的数量大于信道输入符号X集合的数量，即rs，形成一对多的映射关系，可得： 信道容量 输入符号分布等概时，即 I(X;Y)最大，达到信道容量,信道概率转移矩阵中每列只有一个非零元素,有噪无损信道矩阵特点,2对称离散信道的信道容量,定义3.2 如果信道转移概率矩阵中所有行矢量都是第一行的某种置换，则称信道关于输入是对称的，这种信道称为输入对称离散信道。 矩阵中第二行的元素与第一行的元素完全相同，所 以该信道为输入对称的。,由定义： 假设转移矩

10、阵首行元素为(p1,p2,pr)，则有 输入对称信道的容量为 所以输入对称信道的容量就是找到一种分布，使得信道输出的熵最大。,求该信道的容量C 解：设信道输入的概率空间为 信道输出的概率分布为,例3.1 信道的转移矩阵为,取得极值的条件为,解上述方程，可以得到取得极值的条件为p=0.5，即当信道输入为等概率分布时，取得最大值，所以,比特/符号,比特/符号,比特/符号,显然,，所以，当信道只是输入对称时,应当首先假设信道输入分布，然后解决极值问题。,信道容量不能够简单认为是,定义3.3 如果信道转移概率矩阵中所有列矢量都是第一列的某种置换，则称信道关于输出是对称的，这种信道称为输出对称离散信道。

11、,如果信道是输出对称的，那么当信道输入符号为等概率分布时，信道输出也是等概率分布的。,当信道输出对称时,为常数,输入等概率分布时 ，输出,由于信道转移矩阵是已知的 ，可以使用下列公式,只要能够求出使得上式取得最小值的信道输入概率分布，即可求出信道容量。,定义3.4 如果信道转移矩阵按列可以划分为几个互不相交的子集，每个子矩阵满足下列性质： (1) 每行都是第一行的某种置换； (2) 每列都是第一列的某种置换； 则称该信道为准对称信道。显然，准对称信道是输入对称的。 特别地，当这种划分只包含一个矩阵，该信道称为对称信道，此时信道既是输入对称的，也是输出对称的。,因为输入对称，有,且满足,H(Y|

12、X)与信道输入的分布无关，只与条件概率分布有关 ，所以,对称信道容量计算,对称信道的信道容量为：,对称信道 最佳分布，信道输入应当满足等概率分布。,求信道容量C。,解：观察信道转移矩阵可知，矩阵的第二行是第一行的置换，每一列都是第一列的置换，所以信道是对称的，所以信道容量为,例3.2 设某信道转移矩阵为,比特/符号,定理3.1 准对称离散信道容量在信道输入为等概率分布时达到。,例3.4 设某信道的转移矩阵为,求其信道容量。 解：从该信道转移矩阵可以看出，该信道是一个准对称信道，可以将之分解为,两个互不相交的子集，而每个子集都是对称信道形式，对应参数分别为,行元素之和,列元素之和,根据准对称离散

13、信道的信道容量计算公式求解,特别地，如果p0，则信道转移矩阵为,该信道即二元纯对称删除信道，其信道容量为,比特/符号,对应的参数分别为,例3.5 信道转移矩阵为,求信道容量C。,解：通过观测可知，该信道是准对称信道，可以分解为三个互不相交的子集，分别为,，,，,，,，,，,，,，,所以信道容量为,比特/符号,模K加性噪声信道的信道容量 DMC的输入为X，X的所有事件为0,1,2K-1 DMC的输出为Y，Y的所有事件为0,1,2K-1 DMC的输入为Z，Z的所有事件为0,1,2K-1 X与Z相互独立，求信道容量C。,输入,输出,干扰,k-=0,列坐标,行坐标,3一般离散信道的容量,符号数量较少信

14、道容量的计算： 首先假设信道的输入概率分布，根据信道容量的定义和输入概率分布的约束条件，直接求解极值问题即可得到最佳分布； 然后根据最佳分布计算信道输入、输出之间的平均互信息量，从而得到信道容量如果信道输入、输出。,例3.6 信道转移矩阵为 求信道输入最佳分布和信道容量。 解：观察信道转移矩阵可知，该信道不是对称，信道的输入输出符号数量都为2，假设信道输入符号的概率分别为p,1-p 求得：,平均互信息量,C=0.415比特/符号,从该例可以看出， 1、即使是简单的非对称二元信道，其最佳分布的求解也十分复杂。 2、所以一般离散信道的信道容量的求解通过计算机求解。,一般离散信道达到信道容量时，输入

15、概率分布应满足的定理,定理3.2 设有一般离散信道，它有r个输入符号，s个输出符号，其平均互信息I(X;Y)达到极大值（即等于信道容量）的充要条件是输入概率分布p(x)满足： 常数C就是所求的信道容量,对所有的 的 ai,对所有的 的 ai,上述定理的几点讨论,1、上述定理只是给出了达到信道容量时，信道输入符号分布的充要条件； 2、不能够给出信道输入的最佳概率分布，也没有给出信道容量的计算公式； 3、达到信道容量的最佳分布一般不是唯一的，只要输入分布满足概率的约束条件，并且使得达到最大值即可。 4、一般情况下，根据上述定理求解信道容量和信道输入的最佳概率分布还是十分复杂的。 但是对于某些特殊信

16、道，可以使用上述定理求解信道容量。,可逆矩阵信道容量 假定所有输入字母的概率为Qk,则输出概率分布 由 可得,即： 令： 得： 可看成是有J个未知数 的线性方程组。由假设P是非奇异矩阵，故线性方程组有唯一解。 令 为其解，由,又 可得 特别注意Qk0,对上面的解进行验证。 计算 ， 计算Qk,解方程组,验证。若Qk0,则所得到的解释正确的。否则满足条件的解在边界上，令某个Qk=0,再进行试解。 特别，JK多解，有时要令多个Qk为0进行试解。 例题：DMC信道转移矩阵为 试求信道容量C。,根据 ，列方程组 得 从而,根据 求得 再根据 得到方程组,可得，输入分布 经验证，Qk0 , 因此结果正确。 C=l