信道与信道容量1ppt课件

《信道与信道容量1ppt课件》由会员分享，可在线阅读，更多相关《信道与信道容量1ppt课件（60页珍藏版）》请在金锄头文库上搜索。

1、信道与信道容量信道与信道容量第三章第三章3.1 3.1 信道分信道分类和表示参数和表示参数3.2 3.2 离散离散单个符号信道及其容量个符号信道及其容量3.3 3.3 离散序列信道及其容量离散序列信道及其容量3.4 3.4 延延续信道及其容量信道及其容量内容内容信道信道设信道的输入X=(X1, X2 Xi, ), Xi a1 an 输出Y= (Y1, Y2 Yj,), Yj b1 bm信道转移概率矩阵p(Y|X)：描画输入/输出的统计依赖关系,反映信道统计关系信 道XYp(Y|X)无干扰无干扰(无噪声无噪声)信道信道无干扰(无噪声)信道信道的输出信号Y与输入信号X之间有确定的关系Y=f (X)

2、,知X后就确知Y转移概率:有干扰无记忆信道有干扰无记忆信道有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:有干扰无记忆信道可分为:二进制离散信道离散无记忆信道离散输入、延续输出信道波形信道离散无记忆信道离散无记忆信道DMC信道输入是n元符号Xa1, a2, , an信道输出是m元符号Yb1, b2, , bm转移矩阵知X,输出Y统计特性a1a2anb1b2bm:p11p12p21p22pnm3.2 3.2 离散单个符号信道离散单个符号信道及其容量及其容量信道容量信道容量 平均互信息I (X;Y)：接纳到符号Y后平均每个符号获得的关于X的信息量。信道的信息传输率就

3、是平均互信息 信道容量信道容量信道容量C：最大的信息传输率单位时间的信道容量：信道容量的计算信道容量的计算 对于普通讯道,信道容量计算相当复杂,我们只讨论某些特殊类型的信道：离散信道可分成： 无干扰(无噪)信道无嗓无损信道有噪无损信道 无噪有损信道 有干扰无记忆信道有干扰有记忆信道无干扰离散信道无干扰离散信道无噪无损信道有噪无损信道(一对多)无噪有损信道(多对一)3.2.1 3.2.1 对称对称DMCDMC信道信道对称离散信道：对称性:每一行都是由同一集p1, p2,pm 的诸元素不同陈列组成输入对称每一列都是由集q1, q2,qn的诸元素不同陈列组成输出对称满足对称性,所对应的信道是对称离散

4、信道。对称对称DMCDMC信道信道信道矩阵 不具有对称性,因此所对应的信通不是对称离散信道。 对称对称DMCDMC信道信道假设输入符号和输出符号个数一样,都等于n,且信道矩阵为此信道称为强对称信道 (均匀信道)信道矩阵中各列之和也等于1 对称对称DMCDMC信道信道对称离散信道的平均互信息为对称对称DMCDMC信道信道对称DMC信道的容量： 上式是对称离散信道可以传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1, p2,pm 第二项为矩阵任一行元素的信息熵 和输出符号集的个数m有关。强对称信道的信道容量： 设二进制对称信道的输入概率空间信道矩阵：BSC信道容量信道容量当p固定时,I (X

5、;Y) 是的 型上凸函数。I(X;Y)BSC信道容量1-H(p)I (X;Y) 对存在一个极大值。BSC信道容量信道容量pC当固定信源的概率分布时,I (X;Y) 是p的 型 下凸函数。信道无噪声当p = 0, C =10 = 1bit = H(X)当p =1/2, 信道强噪声BSC信道容量信道容量BSC信道容量信道容量信道容量定理：给定转移概率矩阵P后,平均互信息I (X;Y)是输入信源的概率分布p(ai)的 型上凸函数。定理：平均互信息I (X;Y)是信道传送概率p(bj|ai)的 型凸函数。信道容量是完全描画信道特性的参量,是信道可以传输的最大信息量。离散无记忆模离散无记忆模K加性噪声信

6、道加性噪声信道X是信道输入，Z是信道干扰，Y为信道输出，取值空间均为同一整数集， X=Z=Y=0,1,K-1,Y=X Z mod K。该信道称为离散无记忆模K加性噪声信道。计算机系统和数字通讯系统中有些情况下可用该模型描画。由信道的对称性及可得该类信道的容量为XZY例例3-3 离散无离散无记忆模模K加性噪声信道加性噪声信道Y=X Z mod K，X和和Y均取均取值于于0,1,K-1,求求该信道容量。信道容量。该信道可用右信道可用右图表示，可明表示，可明显看看出出对称称DMC信道特征，信道信道特征，信道转移概率矩移概率矩阵为01K-1012K-1利用离散无记忆模K加性噪声信道容量公式可得当信源输

7、入符号的速率为rs(符/秒),信道容量BSC信道容量信道容量实践信息传输速率Rt为 进入信道输入端的信息速率 等概分布等概分布例BSC信道如图, rs=1000符号/秒,错误传送概率p=0.1求:信道容量 0Y0.1 10.9输入符号等概时有最大信息传输速率信道实践信息传输速率0.10.910x串联信道串联信道例3-4 设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为:X00 ZY111-p1-p1-pp串联信道的转移矩阵为:1-pp串联信道串联信道X00 ZY11求得:在实践通讯系统中,信号往往要经过几个环节的传输,或多步的处置,这些传输或处置都可看成是信道,它们串接成一个串联信

8、道。pp1-p1-p1-p1-p串联信道串联信道由信息不增原理信道2信道m信道1可以看出,串接的信道越多,其信道容量能够会越小,当串接信道数无限大时,信道容量能够会趋于0XYZ3.2.3 3.2.3 准对称准对称DMCDMC信道信道 准对称信道转移概率矩阵P是输入对称而输出不对称将信道矩阵P的列划分成假设干个互不相交的子集mk,由mk为列组成的矩阵Pk是对称矩阵。 它们满足对称性,所以P1所对应的信道为准对称信道。 准对称信道的信道容量准对称信道的信道容量 准对称信道由于转移概率矩阵中每行的元素一样，所以准对称信道的信道容量准对称信道的信道容量但每列的元素不一样，所以信道的输入和输出分布概率能

9、够不等，此时H(Y)的最大值能够小于Y等概率时的熵。因此准对称信道容量由于I是输入符号概率的 型凸函数，根据信道容量的定义式，可引入拉格朗日乘子法求解极值问题，便求得输入符号概率和最大互信息。准对称信道的信道容量准对称信道的信道容量例例3-5 知一个信道的信道转移矩阵为知一个信道的信道转移矩阵为由由P可看出信道的输入符号有两个，可设可看出信道的输入符号有两个，可设 信道的输出符号有信道的输出符号有3个，用个，用b1,b2,b3表示。由表示。由 得结合概率的矩阵为得结合概率的矩阵为恒定，与 的分布无关。由得式中，即输入符号分布等概率时，I(X;Y)到达最大值。所以信道容量为由解得此时输出符号的概

10、率为准对称信道的信道容量准对称信道的信道容量求准对称信道的容量，可以经过如下方法来求，即将信道矩阵P划分成假设干个互不相交的对称子集mk。 准对称信道的信道容量准对称信道的信道容量 当输入分布为等概率时，到达信道容量为：其中n是输入符号集的个数， 为准对称信道矩阵中的行元素。设矩阵可划分成r个互不相交的子集。Nk是第k个子矩阵Pk中行元素之和,Mk是第k个子矩阵Pk中列元素之和。 例：设信道传送矩阵为 计算得：N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4将它分成 例例3-73.2.4 3.2.4 普通普通DMCDMC信道信道定理：普通离散信道的平均互信息I(X;Y)到

11、达极大值的充分和必要条件是输入概率p(ai)必需满足: I (ai;Y) = C 对于一切ai其p(ai)0 I (ai;Y) C 对于一切ai其p(ai) = 0上式阐明：当信道的平均互信息I(X;Y)到达信道容量时,输入符号概率集p(ai)中每一个符号ai对输出端Y提供一样的互信息,只是概率为0的除外。3.2.4 3.2.4 普通普通DMCDMC信道信道3.3 3.3 离散序列信道及容量离散序列信道及容量前面讨论的信道输入输出均为单个符号的随机变量，然而在实践运用中，信道的输入和输出却是在空间或时间上离散的随机序列，有无记忆的离散序列信道，当然更多的是有记忆的，即序列的转移概率之间有关联性

12、。离散序列信道及容量离散序列信道及容量设信道的输入X=(X1, X2 Xi, XL), Xi a1 an 输出Y= (Y1, Y2 Yj, YL), Yj b1 bm信 道XYp(Y|X)对于无记忆离散序列信道,其信道转移概率为即仅与当前输入有关。假设信道是平稳的定理：假设信道的输入和输出分别是L长序列X和Y,且信道是无记忆的,亦即信道传送概率为那么存在 定理：假设信道的输入和输出分别是L长序列X和Y,且信源是无记忆的,亦即输入矢量X中各个分量相互独立那么存在 离散序列信道及容量离散序列信道及容量假设信源与信道都是无记忆的 L次扩展信道的信道容量 当信道平稳时: 普通情况下: 例3-9.BSC

13、信道二次扩展0 0X0 11 01 10 00 11 01 1Y转移概率矩阵2次扩展信道的信道容量 假设 p = 0.1 那么 C2=(20.938)bit/序列 = 1.062bit/序列 C1 = 1-H(0.1)=0.531bit/序列 C2=2C1独立并联信道独立并联信道 设有L个信道,它们的输入、输出分别是： X1,X2XL； Y1,Y2YL信 道信 道信 道p(Y1|X1)p(YL|XL)p(Y2|X2)每一个信道的输出Yl只与本信道的输入Xl有关,与其他信道的输入、输出都无关。此时序列的转移概率X1X2XLY 1Y 2YL也是无记忆序列信道。独立并联信道独立并联信道独立并联信道的

14、信道容量所以即结合平均互信息不大于各自信道平均互信息之和。3.4 3.4 延续信道及其容量延续信道及其容量延续信道及其容量延续信道及其容量延续信道的容量不容易计算。当信道为加性延续信道时,情况简单一些。设信道的输入和输出信号是随机过程x(t) 和y(t) y(t) = x(t) + n(t)n(t)：信道的加性高斯白噪声 一个受加性高斯白噪声干扰的带限波形信道的容量,由香农(1948)正式定义：信 道n(t)x(t)y(t)延续信道及其容量延续信道及其容量高斯白噪声加性信道单位时间的信道容量这就是著名的香农公式 信噪比SNR 3.5 3.5 信源与信道的匹配信源与信道的匹配 信源发出音讯(符号

15、)普通要经过信道来传输，到达信宿，因此要求信源的输出与信道的输入匹配。(1)符号匹配：信源输出的符号必需是信道可以传送的符号，可在信源与信道之间参与编码器来实现，也可以在信源紧缩编码时一步完成。(2)信息匹配：对于某一信道，只需当输入符号的概率分布p(x)满足一定条件时才干到达其信道容量C。也就是说，只需特定的信源才干使某一信道的信息传输率到达最大。普通情况下，信源与信道衔接时，其信息传输率R=I(X;Y)并未到达最大，即信道没有得到充分利用。当信源与信道衔接时，假设信息传输率到达了信道容量，那么称此信源与信道到达匹配；否那么以为信道有冗余。信道冗余度定义为 信道绝对冗余度=C-I(X;Y)其

16、中C是信道容量，I(X;Y)是信道实践传输的平均信息量。 信道相对冗余度=1-I(X;Y)/C冗余度大，阐明信源与信道匹配程度低，信道的信息传送才干未得到充分利用；冗余度小，阐明信源与信道匹配程度高，信道的信息传送才干得到较充分利用；冗余度为零，阐明信源与信道完全匹配，信道的信息传送才干完全利用；普通来说，实践信源的概率分布未必就是信道的最正确输入分布，所以冗余度不为零。因此，要求信源与信道到达信息的完全匹配是不能够的，只需信道冗余度较小就可以了。 所以，对信源输出的符号进展信源编码可以到达两个目的： 一是将信源符号变换为信道可以传输的符号，即符号匹配； 二是变换后的符号分布概率能使信息传输率接近信道容量，即信息匹配。从而使信道冗余度接近于零，信源和信道到达匹配，信道得到充分利用。本章小结本章小结本章从信道的分类及其描画出发，对各种信道的信息传输率和信道容量等信道特性进展了引见，其中对信道容量的分析为充分利用信道的信息传输才干提供了实际根据，对实践通讯系统的设计有着重要的实际指点意义。对固定参数信道，通常采用条件概率p(Y/X)来描画信道输入输出信号之间统计的依赖关系，也叫做转移概率，其信道容量是固定值；对于时变参数信道，信道容量是随机变量，通常用平均容量(遍历容量)和中断容量来表示。习题习题3-13-33-63-10