《第3章信道与信道容量》由会员分享，可在线阅读，更多相关《第3章信道与信道容量（47页珍藏版）》请在金锄头文库上搜索。
1、第3章信道与信道容量q信道分类和表示参数q离散单个符号信道及其容量q离散序列信道及其容量q连续信道及其容量1普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.1信道分类和表示参数n信道分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类： 随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、波形信道2普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.1信道分类和表示参数n信道参数信道种类3普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.1信道分类和表示参数n二进制对称信道（BSC）4
2、普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.1信道分类和表示参数n离散无记忆信道5普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.1信道分类和表示参数n离散输入、连续输出信道6普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.1信道分类和表示参数n波形信道7普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n信息传输率 信道在单位时间内平均传输的信息量定义为信息传输速率 R=I(X;Y)=H(X)H(X/Y) 比特/符号 Rt=I(X;Y)/t 比特/秒n信道容量 比特/符号（bits/symbol或bi
3、ts/channel use） 8普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n无干扰离散信道的信道容量9普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量X、Y一一对应 CmaxI(X;Y)log n多个输入变成一个输出 CmaxI(X;Y)maxH(Y)一个输入对应多个输出 CmaxI(X;Y)maxH(X)10普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n对称DMC信道定义输入对称 如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对
4、称输出对称 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称对称的的DMC信信道道 如果输入、输出都对称11普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n对称DMC信道例子12普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量输入对称输出对称13普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n对称信道容量14普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量nEg. 求信道容量15普通高等教育
5、“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量nEg. 求信道容量 信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例16普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n二进制对称信道容量 C1H（）17普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n串联信道 C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)18普通高等教育“十五”国家级规划教材
6、信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量nEg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量19普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n信道容量 I(X;Y)=1-H()，I(X;Z)=1-H2(1-)20普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称准对称DMC信道21普通高等教育“十五”国家级规划教材信息论与编码 曹
7、雪虹等编著3.2离散单个符号信道及其容量n准对称DMC信道容量 对于准对称对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值，即为信道容量22普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量nEg.求信道容量 方法一： 信道的输入符号有两个，可设p(a1)，p(a2)1信道的输出符号有三个，用b1、b2、b3表示23普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n方法二 当p(a1)p(a2)1/2时，p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符号
8、n方法三 将转移概率矩阵划分成若干个互不相交的对称的子集 n为输入符号集个数；p1，p2，ps是转移概率矩阵P中一行的元素，即H(p1，p2，ps)H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数24普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n方法三25普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量nEg.求信道容量26普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.2离散单个符号信道及其容量n一般DMC信道 1972年由R.Blah
9、ut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法I(ai;Y)=C 对于所有满足p(ai)0条件的II(ai;Y)C 对于所有满足p(ai)=0条件的I当信道平均互信息达到信道容量时，输入符号概率集p(ai)中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外27普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.3离散序列信道及其容量n离散序列信道信道p(Y/X) Y X X=(X1X2XL)Xla1,a2,anY=(Y1Y2YL)Yl b1,b2,bm28普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.3离散
10、序列信道及其容量n离散无记忆序列信道1 1 1 1 1进一步信道是平稳的 29普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.3离散序列信道及其容量n离散无记忆序列信道1 1 1 1 1如果信道无记忆 如果输入矢量X X中的各个分量相互独立 当信道平稳时CL=LC1，一般情况下，I(X X;Y Y) LC130普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.3离散序列信道及其容量n扩展信道 如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道 1 1 1 1 1BSC的二次扩展信道 X X00,01,10,11，Y Y00,01,10,11，二次扩展
11、无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2001011010001101131普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.3离散序列信道及其容量n扩展信道1 1 1 1若p0.1，则C220.9381.062比特/序列 32普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.3离散序列信道及其容量n独立并联信道 序列的转移概率p(Y1Y2YL/X1X2XL)=p
12、(Y1/X1)p(Y2/X2)p(YL/XL) 1 1 1 1X1p(Y1/X1)Y1X2p(Y2/X2)Y2XLp(YL/XL)YL33普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量n连续单符号加性信道 x(xR)p(y/x)y(yR)连续单符号信道npn(n)N(0,2)平均互信息为I(X;Y)HC(X)HC(X/Y)HC(Y)HC(Y/X)HC(X)HC(Y)HC(XY) 信道容量噪声是均值为零、方差为2的加性高斯噪声 34普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量n连续单符号加性信道 pY(y)N(0,P)
13、，pn(n)N(0,2)，y=x+n，所以pX(x)N(0,S) C1/2log(1+SNR) 信道输入X是均值为零、方差为S的高斯分布随机变量时，信息传输率达到最大值 若是加性的，可以求出信道容量的上下界 35普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量n多维无记忆加性连续信道 信道输入随机序列XX1X2XL，输出随机序列YY1Y2YL，加性信道有y=x+n，其中n=n1n2nL是均值为零的高斯噪声 36普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量 连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信
14、道号加性信道 比特/L维自由度 因此当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Pl的高斯变量时，才能达到此信道容量 37普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量n讨论均值为零、方差相同 均值为零、方差不同，总平均功率受限 38普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量n讨论各个时刻的信道输出功率相等设为常数 39普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量neg有一并联高斯加性信道，各子信道噪声方差为 0.1， 0.2， 0.3， 0.4， 0.5，
15、0.6， 0.7， 0.8， 0.9， 1.0 40普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量n限时限频限功率加性高斯白噪声信道 波形信道的平均互信息为信道容量为 41普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量n限时限频限功率加性高斯白噪声信道 限频(W)高斯白噪声过程可分解L2WtB维统计独立的随机序列 其中：42普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量n限时限频限功率加性高斯白噪声信道 信道的容量 单位时间的信道容量 香农公式香农公式 43普通高等教育“十五”国家
16、级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量n讨论带宽W一定时，信噪比SNR与信道容量Ct成对数关系CtSNR信道容量与信噪比的关系44普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量n讨论当输入信号功率PS一定，增加信道带宽，可以增加容量ln(1+x)x PS/N0ln2-1.6dB，即当带宽不受限制时，传送1比特信息，信噪比最低只需-1.6dB（香农限）香农限） 45普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量n讨论Ct一定时，带宽W增大，信噪比SNR可降低，即两者是可以互换的Ct/W(bit/s/Hz)不可实现区域可实现区域1-1.60SNR(dB)频带利用率与信噪比的关系46普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著3.4 连续信道及其容量nEg电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR100，求信道的容量 47普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著
