《信息论课件第三章信道容量》由会员分享，可在线阅读，更多相关《信息论课件第三章信道容量（80页珍藏版）》请在金锄头文库上搜索。
1、第1章：概述,第2章：信源熵,第3章：信道容量,第4章：信息率失真函数,第5章：信源编码,第6章：信道编码,第7章：密码体制的安全性测度,3.1 信道容量的数学模型和分类 3.2 单符号离散信源 3.3 多符号离散信源 3.4 多用户信道 3.5 信道编码定理,3.1 信道的数学模型和分类,信道的数学模型：,X P(Y/X) Y,无干扰信道,有干扰信道,有记忆信道,无记忆信道,单符号 信道,多符号 信道,单用户信道,多用户信道,3.1 信道的数学模型和分类,3.2 单符号离散信道,3.3 多符号离散信道,3.4 多用户信道,3.5 信道编码定理,3.2 单符号离散信道的信道容量,3.2.1 信
2、道容量的定义 3.2.2 几种特殊离散信道的容量 3.2 .3 离散信道容量的一般计算方法,3.2.1 信道容量的定义,信道转移概率矩阵：（见下页）,信道模型：,13,如果信源熵为H(X)，我们希望在信道的输出端接收的信息量就是H(X)。但由于干扰的存在，一般情况下在输出端只能接收到I(X;Y)，把信道中平均每个符号所能传送的信息量或者说每传送一个符号流经信道的平均信息量，作为信道的信息传输率R， 最大的信息传输率为信道容量。 即R=Imax(X;Y)=H(X)-H(X|Y ) bit/符号 信道在单位时间内平均传输的信息量定义为单位时间的信道容量（信息传输速率） 单位为bit/s,3.1.3
3、信道容量的定义,14,因而，求有扰离散信道上的信息传输率R，实质上就是求平均互信息量I (X ; Y )。 I(X;Y) H(X) 有扰离散信道的信道容量也是指在不失真传输的条件下，信道所能传送的最大信息量.即信道容量，即 C = I max (X;Y)；C的单位是信道上每传送一个符号（每使用一次信道）所能携带的比特数，即bit/符号(bit/symbol or bit/channel use),3.1.3信道容量的定义,15,信道容量C是信道的最大传输能力，是信道自身的特性。能使平均互信息量达到信道容量C的信源称为匹配信源。平均互信息量与信源和信道特性都有关系，但信道容量应仅与信道特性有关，
4、所以在各种可能的p(x)中，必然能够找到一个分布，使I (X;Y)达到最大值I (X;Y)max，,3.1.3信道容量的定义,信道容量,3.2 单符号离散信道的信道容量,3.2.1 信道容量的定义 3.2.2 几种特殊离散信道的容量 3.2 .3 离散信道容量的一般计算方法,3.2.2 几种特殊离散信道的容量,一、离散无噪信道 1、一一对应的无噪信道,故有I (X;Y)=H(X)=H(Y)，当输入符号为等概率分布,也就是说已知某个a，对应的b完全确定；但是已经收到某个b，对应的a也完全确定。所以H(Y|X)=0， H(X|Y)=0，,X和Y有确定的对应关系。,相应的信道容量为,2、具有扩展功能
5、的无噪信道,21,已知Y后，X不再有任何不确定度。例如，输出端收到b2后可以确定输入端发送的是a1，收到b7后可以确定输入端发送的是a3，等等。 H(X|Y)=0， H(Y|X)0 ,)，故有 I(X;Y)=H(X) 显然其信道容量,3、具有归并性的无噪信道,23,信道矩阵中的元素非“0”即“1”，每行仅有一个非零元素，但每列的非零元素个数大于1。也就是说已知某个a，对应的b完全确定；但是已经收到某个b，对应的a不完全确定。 所以H(Y|X)=0， H(X|Y)0， 相应的信道容量为,多个输入变成一个输出,综合以上三种无噪声信道，我们得出一个结论，无噪声信道的信道容量C只决定于信道的输入符号数
6、n，或输出符号数m，与信源无关。,二、对称离散信道的信道容量,矩阵中的每行都 是集合P = p1, p2, , pn中的诸元素的不同排列，称矩阵的行是可排列的。,矩阵中的每列都是集合Q = q1, q2, ,qm中的诸元素的不同排列，称矩阵的列是可排列的。,如果矩阵的行和列都是可排列的， 称矩阵是可排列的。 如果一个信道矩阵具有可排列性， 则它所表示的信道称为,对称信道中，当nm，Q是P的子集；当n=m时，P=Q。,对称信道,练习：判断下列矩阵表示的信道是否是对 称信道,28,对称信道达到其信道容量，为,m为信道输出符号集种符号的个数,相应的,对称信道的条件熵H(Y|X)与信道输入符号的概率分
7、布无关，,三、强对称(均匀)离散信道的信道容量,n X n,正确传输率1-P,信道输入符号和输出符号的个数相同,P：总体错误概率,信道容量：,表示在信道中丢失的信息，由信道干扰造成信息损失,强对称信道与对称信道比较：,强对称信道或均匀信道是对称离散信道的一个特例,33,3.2 离散单个符号信道及其容量,2BSC信道的容量（二进制对称信道） ? 对于转移概率为p(0/1)=p(1/0)=p及p(0/0)=p(1/1)=1-p的BSC信道而言，当输出概率p(y0)=p(y1)=0.5时其平均互信息最大。所以，BSC的信道容量是 C=1- plog2p+(1-p)log2(1-p) = 1- H(P
8、) 而H(P)=-(plog2p+(1-p)log2(1-p) ),34,3.2 离散单个符号信道及其容量,1)由图可知，p=0（错误概率为零，无差错）时的信道容量是1比特/每符号（l bitSymbol）； 当p=1/2时，从输出得不到关于输入的任何信息，互信息为0即信道容量是零。 对于1/2p l的情况，可在BSC的输出端颠倒 0和1，导致信道容量以p=1/2点为中心对称。,C=1H(p),35,3.2 离散单个符号信道及其容量,2)从信息论的角度看，条件熵H(X|Y)可解释为由于信道干扰和噪声所造成的平均信息量的损伤。 如果p(0/1)=p(1/0)=0，即无误码概率，信道的介质没有产生
9、任何损伤，因此条件熵H(X/Y)=0，必有I(X;Y)=H(X)，互信息等于输入符号的信息熵。 换言之，信道容量为1。,四、准对称信道离散信道的信道容量,若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由n行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。例如下面的矩阵：,假设此时将矩阵的列分为S个子集，每个子集的元素个数分别是m1，m2，ms。,40,3.2 离散单个符号信道及其容量,例3.4 求信道容量 方法一： 信道的输入符号有两个，可设p(a1)，p(a2)1信道的输出符号有三个，用b1、b2、b3表示,41,3.2 离散单个符号信道及
10、其容量,方法二： 当p(a1)p(a2)1/2时， p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符号,因为p(b3)=0.2恒定，与输入无关,42,3.2 离散单个符号信道及其容量,方法三： 将转移概率矩阵划分成若干个互不相交的对称的子集。 式中n为输入符号集个数；p1，p2，ps是转移概率矩阵P中一行的元素，即H(p1，p2，ps)H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数。,43,3.2 离散单个符号信道及其容量,44,3.2 离散单个符号信道及其容量,例3.5 求信道容量,3.1
11、信道的数学模型和分类 3.2 单符号离散信道 3.3 多符号离散信道 3.4 多用户信道 3.5 信道编码定理,3.3 多符号离散信道,3.3.1 多符号离散信道的数学模型,3.3.2 离散无记忆信道的N次扩展信道和独立并联信道的信道容量,多符号离散信道,多符号信源通过离散信道传输形成多符号离散信道。,3.3.1 多符号离散信道的数学模型,输入,输出,单符号离散信道的N次扩展信道,多符号离散信道，也称,3.3.2 离散无记忆信道的N次扩展信道和独立并联信道的信道容量,无记忆：YK仅与XK有关,3.4 多用户信道,3.4.1 多址接入信道 3.4.2 广播信道 3.4 .3 相关信源的多用户信道
12、,3.4.1 多址接入信道,多入单出信道,二址接入信道模型,3.4 多用户信道,3.4.1 多址接入信道 3.4.2 广播信道 3.4 .3 相关信源的多用户信道,3.4.2 广播信道,广播信道,具有单个输入和多个输出的信道。,图3.4.4 单输入双输出广播信道模型,退化广播信道（串联）,图3.4.5 退化的广播信道模型,构成马尔可夫链,最大,3.4 多用户信道,3.4.1 多址接入信道 3.4.2 广播信道 3.4.3 相关信源的多用户信道,3.4.3 相关信源的多用户信道,相关信源多用户信道,模型2,W:公信息,要求R0尽可能小，并且在W条件下，X1X2无关,3.1 信道的数学模型和分类
13、3.2 单符号离散信道 3.3 多符号离散信道 3.4 多用户信道 3.5 连续信道,3.5 连续信道,连续信道的数学模型,加性连续信道,利用坐标变换原理,可证p(y/x)=p(n) X, N相互独立。,噪声功率,输入平均功率,输出平均功率,对于高斯加性信道,信噪功率比,香农公式,(bit/s),3.1 信道的数学模型和分类 3.2 单符号离散信道 3.3 多符号离散信道 3.4 多用户信道 3.5 连续信道 3.6 信道编码定理,3.6 信道编码定理,若一离散平稳无记忆信道，其容量为C，输入序列长度为L，只要待传送的信息率RC,总能找到一种编码。当L足够长时，译码差错概率,为任意正数，反之，当RC,任何编码的,RC,RC,C是一个临界值.,结论,
