《大学信息论与纠错编码教学课件PPT离散信道的信道容量教学PPT》由会员分享，可在线阅读，更多相关《大学信息论与纠错编码教学课件PPT离散信道的信道容量教学PPT（94页珍藏版）》请在金锄头文库上搜索。
1、第4讲 离散信道的信道容量,回顾：信源编码 对信源进行编码，为了提高传输效率接下来的环节是信道， 期望在物理信道一定时，单位时间内传输的信息越多越好,依据：唯一可译，紧致编码,如何确定码长以及编码方法,信道的作用：把携有信息的信号从它的输入端传递到输出端。信道最重要特征参数是信息传递能力，即信道容量.,信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关；存在有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量；研究在信道中传输的每个符号所携带的信息量，并定义信道容量。,互信息量： 结合图示讲解通信模型，信源发出消息xi的概率p(xi)
2、称为先验概率，信宿收到yi。利用收到yi推测信源发出xi的概率称为后验概率，有时也称条件概率。 思考：事件xi是否发生具有不确定性，可用自信息I(xi)度量。在收到符号后，事件是否仍具有一定的不确定性，用条件信息量I（yi|xi）度量。 相当于进行了通信。 问题：观察事件（通信）前后，通信过程中所获得的信息量是什么？ 定义:后验概率与先验概率比值的对数为yi对xi的互信息量：,回顾： 互信息量和平均互信息量,互信息量等于自信息量减去条件自信息量。,互信息量,条件概率,先验概率,定义 互信息量 是定量地研究信息传递问题的重要基础。但它只能定量地描述输入随机变量发出某个具体消息 ，输出变量出现某一
3、个具体消息 时，流经信道的信息量；此外 还是随 和 变化而变化的随机变量。 互信息量不能从整体上作为信道中信息传递的测度。这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。 定义互信息量 在联合概率空间 中的统计平均值为Y对X的平均互信息量，简称平均互信息，也称平均交互信息量或交互熵。,平均互信息量,平均互信息 克服了互信息量 的随机性，可作为信道中流通信息量的整体测度。 三种表达方式,平均互信息量的物理意义 从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。此即“信息就是负熵”。,信道疑义度的说明,这个
4、条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X/Y)=0,一般情括下H(X/Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。H(X/Y)即信道疑义度，也表示信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y/X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵。,平均互信息量的性质 对称性： 非负性： 极值性：凸性 平均互信息量 是输入信源概率分布 的上凸函数，研究信道容量的理论基础。 平均互信息量 是信道转移概率
5、 的下凸函数，研究信源的信息率失真函数的理论基础。,平均互信息量,信源熵,信道输出收到符号集Y后仍存在的对于X发送哪个消息的平均不确定性的度量,二者之差就是通信过程中获得的信息量,单符号传输，信息传输率：,信道容量的定义,回顾信息传输率的另一定义：,不考虑信道的干扰，因此H(X/Y)=0；单符号传输，平均码长为1，此时I(X;Y) = H(X)-H(X/Y)=H(X)，因此两个定义等价,当给定信道时(转移概率p(y/x)确定)，平均互信息量 I(X;Y)是输入信源概率分布p(x) 的上凸函数，因此总存在某种输入概率分布q(x)使得I(X;Y)达到最大值，定义该最大值为信道容量C：,信道容量的定
6、义,当给定信道时(转移概率p(y/x)确定)，平均互信息量 I(X;Y)是输入信源概率分布p(x) 的上凸函数 ，因此总存在某种输入概率分布q(x)使得I(X;Y)达到最大值，定义该最大值为信道容量C：,能够达到信道容量的q(x)称为最佳分布,信道容量C是在可靠通信前提下，信道所能容纳的最大信息传输量； 固定信道，信道容量是C是一定的； 不同信道，C值不同，是转移概率p(y/x)的函数,可以找到某种输入概率分布，使信道容量达到最大,12,信道分类,信道定义 传输信息的载体，其任务是以信号形式传输、存储信息。 信道分类用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系
7、：固定参数、时变参数噪声种类： 随机差错、突发差错输入输出特点：离散、连续、半离散半连续、波形信道,13,信道分类和表示参数,信道参数信道可分为：,14,信道分类和表示参数,信道种类,1、无干扰（无噪声）信道,2、有干扰无记忆信道,信道的输出信号Y与输入信号X之间有确定的关系。转移概率,信道的输出信号Y与输入信号X之间没有确定关系， 但转移概率满足：,每个输出符号只与当前输入信号有转移概率关系，与 其他时刻的信号无关，即无记忆。需分析单个符号的 转移概率p(yj|xi).,15,信道分类和表示参数,1）二进制对称信道（BSC） (输入输出符号数均为2),由于这种信道的输出比特仅与对应时刻的一个
8、输入比特有关，而与以前的输入无关，所以这种信道是无记忆的;,16,信道分类和表示参数,2)离散无记忆信道DMC (输入输出符号数大于2但有限) 转移矩阵,3）离散输入、连续输出信道,设信道输入符号是有限、离散的,其输入字符集,信道输出,称离散输入,连续输出信道.,即,又称半离散或半连续信道。,（4）波形信道,若输入是模拟波形，输出也是模拟波形则该信道为波形信道.,若分析性能的理论极限，多选用离散输入、连续输出的信道模型。,选择何种模型取决于应用场景、目的.,从工程上讲,最常用的DMC信道或BSC信道.,4.2 离散无记忆信道容量的计算,定理4.1 如果信道是离散无记忆（DMC）的，则CN NC
9、， 其中C是同一信道传输单符号时的信道容量。,下面一条定理给出了一维信道和N维信道的信道容量之间的关系。,证明：对于DMC，由定理2.4知, CN NC,（4-4）,（2）对每个i,输入分布q (xi) 可使I (Xi; Yj) 达到信道容量C，则,综合式(4-4)和(4-5)，在信源和信道都离散无记忆的情况下，有CN = NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。,CN NC,(4-5),若（1） 输入的N个符号统计独立，即信源离散无记忆,根据定理2.3有：,4.2.1 达到信道容量的充要条件,定理4.2 使平均互信息量I（X; Y）达到信道容量C的充要条件是信道
10、输入概率分布 ，简记为q (X) = q (x1), q (x2), , q (xM)满足：(4-6),并未给出C和q(x)的显式表达式，一般不易利用该定理求解C，通常作为验证用。,22,几类特殊离散信道及信道容量,X、Y一一对应 CmaxI(X;Y)log n （输入符号为等概率出现时）,多个输入变成一个输出； 噪声熵H(Y|X)=0;疑义度H(X|Y)0;CmaxI(X;Y)maxH(Y),由于信道噪声，使一个输入对应多个输出； 疑义度H(X|Y)= 0;噪声熵H(Y|X) 0; CmaxI(X;Y)maxH(X),注：不同教材对这几类信道说明有所不同，但信道容量的求解是一致的,【例4.2
11、】 输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图4-2所示，信道输入符号集X =x1, x2, x3，输出符号集Y =y1, y2, y3, y4, y5，其信道转移概率矩阵记为，计算该信道的信道容量。,图4-2 无损信道,2. 根据定义计算信道容量C从上式可看出，求信道容量C的问题转化为寻找某种分布 q (x) 使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时 ，熵值达到最大，即有,先考察平均互信息量I（X; Y）= H（X）-H（XY），在无噪信道条件下，H（XY）= 0，则平均互信息量I（X; Y）= H（X）,3. 根据平均
12、互信息量I（X; Y）达到信道容量的充要条件式（4-6）对C进行验证：先根据计算出(yj)， j =1,2,3,4,5,6,再计算出：,4.2.2 几类特殊的信道,定义4.1 如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。,定义4.2 如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。,定义4.3 如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。,1. 准对称信道,28,对称DMC信道例子,如果一个矩阵的每一行都是同一集合中诸元素的不同
13、排列，我们称矩阵的行是输入对称的； 如果一个矩阵的每一列都是同一集合中诸元素的不同排列，我们称矩阵的列是输出对称的； 如果一个信道的矩阵输入输出都是对称的，该信道称为对称信道。,【例4.6】 信道输入符号集X = x1, x2，输出符号集Y = y1, y2, y3, y4，给定信道转移概率矩阵 ，求该信道的信道容量C。,这是一个准对称信道，根据定理4.3，当X等概分布， 时，信道容量平均互信息量 I（X; Y）= H（Y）-H（YX）(4-7),定理4.3 实现DMC准对称信道的信道容量的分布为等概分布,由 ，先算出(4-8),将式(4-8)和 代入式(4-7)，可算得信道容量= 0.032
14、5 (比特/符号),【例4.8】 信道输入符号集X = x1, x2 ，输出符号集Y = y1, y2, y3，给定信道转移概率矩阵，求信道容量C。,设使平均互信息量达到信道容量的信源分布为 q(x1) = ， q(x2) =1- 。 由 可算出,2. 信源只含两个消息,平均互信息量 I(X; Y) = H(Y) H (YX) = -(1-q) log + (1-) log (1-) 根据定义，求C的问题就转化为为何值时，I (X; Y ) 达到最大值。令则信道容量 C = I (X; Y)a=0.5 = 1-q,33,例求信道容量，信道转移矩阵如下：,信道输入符号和输出符号的个数相同，都为n
15、； 正确的传输概率为1，错误概率被对称地均分给n-1个输出符号； 强对称信道或均匀信道，是对称离散信道的一个特例。,含义？,34,n=2时，即为：二进制对称信道，容量为C1H（）,35,C,信道无噪声,当 = 0,C =10 = 1bit = H(X)= log2,当 =1/2,不确定性最大，信道容量为0,BSC信道容量,当 =1，强噪信道,强噪信道，也可使C=log2,计算信道容量C按下面步骤进行： (1)先验证信道转移概率矩阵P =p(yjxi)是方阵，且矩阵P的行列式p(yjxi)0；,3.信道转移概率矩阵为非奇异方阵,(2)计算出逆矩阵P= p-1 (yjxk)；,(3)根据式（4-17），计算出；,(4)根据式（4-18） ，计算出信道容量C；,(5) 验证是否满足q(xi) 0， i =1, 2, , K。l 先由式（4-16）计算出（yk） k =1, 2, , Kl再由式（4-21） 计算,
