信息论 复习课件

《信息论 复习课件》由会员分享，可在线阅读，更多相关《信息论 复习课件（60页珍藏版）》请在金锄头文库上搜索。

1、课程内容,信息论的基本问题信息的度量 无失真信源编码定理香农第一定理 信道编码定理香农第二定理 限失真信源编码定理香农第三定理 信源编码,引 论,第一章,主要内容： 1、信息论的奠基人香农及其重要著作； 2、信息、消息、信号的区别和联系 3、通信系统的模型各主要功能模块（包括信源、信道、信宿、信源编译码器、信道编译码器）及其作用,信息论的奠基人：香农 信息时代的里程碑： 1948年 香农通信的数学理论(A mathematical theory of communication)。第一次提出了信息量的概念，并应用数理统计的方法来研究通信系统，创立了信息论。 三大定理 无失真信源编码定理（第一极

2、限定理） 信道编码定理（第二极限定理） 限失真信源编定理（第三极限定理）,（一） 信息论的形成与发展,（二）信息、消息和信号的区别与联系,信息 是事物运动状态或存在方式。,消息 是指包含有信息的语言、文字和图像等 信号 是消息的物理体现。 信号是信息的载荷子或载体，是物理性的。,同一信息，可以采用不同的信号形式 (比如文字、语言、图象等）来载荷； 同一信号形式，比如 “0”与 “1”可以表达不同形式的信息，比如无与有、断与通、低与高 (电平) 等。 在通信系统中，实际传输的是信号，但本质内容的是信息。信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。,（三

3、）数字通信系统模型,加密密钥,解密密钥,u,x,y,k,z,v,z,y,x,信源、信宿和信道,信源：向通信系统提供消息u的人和机器。发送消息的源 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。 信道：传输信息的物理媒介,信源编码器与译码器,信源编码器 符号转换； 压缩信源的冗余度,提高通信系统传输效率； 包括无失真信源编码、限失真信源编码。 信源译码器 把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程,信道编码器与译码器,信道编码 提高信息传送的可靠性。 在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力 信道译码

4、器 具有检错或纠错的功能,它能将落在其检错或纠错范围内的错传码元检出或纠正,以提高传输消息的可靠性。,信息量和熵,第二章,定义,单位 常用的对数底是2,信息量的单位为比特(bit)； 若取自然对数e,则信息量的单位为奈特(nat)； 若以10为对数底,则信息量的单位为笛特(det),(一)（非平均）互信息量I(xi ; yj),表示接收到某消息yj后获得的关于事件xi的信息量。,性质 （1）对称性：I(xi; yj)=I(yj; xi) （2）当rij=qiwj时I(xi; yj)=0。（当两个事件相互独立时，互信息量为0）。 （3）当rijqiwj时I(xi; yj)0，当rijqiwj时I

5、(xi; yj)0。（当两个事件正相关时，互信息量为正值，当两个事件负相关时，互信息量为负值）。 故：两个事件之间的互信息量可正、可负，也可能为0。,（二）平均互信息量I(X; Y) 离散型,定义,性质,1、非负性：I(X; Y)0。（虽然每个I(xk; yj)未必非负，但平均互信息量I(X; Y)非负）,2、对称性：I(X; Y)=I(Y; X)。,3、极值性：I(X; Y)H(X)，I(X; Y)H(Y)。 3、 若X是Y的确定的函数X=g(Y)，则 I(X; Y)=H(X)H(Y)。 若Y是X的确定的函数Y=g(X)，则 I(X; Y)=H(Y)H(X)。,4、凸函数性 （1）平均互信息

6、量I(X;Y)是输入信源概率分布 p(xi)的上凸函数研究信道容量的理论基础。 （2）平均互信息量I(X;Y)是信道转移概率 p(yj|xi)的下凸函数研究信源的信息率失真函数的理论基础。,5、数据处理定理：对于以下给定的系统串联有 I(X; Y)I(X; Z)。信息不增原理 含义：串联的系统越多，两端的平均互信息量越小。,6、I(X,Y; Z)=I( X;Z)+ I( Y;Z|X)= I( Y;Z)+ I( X;Z|Y ),定义 性质 （1）h(xi)0。 （2）qi越小，h(xi)越大。 （3）I(xi; yj)minh(xi)，h(yj)，即互信息量不超过各自的自信息量。,(三)（非平均

7、）自信息,自信息量h(xi):,某符号出现后提供给收信者的信息量,定义 性质,条件自信息量h(xi|yj),联合自信息量h(xk, yj),定义 性质,相互关系,熵H(X),(四)平均自信息量（熵）离散信源,条件熵H(X|Y),联合熵H(X,Y),单位为比特/符号或比特/符号序列,熵、条件熵、联合熵之间的关系,H(X|Y),H(X),H(Y),H(X,Y),H(Y|X),I(X;Y),损失熵、疑义度,噪声熵、散布度,由于信道上的干扰和噪声，而损失掉的关于X的平均信息量；即信宿收到Y后还存在的对信源X的平均不确定性。,信道上引入的噪声的平均信息量；发出X后，由于噪声干扰，信宿对要接收到的Y还存在

8、的平均不确定性。,1、 对称性：H(X)与事件xi的具体形式无关，仅仅依赖于概率向量qi。 而且H(X)与概率向量qi的分量排列顺序无关。 2、非负性：H(X)0; H(X|Y)0；H(Y|X)0；H(X,Y)0。 3、确定性：当概率向量qi的一个分量为1时（此时其它分量均为0），H(X)=0。（这就是说，当随机变量X实际上是个常量时，不含有任何信息量）。,熵的性质,4、扩展性（可忽略性）：当随机变量X的某个事件的概率很小时，该事件对熵的贡献可以忽略不计。 5、可加性： H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)。 因此，H(X,Y)H(X)； H(X,Y)H(Y)。 6、极

9、值性（最大离散熵定理）：H(X)logaK。当q1=q2=qK=1/K时，才有 H(X)=logaK。,（五）互信息和微分熵 连续信源,互信息量 平均互信息量,微分熵,最大熵定理 （已知：当离散型随机变量X的事件有K个时，H(X)logaK；只有当X服从等概分布时才有H(X)=logaK） 定理1（峰值功率受限） 若连续型随机变量X的取值范围在区间(-M, M)之内，则Hc(X)loga 2M；只有当X服从U (-M, M)分布时才有Hc(X)=loga 2M。 定理2（平均功率受限） 若连续型随机变量X的方差等于2 ，则Hc(X)(1/2)loga (2e2)；只有当X服从N(m, 2)分布

10、时才有Hc(X)=(1/2)loga (2e2)。,信道及其容量,第三章,一、信道分类,信道是指信息传输的通道。包括空间传输和时间传输。空间传输针对我们常见的情形，例如各种物理通道：电缆、光缆、自由空间等。时间传输是指将信息保存，然后在以后读取。 信道可以看成一个变换器，它将输入事件x变换成输出事件y。 输入事件x通过信道后变换成输出事件y，可以采用条件概率分布函数p(yx)描述。,信道的数学模型表示为： X，p(yx)，Y,信道的分类 单用户信道、多用户信道 恒参信道、随参信道 离散信道、连续信道、波形信道 有记忆信道、无记忆信道 平稳信道、非平稳信道,二、离散无记忆信道（DMC）,有关DM

11、C的容量定理,对于一切可能的输入信号的概率分布来说，平均互信息 I(X；Y) 所能达到的最大值，称为信道容量： 其中max下的P(x)表示对所有可能的输入信号的概率分布来取最大值。使信道传输率达到最大的输入概率分布称为最佳输入分布。,比特/符号,求信道容量的方法 当信道特性 p(yj|xi) 固定后，I(X;Y)随信源概率分布 p(xi)的变化而变化。 调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能找到一种概率分布 p(xi)（即某一种信源），使信道所能传送的信息率为最大。 信道容量C 是求平均互信息 I(X;Y) 的

12、条件极大值问题，当输入信源概率分布 p(xi) 调整好以后， C 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。,信道容量的计算,最佳输入分布为等概分布,最佳输入分布为等概分布,对称DMC,准对称DMC,一般DMC,这是K个未知量0, 1, , K-1 =C+logw(0), C+logw(1), , C+logw(K-1) 的线性方程组，系数矩阵是可逆方阵，因此唯一解出0, 1, , K-1 ,另一个等式： w(0)+w(1)+w(K-1)=1。 于是,i=C+logw(i),求出了信道容量

13、C，立即得到了“最佳输出分布” w(y), y0, 1, , K-1和对应的最佳输入分布q(x), x0, 1, , K-1。,C1maxI(X1,Y1)， C2maxI(X2,Y2) 信道1和信道2同时传递消息，输入集X=X1X2，输出集Y=Y1Y2，转移概率 p(y, v)|(x, u)= p1(y|x)p2(v|u) 称这样组合成的信道为1和2的积信道或独立并行信道,三、信道的组合,积信道或独立并行信道,信道容量为C=C1+C2， 最佳输入分布为(x, u), q(x, u)，其中q(x, u)=q1(x)q2(u)。,单位时间内可以且只能随机选用信道1和信道2中的一个，选用信道1的概率

14、为p1，选用信道2的概率为p2， p1p21 输入空间X=X1+X2， Y=Y1+Y2，,和信道或并信道,信道容量为 最佳输入分布为,信道1的输出作为信道2的输入,令自级连的次数N+，则级连信道的信道容量趋向于0,级联信道或串行信道,信道容量C满足CminC1, C2,四、时间离散的无记忆连续信道,可加噪声信道,输入随机变量为X；噪声随机变量为Z；X与Z相互独立；输出随机变量为Y=X+Z。则称该信道为可加噪声信道。,平均功率受限的可加噪声信道,定理 设平稳的（恒参的）时间离散的无记忆连续信道，限定：其信号功率不超过S，噪声是均值为0，方差为2 ，此时信噪比不超过(S/2)。则,（1）平均功率受

15、限的信道容量为,（2）当且仅当信道为高斯可加噪声信道（XN(0,S)， ZN(0,2)）时，输入、输出平均互信息量达到该C。,四、波形信道,香农公式（单位时间的信道容量） 当信道容量一定时，增大信道带宽，可以降低对信噪比的要求；反之，当信道频带较窄时，可以通过提高信噪比来补偿。 当信道频带无限时，其信道容量与信号功率成正比。例如加性高斯白噪声信道,信源编码离散信源无失真编码,第五章,冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面 信源符号间的相关性； 信源符号分布的不均匀性,信源编码的主要任务就是减少冗余，提高编码效率。,信源编码的基本途径有两个： 使序列中的各个符号尽可

16、能地互相独立，即解除相关性； 使编码中各个符号出现的概率尽可能地相等，即概率均匀化。,信源符号与码字之间的一一对应变换称为信源编码。分为两类：无失真编码、限失真编码,无失真编码只适用于离散信源 对于连续信源，只能在失真受限制的情况下进行限失真编码,一、信源分类 信源是产生消息的源，根据X的不同情况，信源可分为以下类型：,根据信源的统计特性，离散信源又分为两种： 无记忆信源：X 的各时刻取值相互独立； 有记忆信源：X 的各时刻取值互相有关联。,可达速率：对于给定的信源和编码速率R及任意0，若存在L0、()、D()，使当码长LL0时，Pe ，就称R是可达的，否则R是不可达的。,二、离散无记忆信源的等长编码,无扰编码定理： 若RH(U)，则R是可达的；若RH(U)，则R是不可达的。,对于给定的离散无记忆信源，若D元码的速率R超过信源的熵，即NlogD/L H（U）+，则存在编码方法，当L足够大时能使译码错误概率任意小。 logD：一个码符号所能载荷的最大信息量。 H(U)：信源输出一个符号所给出的信息量。