《信息论总复习幻灯片》由会员分享，可在线阅读，更多相关《信息论总复习幻灯片（34页珍藏版）》请在金锄头文库上搜索。
1、第一专题,本章是信息论的基本概念，介绍的主要内容有：,从通信的角度讲，信息论是应用近代概率统计方法研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。,信息的特点：无确切定义，人人皆知的抽象概念 信息的特征：抽象性和广泛性 信息与消息、信号的关系 香农信息论给出的信息的定义：,1.信息的概念 *,信息是事物运动状态或存在方式的不确定性的描述*。,2.什么是信息论,（1）信息论的发展简史,1948年，香农在通信的数学理论的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效
2、率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。,（2）信息论研究的对象,*,这个模型包括以下五个部分：,3. 信道 信道是信息传输和存储的媒介。,4. 译码器 译码是编码的逆变换，分为信道译码和信源译码。,5. 信宿 信宿是消息的接收者。,2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。,1.信源 信源是产生消息的源。,第二专题,1.信源的分类 离散信源和连续信源；平稳信源和非平稳信源；有记忆信源 和无记忆信源,2.离散信源的信息熵(*) （1）自信息,有两个含义：,1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，表示该事件所提供的信息量,（2）信息熵
3、(平均自信息*）,（3）信息熵的物理含义*,信息熵表示信源输出后，每个消息（或符号）所提供的平均信息量 信息熵表示信源输出前，信源的平均不确定性。 用信息熵来表征变量X的随机性,3.信息熵的基本性质(*包含性质的具体内容),非负性 对称性 确定性 扩展性 极值性 可加性 强可加性 递增性 上凸性 唯一性,H(X)0,H（XY）= H（X）+ H（Y）*,H(XY)=H(X)+H(Y/X),熵函数H(P) 是概率矢量P=（p1,p2,pn)的严 格n型凸函数。,*,4.离散无记忆扩展信源的信息熵（*）,（1）离散无记忆扩展信源的数学模型,（2）离散无记忆扩展信源的信息熵*,5.离散平稳信源的信息
4、熵（*）,（1）离散平稳信源的定义（*）数学模型,（2）离散平稳信源的信息测度,联合熵,条件熵,注意符号的前后依赖关系,7.信源剩余度（了解）,熵的相对率,信源剩余度,第三专题,一.信道的分类,单用户信道和多用户信道； 有反馈信道和无反馈信道； 时变参数信道和固定参数信道； 离散信道、连续信道、半连续半离散信道和波形信道； 有记忆信道和无记忆信道； 有噪信道和无噪信道。,二.离散信道的数学模型(*),1.一般离散信道（多维离散信道）,2.基本离散信道（单符号离散信道）,根据信道矩阵的特点，信道可分为：,（1）对称离散信道（2）准对称离散信道（3）强对称离散信道,3.无噪信道（无干扰信道）,无噪
5、信道,（1）无噪无损信道: 一一对应关系 （2）无噪有损信道：多对一关系,有噪信道：信道转移概率不是0，1分布,有噪无损信道：一对多关系，其后向概率为0，1分布； 充要条件是信道矩阵中每一列有一个也仅有一个非零元素；,4.离散无记忆信道（DMC）,否则为有记忆信道；,（三）离散信道的平均互信息及其特性,1.信道疑义度*,2.互信息（ *定义 ）,3.平均互信息（ * *定义，计算）,4.平均互信息的物理含义及与各类熵的关系（ * ）,（1）平均互信息与各类熵的关系,I(X;Y)=H(X)-H(X/Y) =H(X)+H(Y)-H(XY) =H(Y)-H(Y/X),（2）平均互信息的物理含义(*)
6、,平均互信息表示接收到输出信号的前、后关于输入信号的 平均不确定性的消除 平均互信息表示输入信号发出的前、后，关于输出信号的 平均不确定性的消除 平均互信息表示信道的输出信号和输入信号之间相互提供 平均信息量 平均互信息是输入信号和输出信号之间的统计依赖关系的 信息量度 平均互信息表示信道中平均每个符号所能传达的信息量， 就是信道的信息传输率R,5.平均互信息的特性（*）,（1）平均互信息的非负性,I(X;Y)=0,（2）平均互信息的极值性I(X;Y)=H(X),I(Y;X)H(Y),（3）平均互信息量的交互性I(X；Y)=I(Y；X),（4）平均互信息的凸状性,1 平均互信息I(X;Y)是信
7、源概率分布P(X)的 型凸函数 2 平均互信息I(X;Y)信道传递概率分布P(Y/X)的 U型凸函数,（五）离散信道的信道容量,1.离散信道的信道容量（ * ）,信道容量：最大信息传输率,2.计算信道容量的方法,（1）运用信道容量解得充要性,（2）运用特殊信道的容量公式求解（ * ）,（3）运用r个方程求解,（六）常见信道的平均互信息和信道容量（*）,1.无噪一一对应信道（无噪无损信道）,I(X;Y)=H(X)=H(Y) C=logr=logs,2.有噪无损信道,此时信道疑义度为0，而信道噪声熵不为0，从而 C=maxI(X;Y)=maxH(X)-H(X/Y)=maxH(X)=logr,3.无
8、噪有损信道,此时信道疑义度不为0，而信道噪声熵为0，从而 C=maxI(X;Y)=maxH(Y)-H(Y/X)=maxH(Y)=logs,4.离散对称信道,5.强对称信道,6.二元对称信道,7.准对称信道,特殊信道信道容量的计算3.4.13.4.3,（七）无记忆N次扩展信道的I（X；Y）和容量,（八）信道剩余度（了解）,定义：信道剩余度C-I(X;Y) 信道的相对剩余度,（了解）,第四专题,（一）信源编码和码的类型（*）,1.信源编码(* *目的是提高传输效率）,信源符号与码字之间的一一对应变换称为信源编码。,2.码的类型,二元码，三元码，r元码，等长码，变长码，非奇异码，,奇异码，惟一可译码
9、，非惟一可译码,即时码,（二）即时码及其树图构造法(了解),（三）唯一可译码存在的充要条件（*）,（1）唯一可译码存在的充要条件是，满足Kraft不等式,（2）若存在一组码长为 的唯一可译码，则 一定存在具有相同码长的即时码。所以，Kraft不等式 也是即时码存在的充要条件。,（四）唯一可译码的判断法（*）,唯一可译码的判断步骤： （1）观察是否是非奇异码。若是奇异码则一定不是 唯一可译码。 （2）计算是否满足Kraft不等式。若不满足一定不是 唯一可译码。 （3）将码画成一棵树图，观察是否满足即时码的树 图构造，若满足则是唯一可译码。 或：计算出分组码中所有可能的尾随后缀集合F，观 察F中有
10、没有包含任一码字，若无则为唯一可译码； 若有则一定不是惟一可译码。,（五）无失真等长信源编码定理,（六）无失真变长信源编码定理 香农第一定理（*）,当 则得：,(2),若 就存在唯一可译变长码，若 则不存在唯一可译变长码。,(3),无噪信道编码定理(R不大于信道容量C, R大于C),信源编码的实质（*）,(4),（七）无失真信源编码定理和数据压缩,1.无失真数据压缩的极限值,无失真信源编码定理（无论等长还是变长）在理论上 指出离散信源的信息熵是信源无失真数据压缩的极限 值。,2. 编码效率（*）,（八）最佳二元码(了解）,平均码长为最短的即时码称为最佳码（又称紧致码）,（九）霍夫曼码和其他编码
11、方法*,1.香农码,香农费诺埃利斯码（有系统的唯一的 编码方法，但是一般情况下，编码效率不是很高）,2.费诺码(* ）（适用于对分组概率相等或接近的信 源编码*） 3.霍夫曼码（ * ）（哈夫曼码对信源的统计特性没 有特殊要求，编码效率比较高，对编码设备的要求也 比较简单 需要注意的是：1.在缩减信源的过程中，应把所得的 新符号尽可能排列在靠前位置上，所得码的方差最 小；2.信源符号的个数q必须满足q=(r-1)k+r。不满 足时，设一些概率为零的虚假符号，使其满足。）,作业，霍夫曼编码,第五专题,1.译码准则(*),在有噪信道中传输消息是会发生错误的，而接收端引起错误 的大小与选择译码准则有
12、关，也与信道编码所选码字有关。,(1) 最小错误概率译码准则,(2)最大似然译码准则,(3)最小距离译码准则（*）,汉明距离,最小距离译码准则,D (*, j ) D(i , j ) ， i C， i * 即：D (*, j ) min D(i ,j ) ， i C， i *,2.平均错误概率（ * ）,平均错误概率,二元对称信道,单符号信道,3.有噪信道编码定理及其逆定理（*）,有噪信道的信道容量C，若信息传输率RC 则不存在以R传输信息 而PE为任意小的码。,4.信源信道编码定理(*),某离散信源的极限熵H，离散信道容量C，若HC， 不存在信源和信道编码，使无失真的传输信源信息。,试题类型,一、简答题（每题6分，共30分） 基本定理、基本概念 二、判断题（每题2分，共10分） 基本定理、基本概念 三、计算题（共40分） 基本概念的应用，难度与课件例题、课后作业题相 当。比如：熵的计算，信道容量的计算，译码规则，平均错误概率等等 四、综合题（共20分） 相当于两道计算题的结合,感谢同学们的支持！ 祝同学们期末考试取得好成绩！ 谢谢！,
