《信息论总复习幻灯片》由会员分享,可在线阅读,更多相关《信息论总复习幻灯片(34页珍藏版)》请在金锄头文库上搜索。
1、第一专题,本章是信息论的基本概念,介绍的主要内容有:,从通信的角度讲,信息论是应用近代概率统计方法研究狭义信息的度量方法,研究各种信源、信道的描述和信源、信道的编码定理。,信息的特点:无确切定义,人人皆知的抽象概念 信息的特征:抽象性和广泛性 信息与消息、信号的关系 香农信息论给出的信息的定义:,1.信息的概念 *,信息是事物运动状态或存在方式的不确定性的描述*。,2.什么是信息论,(1)信息论的发展简史,1948年,香农在通信的数学理论的论文中,用概率测度和数理统计的方法系统地讨论了通信的基本问题,得出了几个重要而带有普遍意义的结论。香农理论的核心是:在通信系统中采用适当的编码后能够实现高效
2、率和高可靠性的信息传输,并得出了信源编码定理和信道编码定理。,(2)信息论研究的对象,*,这个模型包括以下五个部分:,3. 信道 信道是信息传输和存储的媒介。,4. 译码器 译码是编码的逆变换,分为信道译码和信源译码。,5. 信宿 信宿是消息的接收者。,2. 编码器 编码器是将消息变成适合于信道传送的信号的设备。,1.信源 信源是产生消息的源。,第二专题,1.信源的分类 离散信源和连续信源;平稳信源和非平稳信源;有记忆信源 和无记忆信源,2.离散信源的信息熵(*) (1)自信息,有两个含义:,1、当事件发生前,表示该事件发生的不确定性; 2、当事件发生后,表示该事件所提供的信息量,(2)信息熵
3、(平均自信息*),(3)信息熵的物理含义*,信息熵表示信源输出后,每个消息(或符号)所提供的平均信息量 信息熵表示信源输出前,信源的平均不确定性。 用信息熵来表征变量X的随机性,3.信息熵的基本性质(*包含性质的具体内容),非负性 对称性 确定性 扩展性 极值性 可加性 强可加性 递增性 上凸性 唯一性,H(X)0,H(XY)= H(X)+ H(Y)*,H(XY)=H(X)+H(Y/X),熵函数H(P) 是概率矢量P=(p1,p2,pn)的严 格n型凸函数。,*,4.离散无记忆扩展信源的信息熵(*),(1)离散无记忆扩展信源的数学模型,(2)离散无记忆扩展信源的信息熵*,5.离散平稳信源的信息
4、熵(*),(1)离散平稳信源的定义(*)数学模型,(2)离散平稳信源的信息测度,联合熵,条件熵,注意符号的前后依赖关系,7.信源剩余度(了解),熵的相对率,信源剩余度,第三专题,一.信道的分类,单用户信道和多用户信道; 有反馈信道和无反馈信道; 时变参数信道和固定参数信道; 离散信道、连续信道、半连续半离散信道和波形信道; 有记忆信道和无记忆信道; 有噪信道和无噪信道。,二.离散信道的数学模型(*),1.一般离散信道(多维离散信道),2.基本离散信道(单符号离散信道),根据信道矩阵的特点,信道可分为:,(1)对称离散信道(2)准对称离散信道(3)强对称离散信道,3.无噪信道(无干扰信道),无噪
5、信道,(1)无噪无损信道: 一一对应关系 (2)无噪有损信道:多对一关系,有噪信道:信道转移概率不是0,1分布,有噪无损信道:一对多关系,其后向概率为0,1分布; 充要条件是信道矩阵中每一列有一个也仅有一个非零元素;,4.离散无记忆信道(DMC),否则为有记忆信道;,(三)离散信道的平均互信息及其特性,1.信道疑义度*,2.互信息( *定义 ),3.平均互信息( * *定义,计算),4.平均互信息的物理含义及与各类熵的关系( * ),(1)平均互信息与各类熵的关系,I(X;Y)=H(X)-H(X/Y) =H(X)+H(Y)-H(XY) =H(Y)-H(Y/X),(2)平均互信息的物理含义(*)
6、,平均互信息表示接收到输出信号的前、后关于输入信号的 平均不确定性的消除 平均互信息表示输入信号发出的前、后,关于输出信号的 平均不确定性的消除 平均互信息表示信道的输出信号和输入信号之间相互提供 平均信息量 平均互信息是输入信号和输出信号之间的统计依赖关系的 信息量度 平均互信息表示信道中平均每个符号所能传达的信息量, 就是信道的信息传输率R,5.平均互信息的特性(*),(1)平均互信息的非负性,I(X;Y)=0,(2)平均互信息的极值性I(X;Y)=H(X),I(Y;X)H(Y),(3)平均互信息量的交互性I(X;Y)=I(Y;X),(4)平均互信息的凸状性,1 平均互信息I(X;Y)是信
7、源概率分布P(X)的 型凸函数 2 平均互信息I(X;Y)信道传递概率分布P(Y/X)的 U型凸函数,(五)离散信道的信道容量,1.离散信道的信道容量( * ),信道容量:最大信息传输率,2.计算信道容量的方法,(1)运用信道容量解得充要性,(2)运用特殊信道的容量公式求解( * ),(3)运用r个方程求解,(六)常见信道的平均互信息和信道容量(*),1.无噪一一对应信道(无噪无损信道),I(X;Y)=H(X)=H(Y) C=logr=logs,2.有噪无损信道,此时信道疑义度为0,而信道噪声熵不为0,从而 C=maxI(X;Y)=maxH(X)-H(X/Y)=maxH(X)=logr,3.无
8、噪有损信道,此时信道疑义度不为0,而信道噪声熵为0,从而 C=maxI(X;Y)=maxH(Y)-H(Y/X)=maxH(Y)=logs,4.离散对称信道,5.强对称信道,6.二元对称信道,7.准对称信道,特殊信道信道容量的计算3.4.13.4.3,(七)无记忆N次扩展信道的I(X;Y)和容量,(八)信道剩余度(了解),定义:信道剩余度C-I(X;Y) 信道的相对剩余度,(了解),第四专题,(一)信源编码和码的类型(*),1.信源编码(* *目的是提高传输效率),信源符号与码字之间的一一对应变换称为信源编码。,2.码的类型,二元码,三元码,r元码,等长码,变长码,非奇异码,,奇异码,惟一可译码
9、,非惟一可译码,即时码,(二)即时码及其树图构造法(了解),(三)唯一可译码存在的充要条件(*),(1)唯一可译码存在的充要条件是,满足Kraft不等式,(2)若存在一组码长为 的唯一可译码,则 一定存在具有相同码长的即时码。所以,Kraft不等式 也是即时码存在的充要条件。,(四)唯一可译码的判断法(*),唯一可译码的判断步骤: (1)观察是否是非奇异码。若是奇异码则一定不是 唯一可译码。 (2)计算是否满足Kraft不等式。若不满足一定不是 唯一可译码。 (3)将码画成一棵树图,观察是否满足即时码的树 图构造,若满足则是唯一可译码。 或:计算出分组码中所有可能的尾随后缀集合F,观 察F中有
10、没有包含任一码字,若无则为唯一可译码; 若有则一定不是惟一可译码。,(五)无失真等长信源编码定理,(六)无失真变长信源编码定理 香农第一定理(*),当 则得:,(2),若 就存在唯一可译变长码,若 则不存在唯一可译变长码。,(3),无噪信道编码定理(R不大于信道容量C, R大于C),信源编码的实质(*),(4),(七)无失真信源编码定理和数据压缩,1.无失真数据压缩的极限值,无失真信源编码定理(无论等长还是变长)在理论上 指出离散信源的信息熵是信源无失真数据压缩的极限 值。,2. 编码效率(*),(八)最佳二元码(了解),平均码长为最短的即时码称为最佳码(又称紧致码),(九)霍夫曼码和其他编码
11、方法*,1.香农码,香农费诺埃利斯码(有系统的唯一的 编码方法,但是一般情况下,编码效率不是很高),2.费诺码(* )(适用于对分组概率相等或接近的信 源编码*) 3.霍夫曼码( * )(哈夫曼码对信源的统计特性没 有特殊要求,编码效率比较高,对编码设备的要求也 比较简单 需要注意的是:1.在缩减信源的过程中,应把所得的 新符号尽可能排列在靠前位置上,所得码的方差最 小;2.信源符号的个数q必须满足q=(r-1)k+r。不满 足时,设一些概率为零的虚假符号,使其满足。),作业,霍夫曼编码,第五专题,1.译码准则(*),在有噪信道中传输消息是会发生错误的,而接收端引起错误 的大小与选择译码准则有
12、关,也与信道编码所选码字有关。,(1) 最小错误概率译码准则,(2)最大似然译码准则,(3)最小距离译码准则(*),汉明距离,最小距离译码准则,D (*, j ) D(i , j ) , i C, i * 即:D (*, j ) min D(i ,j ) , i C, i *,2.平均错误概率( * ),平均错误概率,二元对称信道,单符号信道,3.有噪信道编码定理及其逆定理(*),有噪信道的信道容量C,若信息传输率RC 则不存在以R传输信息 而PE为任意小的码。,4.信源信道编码定理(*),某离散信源的极限熵H,离散信道容量C,若HC, 不存在信源和信道编码,使无失真的传输信源信息。,试题类型,一、简答题(每题6分,共30分) 基本定理、基本概念 二、判断题(每题2分,共10分) 基本定理、基本概念 三、计算题(共40分) 基本概念的应用,难度与课件例题、课后作业题相 当。比如:熵的计算,信道容量的计算,译码规则,平均错误概率等等 四、综合题(共20分) 相当于两道计算题的结合,感谢同学们的支持! 祝同学们期末考试取得好成绩! 谢谢!,