《第4讲Shannon信息论ppt课件》由会员分享，可在线阅读，更多相关《第4讲Shannon信息论ppt课件（42页珍藏版）》请在金锄头文库上搜索。
1、末动碗卧捅橇钧众佃堤贪仅柒筹瘪段夏敬状搬合价猾玖学溢幂事喂扦贴孽第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件第三章第三章 Shannon 理论理论 王王 滨滨2004年年3月月7日日蔼毗辱萨翁傅毅仁芥作灼爱烃铃赛捉着却泼通柳注辽磨石帖沼宰称痕剪茧第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件1现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院香农简介 香农香农(1916-2001),生于生于美国美国密执安州的加洛德。密执安州的加洛德。1940年获得麻省理工学年获得麻省理工学院数学博士学位和电子工院数学博士学位和
2、电子工程硕士学位。程硕士学位。1941年他年他加入了贝尔实验室数学部，加入了贝尔实验室数学部，在此工作了在此工作了15年。年。 敏故城狱蚌磨笼袒门蔡孩克盲窗超握却耪抚指诲证榜丢她跌旭奶年榨讳郁第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件2现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院香农简介 香农在信息论的领域香农在信息论的领域中钻研了中钻研了8年之久，终于年之久，终于在在1949年在贝尔系统年在贝尔系统技术杂志发表了技术杂志发表了244页页的长篇论著的长篇论著-保密系保密系统的通信理论统的通信理论。次年，。次年，他又在同一杂志上发
3、表了他又在同一杂志上发表了另一篇名著另一篇名著-噪声下噪声下的通信的通信。蝶炼怜橙另吩怖凛英芦纂丸栓比傣终穴鹰励视鱼谩它辣浇痘宏咏贯琶催灰第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件3现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院香农理论简介 第一篇文章奠定了香农信息基本理论的基础。第一篇文章奠定了香农信息基本理论的基础。他在文中用非常简洁的数学公式定义了信息时代他在文中用非常简洁的数学公式定义了信息时代的基本概念：熵。的基本概念：熵。 “熵熵”的概念起源于热力学，是度量分子不规的概念起源于热力学，是度量分子不规则热运动的单位。香农
4、的伟大贡献在于，利用概则热运动的单位。香农的伟大贡献在于，利用概率分布的理论给出率分布的理论给出“熵熵”的严格定义。的严格定义。 根据香农的定义，确定发生的事件如根据香农的定义，确定发生的事件如“太阳太阳从东边升起从东边升起”与确定不发生的事件如与确定不发生的事件如“太阳从西太阳从西边升起边升起”，其熵都是零。，其熵都是零。只有当发生与不发生只有当发生与不发生 的的概率相同时，事件的熵才达到极大。概率相同时，事件的熵才达到极大。役听僚跟绝富戒炽蓑差袜鸡坟墟考炼傈顶喝望车湛欺盅阮朔峭媳驾叙峭痞第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件4现代密码学现代密码学解放军信息
5、工程大学电子技术学院解放军信息工程大学电子技术学院香农理论简介 在熵的基础上定义的在熵的基础上定义的信道容量信道容量也是通讯中一也是通讯中一个至关重要的概念。由此，香农推出了一个公式，个至关重要的概念。由此，香农推出了一个公式，明确表达了明确表达了在不同噪声情况下传输速率与失真的在不同噪声情况下传输速率与失真的定量关系定量关系。从这一个公式导出的为达到无失真通。从这一个公式导出的为达到无失真通讯的传输速讯的传输速 率的极限，现已称为率的极限，现已称为香农极限香农极限。打个。打个比方来说，在周围干扰严重的情比方来说，在周围干扰严重的情 况下，要想使对况下，要想使对方听清楚，你就只有慢慢地讲，甚至
6、还要不断重方听清楚，你就只有慢慢地讲，甚至还要不断重复。复。 命颐疲凉但脱锡谜杉嫡炔渗伏蛙弱抠黍沿拓罩咳赐凸晾捣富健两进焚混啥第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件5现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院香农理论应用香农理论应用n如今，这两个原理已广泛应用于信息处理如今，这两个原理已广泛应用于信息处理和实际通信中。只要涉及信息的和实际通信中。只要涉及信息的压缩压缩与与传传递递，就要用到香农的理论。，就要用到香农的理论。 nPC机上常用的机上常用的WinZip (无损压缩算法无损压缩算法)n手机通讯手机通讯 (有损压缩有
7、损压缩无损压缩无损压缩,纠纠 错错)n在因特网上传递多媒体数据在因特网上传递多媒体数据（MP3音乐压缩格式音乐压缩格式）铜音鄂啸局恫朝拂牌门霜恨酪喉懒蛔象唾烙贩腊臻压贡凸蝉几泡掖论省伞第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件6现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院第三章第三章 Shannon保密理论保密理论n 密码体制的数学模型密码体制的数学模型n 随机事件的熵及其性质随机事件的熵及其性质回砍蕾摹阜忠断询户钞荒河姜统舱侨镊梅窑苇庭栓虎履靠阶障迢今揖铱辙第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课
8、件7现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院通信系统信源信源编码器编码器解码器解码器接收者接收者干扰源干扰源信道信道设计目的：设计目的：在信道有干扰的情况下，使得接收者接在信道有干扰的情况下，使得接收者接 收到的信息无差错或差错尽可能的小。收到的信息无差错或差错尽可能的小。她递蜗计帧摊脱藻捐儡捂喻汝蹋符磋灼棘阶阔辜菩煤砸步谗宜躇炒包匣贰第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件8现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院保密系统御毒胳筷炯劳放亮冶拄哟右济碑粕贱吃扔簇焦栈谱糙吾梧弛冀瘁曹纂
9、畏各第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件9现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院保密系统n设计目的：设计目的：使得窃听者即使完全准确地接使得窃听者即使完全准确地接 收带了信道上传输的信号也无收带了信道上传输的信号也无 法恢复出原始的信息。法恢复出原始的信息。炙寇熙够毅众删勉攘爵姐申六锰窍拟草荣弓镇理钨较辨痘骨依枪匈奉狸寺第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件10现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院密码体制的数学模型密码体制的数学模型n明文明
10、文(离散信源离散信源)空间的统计特性：无空间的统计特性：无记忆记忆和有记和有记忆忆n密钥源通常是密钥源通常是无记忆无记忆的，并且满足的，并且满足均匀均匀分布分布n密文空间的统计特性由明文空间和密钥空间的统密文空间的统计特性由明文空间和密钥空间的统计特性决定计特性决定n假定信道无干扰，假定分析者能够截获密文，且假定信道无干扰，假定分析者能够截获密文，且知道所用的密码体制以及明文空间和密钥空间的知道所用的密码体制以及明文空间和密钥空间的统计特性统计特性视胺白还践糠吮箍闪戌埂茫缸浴端喝触羚岸快抱糊赐腐扔艘牟垒饼比撕绸第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件11现代密码
11、学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院3.2 随机事件的熵及其性质随机事件的熵及其性质 主要内容: 如何定量刻划一个随机事件包含的信息量用熵的概念! 熵(entropy)这个数学工具自身的理论.泛掐梭猛列卵证柳渔季邯唁猜宪摘螺灯困咋被需琢应奸豆脏妹唱溜粤仇趴第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件12现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院何为信息何为信息? 什么能提供信息什么能提供信息? 我将你原来不知道的结果告诉你,就是提供了信息! 例例1 当我给你一封信时，你就从我这里获得了信息，因
12、为你事先并不知道其中的内容。 例例2 设电脑彩票由8个10进制数组成.在开奖之前，我们不知道特等奖号码的信息，因为特等奖的号码是不确定。特等奖号码的信息只有在开奖时才获得。一旦开奖，就获得了8个十进制数的信息。 这就是说，将未知的变成已知的时就获得了信这就是说，将未知的变成已知的时就获得了信息！息！ 信息寓于不确定之中！信息寓于不确定之中！差吭赡嘴耍男刺选并冕烽堕冀色碘氟罐鸡绥店酣兹沿作昨户攫岛寿箍腕獭第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件13现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院信息量信息量我向你提供的信息量的大小就
13、是你事先不知道结果的程度!也即是信息的不确定度。如果你事先全知道了,说明我提供的信息量等于0;如果你事先一无所知,说明我提供的信息量最多.不知道意味着在我告诉你之前你只能猜测!猜测就是按照每个可能结果的出现概率进行猜测!因此,你只知道这个事情的每个结果的发生概率!所以,我提供的信息量就是由你事先知道的每个可能结果的发生概率(即随机事件的概率分布)决定.颜禾峨浇逾廓箱浙睫档垃悄膜咖念迸军然佳谐驱粪沥满擞专托倾尊斋扛夕第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件14现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院简单地说简单地说,信息就是
14、信息就是: (1) 当未知的变成已知的当未知的变成已知的之后之后获取的信息获取的信息; (2) 当未知的还没变成已知当未知的还没变成已知之前之前包含的未知信息包含的未知信息.信息寓于不确定之中！信息寓于不确定之中！谁的信息谁的信息! 通常的信息是指通常的信息是指: (1) 一个实验提供的信息一个实验提供的信息; (2) 一个随机事件包含的信息一个随机事件包含的信息; (3) 一个随机变量包含的信息一个随机变量包含的信息.其中其中(1)和和(2)的含义相同的含义相同,它们比它们比(3)的意义的意义更更 加广泛加广泛. 剩皖摧快养扇睁胀剖葵漾神旷既沏欣翻扒晦绚恫侯颖围滞弃绎广眶链禁宫第4讲Shan
15、non信息论ppt课件第4讲Shannon信息论ppt课件15现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院随机事件和随机变量随机事件和随机变量定义定义1：设一个实验有设一个实验有 共共n个可能的结果，个可能的结果，则每个可能结果都称为一个事件。则每个可能结果都称为一个事件。这个实验也称这个实验也称为一个随机事件。为一个随机事件。性质性质1：设设X是一个离散随机变量，它有是一个离散随机变量，它有n个可能的个可能的取值，设每种取值出现的概率为取值，设每种取值出现的概率为p(xi),则则导轨杂扶嚷休祟壮捶陋恶寐越鼻杠滩之素整度卉较必罢远畅铆趾畜再拈厅第4讲Shan
16、non信息论ppt课件第4讲Shannon信息论ppt课件16现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 一、随机事件的熵一、随机事件的熵 一个事件可能发生，也可能不发生！但我们总在一个事件可能发生，也可能不发生！但我们总在每个事件每个事件 发生的概率发生的概率 都已知的条件下分析！都已知的条件下分析！ 这个实验提供的信息就是：这个实验提供的信息就是： (1) 实验前实验前该实验所包含的未知信息；该实验所包含的未知信息； (2) 实验后实验后这个实验所提供的信息这个实验所提供的信息. 如何对信息量的大小进行定量刻划如何对信息量的大小进行定量刻划? 再看一下
17、彩票的例子再看一下彩票的例子.售嗽雌函拨幸凝季禾狞炮祟啡围仓砸漳亚油裂著笆际物曝渐哄捆镇锯瘸承第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件17现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院例例3 设电脑彩票由设电脑彩票由8个个10进制数组成，在开奖之前，进制数组成，在开奖之前，108个可能号码成为特等奖的概率相同个可能号码成为特等奖的概率相同,都是都是10-8.一一旦开奖旦开奖,我们就知道了特等奖的我们就知道了特等奖的8个具体号码个具体号码,因而就因而就获得了获得了8个十进制数的信息。个十进制数的信息。 我们获得的信息量与开奖前每个
18、可能号码成为我们获得的信息量与开奖前每个可能号码成为特等奖的概率特等奖的概率10-8有何关系有何关系? 显然显然,有有 8 = - log10 10-8 信息量的定量刻划信息量的定量刻划: 定义定义2 设设 是一个实验中事件是一个实验中事件 发生的概率发生的概率,则称则称 为事件为事件 包含的包含的自信息量自信息量.祷黔调漓剥佰枪逆束奶跪撼株盲存娱研护衍溯芬昂天逻拒贬塑夯芭访聊嘶第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件18现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院熵的数学定义熵的数学定义熵的数学定义熵的数学定义定义定义3.1
19、(随机事件的熵随机事件的熵):设一个实验设一个实验X有有 共共n个可能的结果个可能的结果,则称则称 的数学期的数学期望望为实验为实验X的熵的熵(Entropy). 其中约定其中约定 0log0 = 0. 捶熄痔樱贵汇选茂柬释顺吵耿碧量鸽焰段芭条廷另街立裕槽潭泅地样辽泅第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件19现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院因此因此,一个实验的熵就是该实验的每个可能结一个实验的熵就是该实验的每个可能结果包含的自信息量的果包含的自信息量的平均值平均值!熵的单位与对数的底有关熵的单位与对数的底有关!约
20、定对数的底大于约定对数的底大于1! 当以当以2为底时为底时,其单位称为比特其单位称为比特(bit); 当以当以10为底时为底时,其单位称为迪特其单位称为迪特(Det);氏耀妖调撮提位亦洽湃回弛蹈饺畦驴劣碉丝恩迎镍孽厄贪救影扫拦重射玖第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件20现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 例例5设一个实验有设一个实验有a和和b两个可能的结果两个可能的结果,且实验且实验结果是结果是a和和b的概率分别为的概率分别为1/4和和3/4,试计算该实验的试计算该实验的熵熵.解解: 根据熵的定义根据熵的定义,
21、有有解毕解毕计旱担赘眼女帛捶惩四坤梁应郎咀罕伪泉声外藩歉上肮朵帽褒栈筑建仍怨第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件21现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 下面介绍熵的性质下面介绍熵的性质. 定义定义3.4 一个实值函数一个实值函数 f 称为在区间称为在区间I上是凸上是凸 的的, 如果对任意的如果对任意的,都有都有如果对任意的如果对任意的,都有都有则称则称 f 称为在区间称为在区间I上是严格凸的上是严格凸的.韭旷拧钳威方鲁善悲卉唱堕估缔绒窜房踊传彤戳立羡谚绝笔汉犯汾食淫农第4讲Shannon信息论ppt课件第4讲Sh
22、annon信息论ppt课件22现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院引理引理3.1(Jensen不等式不等式)设设 f 是区间是区间I上的一个连续的严格凸函数上的一个连续的严格凸函数,并并 且且 , 则有则有且上述等号成立的充要条件是且上述等号成立的充要条件是诱喘涣圾镰逆十鬃哪会冗诀递诚乱槐辛捶尼隆色碍紊钎丧宋神路烦综弘迈第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件23现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 推论推论1 f (x)=logb x (b1)在区间在区间x 0时是严格时是
23、严格 凸的凸的,因而当实数因而当实数 满足满足 且且 有：有：且等号成立的充要条件是诸且等号成立的充要条件是诸pi全相等全相等. 证明：注意此推论中条件与证明：注意此推论中条件与Jensen不等式中不等式中条件不同，故证明如下。条件不同，故证明如下。依湛版错曰毙啥躲菠仪殃批殷本隧务色蝗霉濒阵锹宣躯被堑驭钵旋庐穗椽第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件24现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 证明证明(记记 , )不妨设不妨设 都都0,且且则由则由Jensen不等式不等式 知知 显然显然,当当 时等号不成立时等号不成立
24、;时时,只有当诸只有当诸 全相等时全相等时,等号才成等号才成立立. 当当 懦矣昼鸽包蔓赴吊花蝗赣兆渤刃畜矾挝掩偿盎搽跟签逸言亿拟誉杭苗点赚第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件25现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 定理定理3.1 设设b1,则有则有 且,都有(2) 当且仅当,都有(1)(3) 当且仅当存在使得证明证明 (1) 由由 可知可知故(1)成立. (2) 由由Jensen不等式的推论不等式的推论1可知可知(2)成立成立., ,再由再由Jensen不等式的推论1暇稿接蟹楚救近做禁使弊搔阮届聘盗效痘迎季挖叛剿
25、始家辣辨创石囱贰暑第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件26现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院(3)(3)充分性充分性: :此时必要性必要性: :由于诸设H(X)=0.若存在t,使,则,从而两个值,该矛盾说明诸 只能取0和1这因而必要性成立.矛盾!选群秀渤事那杯摊顶盲腰姬蛀蠕半存珍世雅觅碌拟羔兑聋疆能最淘拣沉敷第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件27现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 定理定理3.1说明说明: (1) 结果确定的随机事
26、件不提供信息量结果确定的随机事件不提供信息量, 因而提供的信息量最少因而提供的信息量最少! (2) 可能结果可能结果等可能发生等可能发生的随机事件提供的随机事件提供 的包含的信息量最大的包含的信息量最大! 这与我们的直觉是一致的这与我们的直觉是一致的!归戮妹介契芹沦押溪亥咙咕完苫齿莫避滤格报芍勤裁廓踏颤抄凉暖轻庭索第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件28现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 现实中的事件都不是孤立的现实中的事件都不是孤立的! 很多随机很多随机事件之间都有相互的联系和影响事件之间都有相互的联系和影响!
27、那么那么,如何如何刻划和研究多个随机事件相互刻划和研究多个随机事件相互 提供的信息呢提供的信息呢? 这就要引入两个实验的这就要引入两个实验的联合熵联合熵条件熵条件熵 互信息互信息等概念！等概念！就秋灯兵渤荔累好坑铅窃滨反鸳宦劫愚棺现纸赚贼驼吟缘即萝筋玲渗谬殊第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件29现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 因此因此,实验实验X与实验与实验Y的联合熵的联合熵(Joint Entropy)就是事件就是事件(xi ,yj )的的自信息量自信息量的数学的数学期望期望. 它反映了联合分布它反映了联
28、合分布p(x, y )包含的信息量包含的信息量. 定义定义3.2(联合熵联合熵): 实验实验X与实验与实验Y的可能结果分的可能结果分别为别为 和和 ,定义定义X与与Y的联合熵的联合熵 为为异足苦琼苹蔡僧遁峻鼎杯蹈既氮眨玄碌摈篇哦上杀企方宁窍胸输舒聋盼釉第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件30现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 定义定义3.3(条件熵条件熵): 实验实验X与实验与实验Y的可能结果分的可能结果分别为别为 和和 .定义定义X与与Y的条件熵的条件熵为为 (1) 称称 为在实验为在实验Y的结果为的结果为 y
29、j的条件下的条件下,事件事件xi的的条件自信息量条件自信息量.为在实验为在实验Y的结果为的结果为yj的条件下的条件下,实验实验X的的条件熵条件熵. (2)称称 搂着捶哺馒猎您松革区戮敷凭侯首睡权涛与泛钥濒丢镐并外愈朝荧鸯追求第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件31现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院(3) 称称为在实验为在实验X关于实验关于实验Y的的条件熵条件熵. 反映了反映了Y的结果是的结果是yj条件下条件下,实验实验X包含的信息量包含的信息量.反映了反映了Y的结果已知条件下的结果已知条件下,实验实验X平均平均包
30、含的信息量包含的信息量.够杖钩派示艾夯烫秤陷瑶惯滓请帜秽捅鼠峨吗镁必整于磕趟满狈焙菱孺潞第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件32现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院联合熵与各自的熵的关系联合熵与各自的熵的关系 定理定理3.2且等号成立的且等号成立的充要条件是充要条件是X与与Y独立独立. 两个实验提供的信息总量一定不超过这两两个实验提供的信息总量一定不超过这两个实验分别提供的信息量之和个实验分别提供的信息量之和;当且仅当两个实当且仅当两个实验独立时验独立时,二者才相等二者才相等.直观含义直观含义:崩咯绅痪缠堆者蹋数雷
31、孙戈登氧鹃规殃期旗籽称驹弦幻魄避紧浅第侄酌纸第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件33现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院证明证明 (1) 因因,故故有有下证下证 .再由再由和和得得饲拾传吗醉没逻鬃赐晋挖历访铭宴赔璃遗噎菏植晌谰吞陕匆炳屁颁租认案第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件34现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院因因,故有故有即即现分析等号何时成立现分析等号何时成立?茧雅匈吸铬籽昨企散枷散适年经兑刑放顿铝胜钱籍阿畅丢促费燃蹬英观朽
32、第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件35现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院将上述推理过程中出现将上述推理过程中出现的地方保留的地方保留,就是就是(1) 存在常数存在常数c,使对满足使对满足 的的i, j,都有都有第一个第一个变成等号的条件是变成等号的条件是:因而有因而有第二个第二个变成等号的条件是变成等号的条件是:(2) 当当 时必有时必有 ,即即秤矩旺阑净酉萄廖嘶芝赖秽象篓螺悬驾蔡市镜填刽全擒制晋书柜衡序每秀第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件36现代密码学现代密码学解放军信
33、息工程大学电子技术学院解放军信息工程大学电子技术学院对所有的对所有的i, j 都成立都成立,故有故有说明对所有的说明对所有的i, j,都有都有即即这就证明了这就证明了:X与与Y独立独立现设现设 成立成立,则则X与与Y独立独立证毕证毕明伐咙巡甄截峙侧活胆捡荚看耕讼团霸棱沼伏飘蚌赁域僧妻锋口溶矢悟蒙第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件37现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院联合熵与条件熵的关系联合熵与条件熵的关系 定理定理3.3直观含义直观含义: 两个实验提供的信息总量等于第一个信两个实验提供的信息总量等于第一个信息提
34、供的信息量加上在第一个实验的结果已息提供的信息量加上在第一个实验的结果已知条件下知条件下,第二个实验提供的信息量第二个实验提供的信息量.胞巧琢顽莎谋亚存剂皆渊坊峨臣御搞韶犹乘雍款挨沟喜啮杖批涅渭罕核毅第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件38现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院联合熵与条件熵的关系联合熵与条件熵的关系 定理定理3.3证明：由于证明：由于故有故有同理可证同理可证证毕证毕侦鸥霓黍娄丢帛铲蚌宵半夺阐岁枫谤纸橙艘署恭滞腥役箍睹术睡绅氛拄随第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件
35、39现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院联合熵与熵的关系联合熵与熵的关系故有故有 定理定理3.2指出指出: 定理定理3.3指出指出: 推论推论3.1且等号成立且等号成立X与与Y独立独立.泊佃避合郭往锈愚厂篷戚沪腮橡将勇慷临韩期侧典剁靳钟迈筋非冤丢讶惮第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件40现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院 定义定义3.3(平均互信息平均互信息): 称称为实验为实验X与实验与实验Y的平均互信息的平均互信息. 结论结论: 直观的含义：直观的含义：将将X包含的未知信息量减去在实验包含的未知信息量减去在实验Y的的结果已知条件下结果已知条件下,X仍具有的未知信息量仍具有的未知信息量.就是实验就是实验Y提供的提供的X的信息了的信息了.裁曝杭奎螟象恼玉瑞禹升爸雹什滞屋拧熟锋诉缎壳本勇附摸趴莽浸聘瘸埃第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件41现代密码学现代密码学解放军信息工程大学电子技术学院解放军信息工程大学电子技术学院下节内容n分组密码懂拘莹鼠抖虱琴配淳综族闯呢鲁飞丙妹呼峙卢邵呀事面吗到该才悲谆忍随第4讲Shannon信息论ppt课件第4讲Shannon信息论ppt课件42
