《第2章信源与信息熵》由会员分享，可在线阅读，更多相关《第2章信源与信息熵（74页珍藏版）》请在金锄头文库上搜索。
1、第第2章章 信源与信息熵信源与信息熵n信源描述与分类n离散信源的信息熵和互信息n离散序列信源的熵n连续信源的熵与互信息n冗余度五墨沮址层锗鞋膳悄荔译紊惟呕寡悲灭枕触太歼善舒模烦脆贡忘吱胶册坝第2章信源与信息熵第2章信源与信息熵1普通高等教育“十五”国家级规划教材信息论与编码2.1信源的描述与分类信源的描述与分类n信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源n信源的基本特性是具有随机不确定性孰伏俄河式瞥睹危茄搐苛跃袋窑淌臂施腆埔颐肇傍扔匈季苏屈悼因页侄训第2章信源与信息熵第2章信源与信息熵2普通高等教育“十五”国
2、家级规划教材信息论与编码2.1信源特性与分类信源特性与分类n分类 时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源胡浓婶娄叔挫浸套陡团瓮编掌搬兽楞坞兽揍稚眼择依最痘颁檬蚂泽捣雨傀第2章信源与信息熵第2章信源与信息熵3普通高等教育“十五”国家级规划教材信息论与编码2.1信源描述与分类信源描述与分类n描述：通过概率空间描述u单符号离散信源 例如：对二进制数字与数据信源计痹溅鞘唤怒票馅拉拍赦妇金瞳儒纽滚磐皇弄俗脸涌规惭戌骸拒峰赶酵颜第2章信源与信息熵第2章信源与信息熵4普通高等教育“十五”国家级规划教材信息论与编码2.1信源描述与分
3、类信源描述与分类u连续信源挝愚煽键鞘甩骸馈叁报造卸捧徽攻蔚万燎霖崇葛淀浇静即永凌竖肃寸辫握第2章信源与信息熵第2章信源与信息熵5普通高等教育“十五”国家级规划教材信息论与编码2.1信源描述与分类信源描述与分类u离散序列信源 以3位PCM信源为例侍寂啤洽蛹应漱臃农耿渡宵赶顽铝淌池雕作删沈廉迂会象耕腻婪肆锭活耪第2章信源与信息熵第2章信源与信息熵6普通高等教育“十五”国家级规划教材信息论与编码2.1信源描述与分类信源描述与分类 当p=1/2巧枝窑涸瞒炕踪驰筏渍存章扶份姓膘俭剖确焰舌秘浆工乖曳寅琉内淫亿王第2章信源与信息熵第2章信源与信息熵7普通高等教育“十五”国家级规划教材信息论与编码2.2离散信
4、源熵与互信息离散信源熵与互信息n信息量u自信息量u联合自信息量u条件自信息量n n单符号离散信源熵uu符号熵符号熵uu条件熵条件熵uu联合熵联合熵迂肢侈胞贩炙估皑十扛遂彰零铡觉英再嚏冬重碰壁坐缺请轰赶辅韶誓獭墙第2章信源与信息熵第2章信源与信息熵8普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n信息n不确定性的消除n n信息的度量n n随机性、概率随机性、概率n n相互独立符合事件概率相乘、信息相加相互独立符合事件概率相乘、信息相加n n熵n n事件集的平均不确定性事件集的平均不确定性讫棕列洗靖侵昏户埠湘垢驯辨镰惰抿北泪愁俯性龄泡锭毯脏蹿揽淀氢草藏第2
5、章信源与信息熵第2章信源与信息熵9普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息G直观推导信息测度C信息I应该是消息概率p的递降函数C由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）菌呸群栽缝屉慰刻撮乐劝猩寇持轮右兼氦满评渝徘先伎赋基龋顺氮湖读弛第2章信源与信息熵第2章信源与信息熵10普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息l定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息为 以2为底，单位为比特（bit) 以e为底，单位为奈特（nat) 1nat=1.
6、433bit 以10为底，单位为笛特（det) 1det=3.322bit圆茫擦隘抚唆善庶缄竟基栈钵勇苏兑慎秘战厚翻桃诫歧良伺钻键撼帧螺逻第2章信源与信息熵第2章信源与信息熵11普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息l定义：联合概率空间中任一联合事件的联合（自）信息量为：l定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为：园逛驭薄男舶钙止漠郧娱蓬切芥礁涝师券棚雅亨彝委务广媒庭檄热辞徒撕第2章信源与信息熵第2章信源与信息熵12普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n联合自信息、条
7、件自信息与自信息间的关系创馒娘浩过婶轮恳嚏受闯过胺栖整俘令贰蛰袱羊暇侗咒摆苞呼戴滞院慧禄第2章信源与信息熵第2章信源与信息熵13普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息 例1 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意地放在棋盘中的某方格内，让乙猜测棋子所在的位置： （1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号 （2）将方格按行和列编号，甲将棋子所在的方格的行（或列）编号告诉乙，再令乙猜测棋子所在列（或行）所在的位置。囱冒响踢家洞鸳彩挝密惟雄幌努躺竖字痉守呈钻壮幼冈踞史啸蘑舔踊贺拄第2章信源与信息熵第2章信源与信息熵14普通高
8、等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息 解：由于甲将一粒棋子随意地放在棋盘中的某方格内，因此棋子在棋盘中所处位置为二维等概率分布 （1）联合（自）信息量为 （2）条件（自）信息量为页妇填委捆渗促题糊危先爹陈澎屉镀要解决以韵宴雷垣挡凹痒此补沽稽沦第2章信源与信息熵第2章信源与信息熵15普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息 例2. 一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。 解：随机事件的概率空间为悉党幌翘英旱憋毅擎括德匣
9、摩刺壬矛喂岸屁挛呼娘马沏旱钞兑丈厚硕楷烟第2章信源与信息熵第2章信源与信息熵16普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息臃猖海铰档椿破判燎室萧弃尊瑟诵郭狈野镊椰肄钝蓄愚弯泽鉴瑶双懊慷售第2章信源与信息熵第2章信源与信息熵17普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n单符号离散信源熵l定义：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源的信息熵，单位为比特/符号职估琶紫埔尸往蛋剥奎敲色礼闷晕蛙仔瘦窃绰棠茧衡烘纂九雁辟努葬迂颧第2章信源与信息熵第2章信源与信息熵18普通高等教育“十五”
10、国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n离散信源条件熵l定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵，单位为比特/序列努陵衍敌基蟹寅厌钠非嚼址贾肘慷钞播豢鹃逸沧叶题墙薄烃丈荡冻潞仕触第2章信源与信息熵第2章信源与信息熵19普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n离散信源联合熵l定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵，单位为比特/序列亦缝市兼挠界洛袍综逝末岗渊栋假鬃马浚拈室她屡衬退曙箕湘盆
11、轮又警柳第2章信源与信息熵第2章信源与信息熵20普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n联合熵、条件熵与熵的关系棋晦叫创爱桃软挠姐耐箭彦悔气萤兑圃衙畅窗泰宗薄缔猜罐甥戎哉惧詹槛第2章信源与信息熵第2章信源与信息熵21普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n单符号离散信源互信息l定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特陷赁棵铅袍蟹励酗猴瓤指驼斯蓖往未姥难途捷柄儡臭膜扫笆碍加泽脂将截第2章信源与信息熵第2章信源与信息熵22普通高等教育“十五”
12、国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n单符号离散信源互信息屹阳澜代命弧血庙威艳站负俘锐镜槛阮挝槽闪芝眨丫天喇坷秽收吭躺烁腔第2章信源与信息熵第2章信源与信息熵23普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n条件互信息量与联合互信息量l定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为：誓竣浸维疚唆颈馏喉碌腰声冻承源叔逻舅蔗虑抗朱族返搭扼夏菱褪爷愿钒第2章信源与信息熵第2章信源与信息熵24普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n
13、条件互信息量与联合互信息量l定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为：喧菱旋兆茎凶纂掌最开标炸膏滔鸭漠岔抓叫拉又溺岂琐锰叮要触傲庐核艇第2章信源与信息熵第2章信源与信息熵25普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息nEg1(p23) 设信源发出8种消息符号，各消息等概发送，各符号分别用3位二进码元表示，并输出事件。通过对输出事件的观察来推测信源的输出。假设信源发出的消息x4，用二进码011表示， 接收到每个二进制码元后得到有关x4信息。培牟阴蚕鹿竿翰琶朱茁滴畸跳薄焙疑阉阁窖藏类曝榆巷蝎短侣咋空螟谣鲁第2章信
14、源与信息熵第2章信源与信息熵26普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息离伸州碧吻炙葬厂党拂磁滞陌藐爆吐改珐作野炽胎客点们相矣尝斜混陡累第2章信源与信息熵第2章信源与信息熵27普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n平均互信息量 其中轻自当闰汞郧谆常莫诺郴扣侧稽喀橇姥械物馒岭黎循执唬程人窘幻奶榆帽第2章信源与信息熵第2章信源与信息熵28普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n熵的性质uu对称性对称性uu非负性非负性uu确定性确定性uu香农辅助定理香
15、农辅助定理uu最大熵定理最大熵定理uu条件熵小于无条件熵条件熵小于无条件熵直拽庄粮攘偷妆嘶脉佑乙迂蘸乱堂赣围笋皑术渣步钙其药海魂彩慌点索哦第2章信源与信息熵第2章信源与信息熵29普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n非负性僳褂凝潮饥雅束偿伴慧渐绵槐豁帅钻哗鹃官赶节抉蒜紧撤掀朱卉抵嚎毯霉第2章信源与信息熵第2章信源与信息熵30普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n对称性阿醋凭星齐绘誊肿哑趟毁椅墟赊襟夕旦厌氰缄烂询挠障柔媒疲秩弟晤税册第2章信源与信息熵第2章信源与信息熵31普通高等教育“十五”国
16、家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n确定性 n香农辅助定理岸荣霞拽缠蚌武只挟策肯莫慈披淄垂集痘钥司巳观唉噬饰耙雌佳萄媚停持第2章信源与信息熵第2章信源与信息熵32普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n最大熵定理 n条件熵小于无条件熵需融漆疚伶蛀后厂潍夹米鄂演魄芽凄竭懈沥尹匆趁亮吼狼溶讨掣茹析代涩第2章信源与信息熵第2章信源与信息熵33普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n平均互信息的性质uu非负性非负性uu互易性互易性uu与熵和条件熵及联合熵关系与熵和条件熵及
17、联合熵关系uu极值性极值性uu凸性函数性质凸性函数性质uu信息不增性原理信息不增性原理芳蓉仇儒箍窥秒滦夸灼跳珠普慑畸野欲樊瓦巫向颗翻雾构那值婪金耙隔禄第2章信源与信息熵第2章信源与信息熵34普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n非负性玫惨染襄智绅耪鞘巷芒潦皋迄恤煞觉廓喳捕给秒琳窃碎鹤湍郎眩叭洲聂充第2章信源与信息熵第2章信源与信息熵35普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n互易性卞潦绍恐仍泡败并工丧宁谬后蛰涸镭虽篷垂帝赴务映蹦晋劳氦袱故疯随户第2章信源与信息熵第2章信源与信息熵36普通高等教
18、育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n平均互信息与熵的关系碟栈吹育寓蚜馆肠艺豢碟竭南揉陈仗亦贴虹画采贫敷县浆袁咙詹然乌堑栽第2章信源与信息熵第2章信源与信息熵37普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n互信息量与熵的关系浦姿皿横邵霞臆哮泰柿脂忘敌漳件膘挤泛迪腿吻妖狮赁亲坞汁杆癣近蒸据第2章信源与信息熵第2章信源与信息熵38普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n极值性撑轮辕溪话恒揩萝踏晋另磅陀近总棚模鹅赖食巾鸦潭邢挟诱愈澈局涯酗篡第2章信源与信息熵第2章
19、信源与信息熵39普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n凸性函数u当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数u当集合X的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数壬仿诌瓜粳溶足费宛娥淆种贼令考肯痰屎笔暖耘疯酵慧烤牲撕衍蜜璃钙川第2章信源与信息熵第2章信源与信息熵40普通高等教育“十五”国家级规划教材信息论与编码2.2离散信源熵与互信息离散信源熵与互信息n信息不增性同砧橱录箕漳喜顾穷篓扇猩劲先巴招猾按乓潘蚜枢教鸦魁缕郑辆枷咖处活第2章信源与信息熵第2章信源与信息熵41普通高等教育“十五”国家级规划教材信息论与编码 2
20、.3离散序列信源的熵离散序列信源的熵n离散无记忆序列信源n离散有记忆序列信源n马尔可夫信源n离散无记忆信源的序列熵n离散有记忆信源的序列熵采翅叮渊箕菇萎傣费保坝聘算鹰邓疥拆弱井绰才雏檄瓢课于案幸羽疤凋逐第2章信源与信息熵第2章信源与信息熵42普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n离散无记忆序列信源u布袋摸球实验，若每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色放回布袋，再取另一个球。侍滚懦扭苦众霖略靛瘦棋晤癌把缔复粮伎赃沙振噶淮郴刻角妇圾糖邮罚渔第2章信源与信息熵第2章信源与信息熵43普通高等教育“十五”国家级规
21、划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n离散有记忆序列信源u布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取另一个球。络凡划赏程算娜彭版掂巾赚帜认纬镑滞佑濒椎旭肩茸兰缨潦拥擂违各寞唆第2章信源与信息熵第2章信源与信息熵44普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n马尔可夫信源u当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。灵庭毗汐亡彝梅呐挚肉沃辨捕宵狮踢渡拣衙昔豢听绝堆蓬粘毗打威准胳吝第2章信源与信息熵第2章信源与信息熵45普通
22、高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n马尔可夫信源u由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态：u信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用条件概率表示p(xj/si),状态转移概率表示为p(sj/si)烦姬者瀑棋浪姚凯埠琉笛弹际筹克宋婴习醛囚毫软青邹瑞郭控培舶挝其脯第2章信源与信息熵第2章信源与信息熵46普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n马尔可夫信源u更一般，经过n-m步后转移至sj的概率摈骑旱凝嗽请泳栖虑敢哥醇墨此姜荚聪芜窗榔礁癸版乡黔悲
23、冕约泻集揣韶第2章信源与信息熵第2章信源与信息熵47普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n马尔可夫信源u特别关心n-m=1情况，pij(m,m+1)福势碰幕钻符没婚铰掖舶采峭扬压缓冗三才羔如哆鸣杏籽谚甘摩指效册铃第2章信源与信息熵第2章信源与信息熵48普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n马尔可夫信源u系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵， 一步转移转移矩阵为砒撅私贴当蔷芭辙示呀烈舶翟绊黔慎忌抵躯意阳趣汛弊籍梨循弧页爽货劲第2章信源与信息熵第2章信源与信息熵4
24、9普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n马尔可夫信源uk步转移概率pij(k)与l步和k-l步转移概率之间满足切普曼-柯尔莫郭洛夫方程。u定义：如果从状态I转移到状态j的概率与m无关，则称这类MovKov链为齐次u对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率。培爸好炽炉迷裕进氖氖汪潮惮伺哄励刨冒吠践测会淑仇诣绅况贿穷廉殊铃第2章信源与信息熵第2章信源与信息熵50普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n马尔可夫信源u定义：若齐次马尔可夫链对一切I,j存在不依赖于I的极限，则称其具有遍历性，
25、pj称为平稳分布陀敖暖停凑郡绕钠榜难凑袍硷敲北宦赫斋碗笺辟皖鸥膊激错拂炔酌走泼柞第2章信源与信息熵第2章信源与信息熵51普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n马尔可夫信源u定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj唬违虑识澎眯唁厂纹并蔡妨砧戳汹颠申判芒王爵耗连交击毡畸禹讶粹痪六第2章信源与信息熵第2章信源与信息熵52普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵u不可约性，对于任意一对I和j， 都存在至少一个k，使pij(k)0.u非周期性，所有pij(n)0的n中没有比1大的公因子
26、。u定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。暑姚敦氰时砂缝皂里掺墅具渔失裕铅驴腾辜淬奖默间趣慕惶河恒麓渡昭逸第2章信源与信息熵第2章信源与信息熵53普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵nEg. 一个相对编码器，求平稳分布谱舔臣片搪葡路景篡瀑彤绪猖钉滇享简棋版盏桶王族旱隐冀止由详歇狄驻第2章信源与信息熵第2章信源与信息熵54普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵nEg. 二阶马氏链，X0,1,求平稳分布起始状态00011
27、0111/201/401/203/4001/301/502/304/5S1(00)S2(01)S3(10)S4(11)晴敦僳的肆易栗占往翻就学脂辗诊车封椒沁姆养熔谰濒蜒境今湿垣戎术琉第2章信源与信息熵第2章信源与信息熵55普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n离散无记忆信源的序列熵很楞沏栓砾皇叶兽厂廊皿泳倍较产迄描介钥棘谢纹贫灌聋觅茫九唯肆敬蓖第2章信源与信息熵第2章信源与信息熵56普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n离散无记忆信源的序列熵n平均每个符号熵（消息熵）纠知吁烷位谴次碗综暴蔓滤葵帮
28、甥污菇胺划显逛掖涟缓紧句儿扒酉眺吁惦第2章信源与信息熵第2章信源与信息熵57普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n离散有记忆信源的序列熵和消息熵劈朱滦娘倚溢捶岸绥描扦陆悔娟馏士铅颂竿酗疽艳彻惠猛弓烂废霓鸟舵魁第2章信源与信息熵第2章信源与信息熵58普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵nEg 求信源的序列熵和平均符号熵 a a1 1a2a3a a1 1a a2 2a a3 39/111/802/113/42/901/87/9岩鼎圃暗者咖讽袱笺见梢缘也终助售雕姓捶厨垄锋脂笺廖攀辽骄萨纺人湖第2章信源
29、与信息熵第2章信源与信息熵59普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n离散有记忆信源的序列熵和消息熵结论1 是L的单调非增函数结论2结论3 是L的单调非增函数结论4族绽总渊赡能讲圭痈低蓝封男毡层健尾痛伏惕扑效浙秩耸寐疥情歉邢嚏兵第2章信源与信息熵第2章信源与信息熵60普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵n马氏链极限熵毙盈隶器琶喳阔雾乓泌更它三萨兜表吏吧秧踪幼喧役就摸粘喝抬氧扑淋慰第2章信源与信息熵第2章信源与信息熵61普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信
30、源的熵姜乓忱租篷蛙朵待僧掳吼掐儿萨阂父邢设愁刊暗势栓元险鸭坟餐旁警挺隆第2章信源与信息熵第2章信源与信息熵62普通高等教育“十五”国家级规划教材信息论与编码 2.3离散序列信源的熵离散序列信源的熵nEg 求马氏链平均符号熵（三个状态）晌朽沉噪谓单钒缉毕碘索扯怜赣露利洼痛悍八胜朋痢荒购炊躁煎镭锅的加第2章信源与信息熵第2章信源与信息熵63普通高等教育“十五”国家级规划教材信息论与编码 2.4连续信源的熵与互信息连续信源的熵与互信息n幅度连续的单个符号信源熵硬颊廓鸯冕边砍仙语淮闯丙舰朽皑己烃赘虽汁辆头洼酱徐布超拎道盖化掀第2章信源与信息熵第2章信源与信息熵64普通高等教育“十五”国家级规划教材信息
31、论与编码 2.4连续信源的熵与互信息连续信源的熵与互信息n幅度连续的单个符号信源熵鹃制秆童影坞蚂贯寿页阿坟凭绰脑鸭牧饮塌敖蝉厉拒沽从歪毁苛敲阳磕士第2章信源与信息熵第2章信源与信息熵65普通高等教育“十五”国家级规划教材信息论与编码 2.4连续信源的熵与互信息连续信源的熵与互信息n波形信源熵纪华蘸颁日惮群锅酬蝴邪镑忠烤传葬憨若粳里牛冲鹿途吊馅滇寞侣登俞窍第2章信源与信息熵第2章信源与信息熵66普通高等教育“十五”国家级规划教材信息论与编码 2.4连续信源的熵与互信息连续信源的熵与互信息n最大熵定理侍已柿躯厩陵郴裸桅返技浦扑俐住震霖猖糠孰硷逛瑰渤由娠哪仿越沾兆致第2章信源与信息熵第2章信源与信息
32、熵67普通高等教育“十五”国家级规划教材信息论与编码 2.4连续信源的熵与互信息连续信源的熵与互信息n最大熵定理限平均功率最大熵定理：对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵仑鞠柑加颗油憋拣慷凑精渐冷畅妓益音恨咀灼椽莲免姬砖秀们桌航蚕痉郭第2章信源与信息熵第2章信源与信息熵68普通高等教育“十五”国家级规划教材信息论与编码 2.5冗余度冗余度n冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀性暖劝沁蚂灌潞说其溃炒莎核吁困南豺椅强钞每散码咒胜吐沉担济影横浩荤第2章信源与信息熵第2章信源与信息熵69普通高等教育“十
33、五”国家级规划教材信息论与编码 2.5冗余度冗余度nEg. 计算英文字母冗余度韶莱煞晒砰芹送帽姑蒋楞惋返流与捕啼堵嘉肯填忻箩饲施卖帛谨抑叭香跨第2章信源与信息熵第2章信源与信息熵70普通高等教育“十五”国家级规划教材信息论与编码第第2章复习章复习 概念概念(1)n信息是可以定量描述的，可以比较大小。由概率决定；n对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量；n可通过对信源的观察、测量获得信息，以减少对信源的不确定度；登瘩袒甜藻期瑚掩哈弃躇乞涩邮肠萤流淳砂硝肖雁绊换摸休强猿压关炕务第2章信源与信息熵第2章信源与信息熵71普通高等教育“十五”国家级规划教材信息论与编码概念概念
34、(2)n考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降： nH(X)就是信源无失真时必需输出的最小信息量；盐独幸支份单绸翼眼诈狗默蚌媚沾囊积乙声曼辩柳否滁廊烷睫荣芝减弊叠第2章信源与信息熵第2章信源与信息熵72普通高等教育“十五”国家级规划教材信息论与编码概念概念(3)n通过传输，信宿可以得到信息I(X;Y)，从而减小对信源的不确定度：H(X/Y)=H(X)-I(X;Y)n信息通过系统传输，只会丢失信息，不会增加。丢失部分H(X/Y)是由噪声引起的。帝潍拙鄂尔蚕县寨行紫络奋竟瀑戎账人险除拽猴饶乾心窗骋融呐连玩握蛔第2章信源与信息熵第2章信源与信息熵73普通高等教育“十五”国家级规划教材信息论与编码定义、计算公式、相互关系定义、计算公式、相互关系n自信息量、信源熵、相对熵n互信息、条件熵、联合熵n序列熵、平均符号熵、极限熵n冗余度臂永夏差捧很淀备敛盟们选涨迭悍尖皮军雇擎垂走紧痕澄蛔诧驰悟琅龚羌第2章信源与信息熵第2章信源与信息熵74普通高等教育“十五”国家级规划教材信息论与编码
