《[工学]信息论基础2012-第二章》由会员分享，可在线阅读，更多相关《[工学]信息论基础2012-第二章（86页珍藏版）》请在金锄头文库上搜索。
1、信息论基础 张张朝阳（朝阳（） 浙江大学信息与电子工程学系 2012春学期 本课程的定位本课程的定位 本课程是信息科学领域电子信息类专业的重要专业基础 课程，主要用以了解和认识一般通信与信息系统的基本 概念、本质规律与性能极限，并掌握其基本的设计方法 和原则，为进一步深入学习和研究通信与信息系统的新 理论与新技术、学习和研究多用户信息论与网络信息论 奠定基础。 本课程的研究内容本课程的研究内容 主要介绍信息的基本概念与度量方法、信源无损 压缩及其编码定理、信道容量及信道编码定理、 率失真理论等内容 绪论 （1学时） 信息的概念和度量：熵和互信息 （7学时） 离散无记忆信源的无损压缩编码 （8学
2、时） 信道、信道容量与信道编码定理 （10学时） 率失真理论与限失真信源编码 （6学时） 本课程的基本要求本课程的基本要求 重点掌握信息的基本概念和基本定理的内涵，了 解信息论的重要思想与方法，关注信息论的典型 应用 课程评价方法（初步设想）： 作业与课堂表现（含点名）：20% 课堂测验（2次）：20% 考试成绩：60% 本课程的教材和参考书本课程的教材和参考书 仇佩亮，张朝阳，谢磊，余官定，信息论与编 码，第二版，高等教育出版社，“十五”国家 级规划教材，2011年 T.M.Cover，Elements of Information Theory， the second edition, W
3、iley，2006. 第二章第二章 熵与互信息熵与互信息 符号系统符号系统 X, Y：随机变量（待观测变量） xk , yj : 变量取值（观测值） ak, bj : 变量取值（观测值） X =xk; k=1,2,K; Y =yj; j=1,2,J: 变量值域 事件：X=xk 或X=ak ; Y=yj 或Y=bj qk=PrX=xk, wj=PrY=yj 概率论基础知识概率论基础知识 ),(,),(yxpYXYX 对联合变量对（二维随机矢量） 0),(jkyxp1),(jk jkyxp)(),(jjk kyyxp)(),(kjk jxqyxp有： )(,)|()|(kjkkjkjxqyxpxX
4、yYPxyp)(),()|()|(jjkjkjkyyxpyYxXPyxp事件的自信息事件的自信息 事件的发生通常会对外界提供信息。人们 对信息的感受与事件发生的概率密切相关 我们将特定事件X=xk发生后给外界带来的 信息量定义为该事件的自信息事件的自信息 )(log )()(kakk xqxIxXI当对数的底a取为2时，自信息的单位为比特（bit）； 当对数底取为e时，单位称为奈特（nat）。 公理化的定义公理化的定义 事件自信息的本质事件自信息的本质 事件发生后对外界（观察者）所提供的信 息量，也是观察者所获得的信息量 事件发生前外界（观察者）为确证该事件 的发生所需要的信息量，也是外界为确
5、证 该事件所需要付出的代价 事件的自信息并不表示事件的不确定性， 事件本身没有不确定性可言，它要么是观 察的假设和前提，要么是观察的结果 事件的条件自信息事件的条件自信息 ),(,),(yxpYXYX )|(log)|(jkajkyxpyxI联合变量： kxX jyY 事件 发生的条件下事件 的条件自信息定义为： 事件事件Y=yj 发生后事件发生后事件X=xk的发生还能再给外的发生还能再给外 界提供的“新”的信息量界提供的“新”的信息量 事件的联合自信息事件的联合自信息 ),(,),(yxpYXYX ),(log),(jkajkyxpyxI联合变量： kxX jyY 所对应的事件 和 联合发生
6、所带来的联合自信息定义为： ),(log),(jkajkyxpyxI事件事件X=xk与事件与事件Y=yj同时发生对外界提供的信息量同时发生对外界提供的信息量 事件的互信息事件的互信息 ),(,),(yxpYXYX 联合变量： kxX jyY 所对应的事件 和 相互之间所提供的互信息定义为： )|(log)(log)()|(log);(jkakakjk ajkyxpxqxqyxpyxI事件互信息的本质事件互信息的本质 )|(log)(log);(jkakajkyxpxqyxI事件X=xk发生后提 供给外界的信息量 事件Y=yj发生后事件X=xk 还能提供给外界的新信息量 事件Y=yj中包含的有
7、关事件X=xk信息量 事件互信息的性质事件互信息的性质 kjjkxyIyxI;);()()|(0),()|(0)()|(0)()|(log);(kjkjkkjkkjkkjk ajkxqyxpyxxqyxpxqyxpxqyxpyxI独立与事件的条件互信息事件的条件互信息 )|()|()|,(log )|(),|(log)|;(zypzxpzyxpzxpzyxpzyxIaa事件事件Z=z已知的条件下事件已知的条件下事件X=x与事件与事件 Y=y相互提供的信息量相互提供的信息量 事件的联合互信息事件的联合互信息 )()()(log)(),|(log),;(yzpxpxyzpxpzyxpzyxIaa事
8、件事件Y=y和和Z=z联合提供的有关事件联合提供的有关事件X=x 的信息量的信息量 事件联合互信息的链式法则事件联合互信息的链式法则 );,()|;();()|;();(),;( xzyIyxzIxyIyzxIyxIzyxI 事件事件Y=y和和Z=z联合提供的有关事件联合提供的有关事件X=x的信息量，等于的信息量，等于 Y=y提供的有关事件提供的有关事件X=x的信息量再加上事件的信息量再加上事件Y=y已知的已知的 条件下事件条件下事件Z=z所提供的有关所提供的有关X=x的新信息量。的新信息量。 变量的平均自信息变量的平均自信息熵熵 XXxax xqxqxIxqXIEXH)(log)()()()
9、( )(我们更关心变量在其取值集合总体上平均 每次观测所能获得的信息量 熵的本质（熵的本质（I） ppxxX121p 1 0.5 1 0 H(p) )( )1log()1 (log )( pHppppXH p越接近于越接近于0或者或者1（X确定确定 性越高），熵越小；性越高），熵越小； p越接近于越接近于0.5（X越不确越不确 定），熵越大定），熵越大 熵的本质（熵的本质（II） 熵是随机变量不确定性的度量 熵是随机变量每次观察结果平均对外界所 提供的信息量 熵是为了确证随机变量的取值外界平均所 需要的与之相关的信息量 条件熵条件熵 XXxx yxpyxpyxIyxpyXH)|(log)|(
10、)|()|()|(以事件Y=y为条件的变量X的熵 以变量Y为条件的变量X的熵 xyyyxpyxpyXHyyXHEYXH)|(log),( )|()( )|()|(Y 疑义度：疑义度：Y已知的条件已知的条件 下下X的剩余不确定性的剩余不确定性 联合熵联合熵 xyyxpyxpyxIEYXH),(log),( ),(),(随机变量X和Y的联合熵（联合不确定性） )|()( )|()(),( YXHYHXYHXHYXH 联合熵的链式法则 NnnnNUUUUHUUUH112121),|(),(熵的性质（熵的性质（I） KK pppxxxX2121 KkkkKkKppHpppHXH121log )(),(
11、)(P熵的性质（熵的性质（II） KkkkKkKppHpppHXH121log )(),()(P熵的性质（熵的性质（III） X2 =A1,A2,A3,B1,B2 X1=A,B （5）可加性）可加性 112211222121()()(|)XXXXH XH XH XX熵的性质（熵的性质（IV） 111()= ( ( ), ( )XH XH P A P B12312222()( ( ), ( ), ( ), ( ), ( )AAABBXH XH P A PP A PP A PP B PP B P对变量对变量X可以进行多步分层的观察，每一步都可从上一步观察可以进行多步分层的观察，每一步都可从上一步观
12、察 结果中得到更为细致的结果，变量结果中得到更为细致的结果，变量X在最后的观察结果集合中在最后的观察结果集合中 的不确定性等于第一次观察结果的不确定性，加上其后每次观的不确定性等于第一次观察结果的不确定性，加上其后每次观 察结果在前一次观察结果已知的前提下的条件不确定性察结果在前一次观察结果已知的前提下的条件不确定性 1122 111231221121(|)()(|)= ( )(,)( )(,)XX xAAABBH XXP x H XxP A H PPPP B H PP 熵的性质（熵的性质（V） KKKKHpppHKKKlog1,1,1),(21 （6）极值性）极值性 KkkkKKqppppH
13、121log),(证明： 对任何概率矢量q均成立。 因为： 1ln xx（因 ） KkKqk, , 2 , 1 ,1令 即得。 熵的性质（熵的性质（VI） （7）凸性）凸性 授课小结授课小结 事件的自信息，条件自信息，联合自信息 事件联合自信息的链式法则 熵的概念及其本质 条件熵，联合熵，联合熵的链式法则 熵的性质 作业作业 复习授课内容 预习2.1.5至2.2.2节 独立完成习题（每章交一次） 2.1 2.2 2.4 2.5 2.6 凸函数（下凸函数凸函数（下凸函数, Convex Function） )(xfx)1 ( )(f)(f)1 ( f 1 , 0 ),()1 ()()1 (fff
14、处取极小值在*)( if , 0)(*xxxfxxfxx凹函数（上凸函数凹函数（上凸函数, Concave Function） )(xfx)1 ( )(f)(f)1 ( f 1 , 0 ),()1 ()()1 (fff处取极大值在*)( if , 0)(*xxxfxxfxx非负凸集上的上凸函数取极大值的充要非负凸集上的上凸函数取极大值的充要 条件条件 0000)(,)()()()(21kkkKKfffKf得极大值的充要条件是处取在则对任一分量连续可导，上的上凸函数，若维非负凸集是定义在概率空间上的上凸函数取极大值的充要概率空间上的上凸函数取极大值的充要 条件条件 00)(,)()()(21kkkKfffKf得极大值的充要条件是处取在任一分量连续可导，则对数，若维概率空间上的上凸函是定义在随机变量间的平均互信息随机变量间的平均互信息 )()|(log);(xpyxpyxIxyxqyxpyxpyxIEYXI)()|(log),();();(二个事件X=x与Y=y之间的相互提供的信息量定义
