《信息论讲义-第二章》由会员分享，可在线阅读，更多相关《信息论讲义-第二章（82页珍藏版）》请在金锄头文库上搜索。
1、第二章第二章 信息的统计度量信息的统计度量内容提要内容提要 2.1 自信息量自信息量和和条件自信息量条件自信息量 2.2 互信息量互信息量和和条件互信息量条件互信息量 2.3 离散集的平均自信息量离散集的平均自信息量 2.4 离散集的平均互信息量离散集的平均互信息量 2.5 连续随机变量连续随机变量的的互信息互信息和和相对熵相对熵 1概概率率复复习习贝叶斯贝叶斯公式公式2概概率率复复习习贝叶斯贝叶斯公式公式全概率全概率公式公式32.1 2.1 自信息量和条件自信息量自信息量和条件自信息量2.1.1 自信息量 简单事件 联合事件2.1.2 条件自信息量45信息的特性信息的特性事件（消息）的信息量
2、大小与其不确定度（概率）事件（消息）的信息量大小与其不确定度（概率）有关有关事件概率越小，信息量越大事件概率越小，信息量越大确定性事件的信息量为零，不可能事件的信息量确定性事件的信息量为零，不可能事件的信息量为无穷大为无穷大信息量具有可加性信息量具有可加性6 信信息息的的定定量量化化，首首先先是是19281928年年HartleyHartley研研究究了了具具有有 个个组组合合的的信信息息源源（即即由由N N种种m m位位符符号号所所构构成成的的信信源源），它给出了最早的信息度量公式：，它给出了最早的信息度量公式： 这一度量公式给后来这一度量公式给后来ShannonShannon建立概率信息的
3、度量建立概率信息的度量公式有很大的启发，仙农保留了对数度量的合理公式有很大的启发，仙农保留了对数度量的合理性，并将它从特殊的非概率（等概率）情况推广性，并将它从特殊的非概率（等概率）情况推广到一般的不等概率信源。下面将从直观概念来推到一般的不等概率信源。下面将从直观概念来推广：广： 7对对于于单单个个消消息息信信源源U U，发发送送某某个个消消息息 ，对对应应概概率为率为 ，这时信源输出的信息量为，这时信源输出的信息量为I I，则有：则有：8小小概概率率事事件件，一一当当出出现现必必然然使使人人感感到到意意外外，因因此此产产生生的的信信息息量量就就越越大大；几几乎乎不不可可能能事事件件一一当当
4、出出现现，将将是一条爆炸性的新闻，一鸣惊人。是一条爆炸性的新闻，一鸣惊人。大大概概率率事事件件，是是预预料料之之中中的的，即即使使发发生生，也也没没什什么么信信息息量量，特特别别是是当当必必然然事事件件发发生生了了，它它不不会会给给人人以以任何信息量。任何信息量。另另外外，从从直直观观概概念念上上讲讲，由由两两个个不不同同的的消消息息（相相对对独独立立）所所提提供供的的信信息息应应等等于于它它们们分分别别提提供供的的信信息息之之和，即满足可加性：和，即满足可加性：I (A B) = I (A) + I (B)I (A B) = I (A) + I (B)9由对概率的递降性和可加性可以导出这类函
5、由对概率的递降性和可加性可以导出这类函 数应是概率的对数函数：数应是概率的对数函数：称称 为单个消息信源的非平均自信息量。为单个消息信源的非平均自信息量。102.1.1 自信息量自信息量自信息量自信息量 任意任意简单随机事件简单随机事件xi的发生概率为的发生概率为p(xi)，则自信息量为则自信息量为 一、简单事件一、简单事件释： p(xi) 1， 表示事件表示事件xi出现的概率出现的概率, 取取“-”号的主要目的是：使号的主要目的是：使I(xi) 011 自信息量的单位自信息量的单位 以以2 2为底：为底： 比特（比特（bitbit） (binary unit) (binary unit) 以
6、以e e为底：为底： 奈特（奈特（natnat） (nature unit) (nature unit) 以以1010为底：为底： 哈脱来（哈脱来（HartHart） (Hartley) (Hartley) 换算关系：换算关系： 1 1 natnat 1.443 bit 1.443 bit 1 Hart 1 Hart 3.322 bit 3.322 bit 一般取以一般取以2 2为底，为底，1 1 bitbit的的信息量就是二元概率信息量就是二元概率空间在等概时的每个事件蕴含的自信息量。空间在等概时的每个事件蕴含的自信息量。 注：计算机技术中的术语注：计算机技术中的术语“比特比特”表示一个二表
7、示一个二元数字，每个二元数字所能提供的最大平均信息量元数字，每个二元数字所能提供的最大平均信息量为为1 1比特。比特。12例例英文字母中英文字母中“e”e”的出现概率为的出现概率为0.1050.105，“c”c”的出现概率为的出现概率为0.0230.023，“o”o”出现的概率为出现的概率为 0.001 0.001。分别计算它们的自信息量。分别计算它们的自信息量。解：根据自信息量的定义解：根据自信息量的定义“e”e”的出现的信息量为的出现的信息量为“c”c”的出现的信息量为的出现的信息量为“o”o”的出现的信息量为的出现的信息量为注：掌握换底公式注：掌握换底公式13自信息量函数的图形从函数图形
8、可以看出自信息量的哪些特性呢？14例：例： 相互独立事件相互独立事件X=xX=x1 1,Y=y,Y=y1 1同时发生，其发生概率为同时发生，其发生概率为 p( X=xp( X=x1 1,Y=y,Y=y1 1）=p(x=p(x1 1)p(y)p(y1 1) )，而而 f f 满足：满足： f(p( X=xf(p( X=x1 1,Y=y,Y=y1 1）)= f(p(x)= f(p(x1 1)+f(p(y)+f(p(y1 1)（1 1）单调性：）单调性： p pi i f(pf(pi i) ) （2 2）f(pf(pi i) ) 非负非负 f(pf(pi i) 0) 0：任何随机事件发生存在不确定性
9、。任何随机事件发生存在不确定性。（3 3）可加性）可加性多随机事件同时发生（相互独立）存在的总不确定性多随机事件同时发生（相互独立）存在的总不确定性的量度是可以表示为各事件不确定性的量度的和。的量度是可以表示为各事件不确定性的量度的和。思考：当两思考：当两个事件不相个事件不相互独立时如互独立时如何计算？何计算？152.1.1 自信息量（续）自信息量（续）联合自信息量联合自信息量 二维联合集二维联合集XY上元素上元素( xi yj ) 的自信息量定义为的自信息量定义为二、联合事件二、联合事件其中，其中，xiyj 是积事件；是积事件； p( xiyj) 是二维联合概率是二维联合概率162.1.2
10、条件自信息量条件自信息量条件自信息量条件自信息量 若若事件事件xi在在事件事件yj给定条件下的概给定条件下的概率为率为p(xi| yj)，则其条件自信息量定义为则其条件自信息量定义为思考：因为因为p(xi| yj) 1 ，所以条件自信息量非负所以条件自信息量非负 即：即：I(xi| yj) 0。答案：大于、小于、等于三种情况都有可能！17例：设在正方形棋盘上共有例：设在正方形棋盘上共有6464个方格，如果甲将个方格，如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子的所在位置：测棋子的所在位置： （1 1） 将方格按顺序编号，令乙猜测棋子所将方格按顺
11、序编号，令乙猜测棋子所在方格的顺序号在方格的顺序号, ,求相应联合自信息量；求相应联合自信息量； （2 2） 将方格按行和列编号，甲将棋子所在将方格按行和列编号，甲将棋子所在方格的行（或列）编号告诉乙之后，再令乙猜方格的行（或列）编号告诉乙之后，再令乙猜测棋子所在列（或行）的位置测棋子所在列（或行）的位置, ,求相应条件自求相应条件自信息量。信息量。 182.2 2.2 互信息量和条件互信息量互信息量和条件互信息量2.2.1 互信息量 定义 性质2.2.2 条件互信息量192.2.1 互信息量互信息量一、互信息量定义一、互信息量定义 对对两个两个离散随机事件集离散随机事件集X和和Y，事件事件y
12、j的出现的出现给出给出关于关于事件事件xi的信息量，其定义式为的信息量，其定义式为I(xi ; yj)物理意义：物理意义：互信息量是一种互信息量是一种消除的不确定性的度量。消除的不确定性的度量。互信息量互信息量=先验先验先验先验的不确定性的不确定性-尚存在尚存在尚存在尚存在的不确定性的不确定性。香农信息香农信息基本定义基本定义20 例例: :某人某人A A预先知道他的三位朋友预先知道他的三位朋友B,C,DB,C,D中必定会中必定会有一人于某晚要到他家来有一人于某晚要到他家来, ,并且这三人来的可能并且这三人来的可能性均相同性均相同, ,其先验概率为其先验概率为 p(B)=p(C)=p(D)=1
13、/3.p(B)=p(C)=p(D)=1/3.但是这天上午但是这天上午A A接到接到D D的电的电话话, ,说因故不能来了说因故不能来了. .我们把上午这次电话作为事我们把上午这次电话作为事件件E,E,那么计算后验概率那么计算后验概率p(D|E),p(B|E),p(C|E).p(D|E),p(B|E),p(C|E).21 这天下午这天下午, ,A A又接到又接到C C的电话的电话, ,说他因今晚要出席一说他因今晚要出席一个重要会议不能来个重要会议不能来A A家。我们把下午这一次电话家。我们把下午这一次电话作为事件作为事件F F，那么有后验概率那么有后验概率p(C|EF),p(D|EF)p(C|E
14、F),p(D|EF)和和p(B|EF).p(B|EF). 求接到上午电话后，求接到上午电话后，A A获得关于获得关于B,C,DB,C,D的互信的互信息量；接到两次电话后，息量；接到两次电话后，A A获得关于获得关于B,C,DB,C,D的互信的互信息量；息量；22设某班学生在一次考试中获优（设某班学生在一次考试中获优（A）、）、良（良（B）、）、中（中（C）、）、及格（及格（D）和不及格（和不及格（E）的人数相等。当教师通知某甲：的人数相等。当教师通知某甲：“你没有不及格你没有不及格”，甲获得了多少比特信息？为确定自己的，甲获得了多少比特信息？为确定自己的成绩，甲还需要多少信息？成绩，甲还需要多
15、少信息？例例解：解： 令令P(A)P(A)表示表示“得到老师通知前甲的成绩的不确定性（概率）得到老师通知前甲的成绩的不确定性（概率）” ” P(A|B)P(A|B)表示表示“得到老师通知后甲的成绩的不确定性（概率）得到老师通知后甲的成绩的不确定性（概率）”则则 P(A)=1/5P(A)=1/5， P(A|B)=1/4 P(A|B)=1/4总的需要总的需要信息信息剩余信息剩余信息获得信息获得信息232.2.1 互信息量（续）互信息量（续）二、互信息量的性质二、互信息量的性质（1）互易性）互易性 由事件由事件yj提供的有关事件提供的有关事件xi的信息量等于由事的信息量等于由事件件xi提供的有关事件
16、提供的有关事件yj的信息量。的信息量。（2）互信息量可为零）互信息量可为零 当事件当事件xi, yj 彼此彼此统计独立统计独立， I(xi ; yj)= 0。 表明：当事件表明：当事件xi 同同 yj相互独立时，相互独立时，不能不能通过对通过对事事件件yj的观测的观测获得关于另一获得关于另一事件事件xi的任何信息的任何信息。242.2.1 互信息量（续）互信息量（续）（3）互信息量小于自信息量）互信息量小于自信息量 任何两个事件之间的互信息量不可能大于其中任任何两个事件之间的互信息量不可能大于其中任一事件的自信息量一事件的自信息量。 I(xi ; yj) I(xi ) (I(xi ; yj) = I(xi )- I(xi| yj) I(xi ; yj) I(yj)物理意义物理意义 表明：表明：自信息量自信息量I(xi)是为了确定事件是为了确定事件xi的出的出现所必需提供的信息量，也是任何其他事件所能现所必需提供的信息量，也是任何其他事件所能提供的关于事件提供的关于事件xi的的最大最大信息量。信息量。252.2.1 互信息量（续）互信息量（续）（4）互信息量）互信息量I(xi ; yj)
