第2章 信息的度量 重庆交通大学信息与工程学院通讯工程系李益才2021月 第第2章章 信息的度量信息的度量 2.1 自信息和互信息 2.2 平均自信息 2.3 平均互信息 2.1 自信息和互信息自信息和互信息 几个重要概念自信息：一个事件〔音讯〕本身所包含的信息量，它是由事件的不确定性决议的比如抛掷一枚硬币的结果是正面这个音讯所包含的信息量 互信息：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量平均自信息〔信息熵〕：事件集〔用随机变量表示〕所包含的平均信息量，它表示信源的平均不确定性比如抛掷一枚硬币的实验所包含的信息量 平均互信息：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量 2.1.1 自信息自信息 随机事件的自信息量I(xi)是该事件发生概率p(xi)的函数，并且应该满足以下公理化条件： I(xi),是 p(xi)的严厉递减函数当p(x1)I(x2) ，概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大极限情况下当p(xi) =0时， I(xi) →∞ ；当p(xi) =1时， I(xi) =0。
另外，从直观概念上讲，由两个相对独立的不同的音讯所提供的信息量应等于它们分别提供的信息量之和可以证明，满足以上公理化条件的函数方式是对数方式 2.1.1 自信息自信息•定义2.1 随机事件的自信息量定义为该事件发生概率的对数的负值设事件xi的概率为p(xi)，那么它的自信息定义为 从图2.1种可以看到上述信息量的定义正是满足上述公理性条件的函数方式I(xi)代表两种含义：当事件发生以前， 等于事件发生的不确定性的大小；当事件发生以后，表示事件所含有或所能提供的信息量图2.1 自信息量 2.1.1 自信息自信息自信息量的单位常取对数的底为2，信息量的单位为比特〔bit，binary unit〕当p(xi)=1/2时，I(xi)=1比特，即概率等于1/2的事件具有1比特的自信息量假设取自然对数〔对数以e为底〕，自信息量的单位为奈特〔nat，natural unit〕 1奈特=log2e比特=1.443比特 工程上用以10为底较方便假设以10为对数底，那么自信息量的单位为哈特莱〔Hartley〕1哈特莱=log210比特=3.322比特假设取以r为底的对数(r>1)，那么I(xi)=-logrp(xi)进制单位 1r进制单位= log2r比特 [例] 8个串联的灯泡x1，x2，…，x8，其损坏的能够性是等概率的，现假设其中有一个灯泡已损坏，问每进展一次丈量可获得多少信息量？最少需求多少次丈量才干获知和确定哪个灯泡已损坏。
解：收到某音讯获得的信息量(即收到某音讯后获得关于某事件发生的信息量) ＝不确定性减少的量 ＝(收到此音讯前关于某事件发生的不确定性) - (收到此音讯后关于某事件发生的不确定性) 知8个灯泡等概率损坏，所以先验概率P (x1)＝1/8 ，即第二次丈量获得的信息量第二次丈量获得的信息量 = I [P (x2)] - I [P (x3)]=1(bit)第三次丈量获得的信息量第三次丈量获得的信息量 = I [P (x3)] =1(bit)至少要获得至少要获得3个比特的信息量就可确切知道哪个灯泡已坏了个比特的信息量就可确切知道哪个灯泡已坏了 第一次丈量获得的信息量第一次丈量获得的信息量 = I [P (x1)] - I [P (x2)]=1(bit)经过二次丈量后，剩经过二次丈量后，剩2个灯泡，等概率损坏，个灯泡，等概率损坏，P (x3)＝＝1/2一次丈量后，剩一次丈量后，剩4个灯泡，等概率损坏，个灯泡，等概率损坏，P (x2)＝＝1/4 2.1.2 互信息互信息 •定义2.2 一个事件yj所给出关于另一个事件xi的信息定义为互信息，用I(xi;yj)表示。
•互信息I(xi;yj)是知事件yj后所消除的关于事件xi的不确定性，它等于事件xi本身的不确定性I(xi)减去知事件yj后对 依然存在的不确定性I(xi|yj) •互信息的引出，使信息得到了定量的表示，是信息论开展的一个重要的里程碑 2.2 平均自信息平均自信息 2.2.1 平均自信息〔信息熵〕的概念自信息量是信源发出某一详细音讯所含有的信息量，发出的音讯不同,所含有的信息量也不同因此自信息量不能用来表征整个信源的不确定度定义平均自信息量来表征整个信源的不确定度平均自信息量又称为信息熵、信源熵，简称熵由于信源具有不确定性，所以我们把信源用随机变量来表示，用随机变量的概率分布来描画信源的不确定性通常把一个随机变量的一切能够的取值和这些取值对应的概率 [X,P(X)] 称为它的概率空间 2.2.1 平均自信息〔信息熵〕的概念平均自信息〔信息熵〕的概念•定义2.3 随机变量X的每一个能够取值的自信息I(xi)的统计平均值定义为随机变量X的平均自信息量: •这里q为的一切X能够取值的个数•熵的单位也是与所取的对数底有关，根据所取的对数底不同，可以是比特/符号、奈特/符号、哈特莱/符号或者是r进制单位/符号。
通常用比特/符号为单位 • 普通情况下，信息熵并不等于收信者平均获得的信息量，收信者不能全部消除信源的平均不确定性，获得的信息量将小于信息熵 熵的计算[例]： 有一布袋内放l00个球，其中80个球是红色的，20个球是白色的随意摸出一个球，猜测是什么颜色，那么其概率空间为： 假假设设被告知摸出的是被告知摸出的是红红球，那么球，那么获获得的信息量是：得的信息量是： I (a1) I (a1) ＝－＝－log p(a1) log p(a1) ＝－＝－log0.8= 0.32 log0.8= 0.32 〔比特〕〔比特〕如被告知摸出来的是白球，所如被告知摸出来的是白球，所获获得的信息量得的信息量应为应为：：I (a2) I (a2) ＝＝ －－log p(a2) log p(a2) ＝＝ －－log0.2 = 2.32 log0.2 = 2.32 〔比特〕〔比特〕平均摸取一次所能平均摸取一次所能获获得的信息量得的信息量为为 ：： H(X)= p(a1) I (a1) + p(a2) I (a2) =0.72 H(X)= p(a1) I (a1) + p(a2) I (a2) =0.72〔比特〔比特/ /符号〕符号〕 熵的含义熵是从整个集合的统计特性来思索的，它从平均意义上来表征信源的总体特征。
在信源输出后，信息熵H(X)表示每个音讯提供的平均信息量；在信源输出前，信息熵H(X) 表示信源的平均不确定性；信息熵H(X) 表征了变量X的随机性例如，有两信源X、Y，其概率空间分别为:计算其熵，得：计算其熵，得：H(X)=0.08〔〔 bit /符号〕符号〕 H(Y)=1〔〔bit / 符号〕符号〕H(Y)＞＞H(X)，因此信源，因此信源Y比信源比信源X的平均不确定性要大的平均不确定性要大 [例] 设甲地的天气预告为：晴(占4／8)、阴(占2／8)、大雨(占1／8)、小雨(占1／8)又设乙地的天气预告为：晴 (占7／8)，小雨(占1／8)试求两地天气预告各自提供的平均信息量假设甲地天气预告为两极端情况，一种是晴出现概率为1而其他为0另一种是晴、阴、小雨、大雨出现的概率都相等为1／4试求这两极端情况所提供的平均信息量又试求乙地出现这两极端情况所提供的平均信息量两个信源两个信源 解：甲地天气预告构成的信源空间为:那么其提供的平均信息量即信源的信息那么其提供的平均信息量即信源的信息熵熵: :乙地天气预告的信源空间为乙地天气预告的信源空间为:n n结论结论：甲地天气：甲地天气：甲地天气：甲地天气预预告提供的平均信息量大于乙地，由于乙地告提供的平均信息量大于乙地，由于乙地告提供的平均信息量大于乙地，由于乙地告提供的平均信息量大于乙地，由于乙地比甲地的平均不确定性小。
比甲地的平均不确定性小比甲地的平均不确定性小比甲地的平均不确定性小 甲地极端情况:极端情况1：晴天概率＝1n 结论：等概率分布时信源的不确定性最大，所结论：等概率分布时信源的不确定性最大，所以信息熵〔平均信息量〕最大以信息熵〔平均信息量〕最大极端情况2：各种天气等概率分布 乙地极端情况乙地极端情况:极端情况1：晴天概率＝1n 结论：在极端情况结论：在极端情况2 2下，甲地比乙地提供更多的信息量下，甲地比乙地提供更多的信息量n 由于，甲地能够出现的音讯数比乙地能够出现的音讯数多由于，甲地能够出现的音讯数比乙地能够出现的音讯数多极端情况2：各种天气等概率分布 2.2.2 熵函数的性质熵函数的性质信息熵H(X)是随机变量X的概率分布的函数，所以又称为熵函数假设把概率分布p(xi),i=1,2,…,q，记为p1,p2,…,pq，那么熵函数又可以写成概率矢量P=(p1,p2,…,pq)的函数的方式，记为H(P) 熵函数H(P)具有以下性质： 对称性 阐明熵函数仅与信源的总体统计特性有关 2.2.2 熵函数的性质熵函数的性质p确定性确定性 p 在在概概率率矢矢量量中中，，只只需需有有一一个个分分量量为为1，，其其它它分分量量必必为为0，，它它们们对对熵熵的的奉奉献献均均为为0，，因因此此熵熵等等于于0。
也就是说确定信源的不确定度为也就是说确定信源的不确定度为0p非负性非负性p 对对确确定定信信源源，，等等号号成成立立信信源源熵熵是是自自信信息息的的数数学学期期望望，，自自信信息息是是非非负负值值，，所所以以信信源源熵熵必必定定是是非非负的 2.2.2 熵函数的性质熵函数的性质p扩展性扩展性p 这这个个性性质质的的含含义义是是添添加加一一个个根根本本不不会会出出现现的的小小概率事件，信源的熵坚持不变概率事件，信源的熵坚持不变p延续性延续性p 即即信信源源概概率率空空间间中中概概率率分分量量的的微微小小动动摇摇，，不不会会引起熵的变化引起熵的变化 2.2.2 熵函数的性质熵函数的性质p递增性增性p 这性性质阐明明，，假假设有有一一信信源源的的n个个元元素素的的概概率率分分布布为(p1,p2,…,pn)，，其其中中某某个个元元素素xn又又被被划划分分成成m个个元元素素，，这m个个元元素素的的概概率率之之和和等等于于元元素素的的概概率率，，这样得得到到的的新新信信源源的的熵添添加加，，熵添添加加了了一一项为哪哪一一项由由于于划划分分产生生的的不不确定性 p极极值性：性： p p式中式中n是随机是随机变量量X的能的能够取取值的个数。
的个数p 极极值性性阐明明离离散散信信源源中中各各音音讯等等概概率率出出现时熵最最大大，，这就就是是最最大大离离散散熵定定理理延延续信信源源的的最最大大熵那那么么与与约束束条件有关条件有关 2.2.2 熵函数的性质熵函数的性质p上凸性上凸性: pH(P)是严厉的上凸函数，设是严厉的上凸函数，设p那那么么对对于于恣恣意意小小于于1的的正正数数 有有以以下下不不等式成立：等式成立： p p 凸凸函函数数在在定定义义域域内内的的极极值值必必为为极极大大值值，，可可以以利用熵函数的这个性质可以证明熵函数的极值性利用熵函数的这个性质可以证明熵函数的极值性 2.2.2 熵函数的性质熵函数的性质 二进制信源是离散信源的一个特例 该信源符号只需二个，设为“0〞和“1〞符号输出的概率分别为“〞和“1- 〞，即信源的概率空间为：H(X) = - log –(1- ) log(1- ) =H( ) 即信息熵即信息熵H(x)是是 的函数 取值于取值于[0，，1]区间，可区间，可画出熵函数画出熵函数H( ) 的曲线来的曲线来，如右图所示。
如右图所示 2.2.3 结合熵与条件熵结合熵与条件熵 一个随机变量的不确定性可以用熵来表示，这一概念可以方便地推行到多个随机变量 定义2.4 二维随机变量 XY的概率空间表示为 其中 满足概率空间的非负性和完备性： 2.2.3 结合熵与条件熵结合熵与条件熵二维随机变量XY的结合熵定义为结合自信息的数学期望，它是二维随机变量XY的不确定性的度量 定义2.5 给定X时，Y的条件熵：其中，H(Y|X)表示知X时，Y的平均不确定性 2.2.3 结合熵与条件熵结合熵与条件熵各类熵之间的关系结合熵与信息熵、条件熵的关系： 这个关系可以方便地推行到N个随机变量的情况： 称为熵函数的链规那么推论：当二维随机变量X，Y相互独立时，结合熵等于X和Y各自熵之和： 条件熵与信息熵的关系：结合熵和信息熵的关系： 当X、Y相互独立时等号成立 2.3 平均互信息平均互信息2.3.1 平均互信息的概念 为了从整体上表示从一个随机变量Y所给出关于另一个随机变量X的信息量，我们定义互信息I(xi;yj)在XY的结合概率空间中的统计平均值为随机变量X和Y间的平均互信息：定义2.6 2.3.2 平均互信息的性质平均互信息的性质 非负性:平均互信息是非负的，阐明给定随机变量Y后，普通来说总能消除一部分关于X的不确定性。
互易性〔对称性〕：对称性表示Y从X中获得关于的信息量等于X从Y中获得关于的信息量平均互信息和各类熵的关系: 当X,Y统计独立时， 2.3.2 平均互信息的性质平均互信息的性质极值性：极值性阐明从一个事件提取关于另一个事件的信息量，至多只能是另一个事件的平均自信息量那么多，不会超越另一事件本身所含的信息量凸函数性: 定理2.1 当条件概率分布 给定时，平均互信息 是输入分布 的上凸函数 定理2.2 对于固定的输入分布 ，平均互信息量 是条件概率分布 的下凸函数 图中两圆外轮廓表示结合熵H(XY)，圆(1)表示H(X)，圆(2)表示H(Y)，那么H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)H(X)≥H(X/Y)，H(Y)≥H(Y/X)I(X;Y)=H(X)－H(X/Y)=H(Y)-H(Y/X) =H(X)+H(Y)-H(XY)H(XY)≤H(X)+H(Y)假设X与Y相互独立，那么I(X;Y)=0H(XY)=H(X)+H(Y)H(X)=H(X/Y)，H(Y)=H(Y/X) 2.3.3 数据处置定理数据处置定理为了证明数据处置定理，引入三元随机变量X,Y,Z的平均条件互信息和平均结合互信息的概念。
定义2.7 平均条件互信息 它表示随机变量Z给定后，从随机变量Y所得到得关于随机变量X的信息量定义2.8 平均结合互信息 它表示从二维随机变量YZ所得到得关于随机变量X的信息量 2.3.3 数据处置定理数据处置定理定理2.3 〔数据处置定理〕假设随机变量X,Y,Z构成一个马尔可夫链，那么有以下关系成立： 等号成立的条件是对于恣意的X,Y,Z，有 数据处置定理再一次阐明，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息，假设一旦在某一过程中丧失一些信息，以后的系统不论如何处置，如不触及丧失信息的输入端，就不能再恢复已丧失的信息，这就是信息不增性原理，它与热熵不减原理正好对应，反映了信息的物理意义 。