《第4讲 自信息》由会员分享，可在线阅读，更多相关《第4讲 自信息（6页珍藏版）》请在金锄头文库上搜索。
1、第 4 讲 自信息这一讲我们将定义消息和随机事件所含的信息量。1. 自信息香农认为，信息可以消除我们对于事物认识上的不确定性，越不可能发生的事情一旦发 生就可以消除较大的不确定性，所以应当含有较多的信息。由此，香农认为，应当用事件的 发生概率确定该事件所含的信息量，概率越小的事件所含的信息量越大，而必然事件的信息 量最小，指定为 0。(本人猜测：也许真正的因果关系是，信息量决定着事件的发生概率，信息量较少的事 件更容易发生。)定义11事件或者消息A的自信息(self-information)定义为I(A)log1P (A)其中p为A的概率，对数底默认为2,单位为比特(bit)。比特是二进制符号
2、的单位，香农将它转用为信息量的单位。国家标准和国际ISO标准 中，信息的基本单位是Sh,翻译为“香农”事实上根据规定可知，1 香农=1 比特。还有其它单位：当对数底取10时，对应的信息单位为hart，译为“哈特”因此，1哈特=loglO比特当对数底取e时，对应的信息单位为nat,译为“奈特”我们有1奈特=loge比特一般地，当对数底为r1时，自信息的单位为“r-进制单位”。换算关系如下：r-进制单位=log r比特自信息的物理意义(1) 是随机事件发生所提供的信息量。(2) 反映了随机事件的不确定性大小。定理 1.2(自信息的性质)1. 单调性：I(A)是概率p(A)的严格递减函数。2. 非负
3、性：I(A)203. 可加性：若两个事件A与B相互独立，则积事件AB的信息量为I(AB)=I(A)+I(B)例1.3 今有12枚外观相同的金币，其中有1枚重量不同的伪币。需获得一定的信息才能找 出这枚伪币，如下各消息分别提供多少信息量？(1 ) 消息 1 ：伪币在 12 枚金币中。(2) 消息 2：伪币在第1 至 6号金币中。(3) 消息 3：第 3 枚是伪币。(4) 一种获得信息的方法是用无砝码的天平称量两组金币，可以比较出两组金币的重量。每次称量有三种可能结果，即左盘轻，右盘轻，两盘重量相同。现在我们将 这12枚金币等分为两组，试计算三种称量结果的信息量。(5) 左右两边各放上4 枚金币，
4、试计算三种称量结果的信息量。2. 自信息定义的合理性定理21 (自信息定义的合理性)任何满足定理1.2中上述3条性质的函数1(A)定可表示 为如下形式：I (A) = logr1P( A)(r 1)证毕证明 令x=p(A)且f(x)=I(A).应用下列引理可立刻证明本定理。引理设实函数fx), 0x 0.2. fx)是严格单调减函数，即若xvy,则fx)fy).3. f(xy)=f(x)+f(y)则存在常数r1使得fx)二 log -rx证明：根据条件 3 可得f(xk)=kf(x)从而f(-)=0o根据f的单调递减性，对于任何00。令0xy 0，存在n 使得yn+ixkyn，从而(1)方面，
5、根据f的单调性，有n +1 log x nk log2 y k再根据(1)，可得f ( yn+1) f (xk ) f ( yn )n +1 f (x) n k f (y)k比较上述两组不等式可得,f (x) log x 1 2 f (y) log y k 2 I因为k可以任意大，故有f (x)二 log2 xf(y) log2 y2从而，对于任何0 xy 1，f (x)二 f (y) log x log y 22因此，存在常数cvO,对于任何0x1,对于任何0I(x) ？在什么时候有I(x| y)= I(x) ？链法则：根据定义可得I (xy) = I (x) +1(y | x)更一般地，I
6、(x x ) = I(x ) +1(x |x )+1(x |x x )1 n121n 1n1例3.2在例1.3的伪币称量问题中，令事件=伪币在1-6号金币中，y=伪币在4-7号金币 中。试计算 I(x), I(y), I(xy), I(x|y) 和 I(y|x) 。4. 互信息定义41两个随机事件x与y的互信息(mutual information)定义为I (x ; y ) = I (x)+1 (y )-1 (xy )物理含义：(1) x中包含的关于y发生的信息。(2) y中包含的关于x发生的信息。两个事件之间的相互依赖性(或者相关性)：(1) 相互独立：一事件的发生不对另一事件有任何影响，
7、即p(xy)=p(x)p(y),此时互信 息I(x;y)=0,表明事件x不能提供关于y发生与否的任何信息。(2) 正相关：一事件的发生有利于另一事件的发生，即 p(xy)p(x)p(y)， 此时互信息 I(x;y)0，表明x可以提供y发生的信息。(3) 负相关：一事件的发生不有利于另一事件的发生，即 p(xy)p(x)p(y)， 此时互信息 I(x;y)0，表明x可以提供y不发生的信息。自信息的名称来源： I(x;x)=I(x)例 42 接例 3.2，试计算 I(x;y)。例 431) 已知在英语文章中字母a出现的概率为0.064, c出现的概率为0.022,分别计算它们的 自信息量。I(a)
8、 = -log 0.064 = 3.96 bit2I(c) = -log 0.022=5.51 bit22) 假定前后字母出现是互相独立的，计算字母组合ac出现所提供的信息量。I(ac) = 一log20.064 x 0.022 = 3.96 + 5.51 = 9.47 bit3）假定当a出现后，接着出现c的概率为0.04.试计算ac中c所提供的不在a中的信息 量。I（c I a）二一log20.04 = 4.64 bit补充练习1. 在例2.3的伪币称量问题中，若用天平比较两枚金币的重量，则三种结果的信息量分别是多少？2. 在掷色子游戏中，当得知两个色子的点数之和为3时获得多少比特的信息？3. 已知平均100人中有2人患有某种疾病，为了查明病情，必须进行某项指标的化验。这 种化验的结果对于有病的人总是阳性的，对于健康的人来说有一半可能为阳性、一半 可能为阴性。若x表示有这种病，y表示化验结果为阳性，试计算I（xIy）与I（x;y）并说明 其含义。作业1 课本第63 页习题2.3, 2.4 和 2.5.2.试证明1（x；y）=1（x）-1（x 1 y）
