《第二章信息的统计度量》由会员分享，可在线阅读，更多相关《第二章信息的统计度量（7页珍藏版）》请在金锄头文库上搜索。
1、第二章 信息的统计度量我们上网时经常会发现我们的网速为100.0Mbs,它表示的是什么意思呢？它表示的是网络在一秒内可以传输10M个二进制位，如果信息编码效率为10%（在理想情况下)而传输又没有错误，则在一秒内可以传输100比特的信息。于是我们自然想知道诸如小说红楼梦包含多大的信息量之类问题的答案（因为它可以告诉我们需要多长时间把这本小说下载下来.）设一个事件发生的概率为申农（他是信息理论的创始人）发现：该事件的信息量可表示为:(这里表示的是:，是某个大于1的实数，我们要讲的是：的大小是不确定的，是与有关的（因为单位不确定）,如果单位为比特，则)。它表明：一个消息所包含的信息量的大小与它发生的
2、概率大小之间是对数关系.该定义的发现过程包括两个部分：（一):在实际中发现：。(二)：在数学上发现如果函数具有性质：，则它可表示为如下形式：。先来看（一)：（一）：我们发现当事件与统计独立而事件表示事件与的联合事件的时候，有： .以摸彩票为例子说明：设总共发行了一亿张彩票,设为：“彩票A的前四位号码为000，为:“彩票的后四位号码为000”，联合事件为：“彩票A的号码为000000”。则显然有：.于是由(一)得到(把特殊情形的结果推广到一般情形下的结果）:(（二)发现了函数的性质，接下来要利用该性质得到它的表示式）（三）：我们要证明这样一个结论：若函数满足:（它考虑的是三个不同的自变量的函数值
3、之间的关系），则可如下表示：（它考虑的是函数值与自变量之间的关系).证明：设,我们可找到，使得。因此下面我们要做的其实是：证明对于有：.也即对任意的有:这个证明有三个步骤：第一步要证明:对任意有：(它考虑的是两个不同的自变量的函数值之间的关系）.证明的主要思想是:数学归纳法（每次让：设,令，则有：。这样设我们就得到:。第二步要证明对任意的正有理数,均有:。这一步的技巧有两个:（1）把有理数表示成如下形式：,这样一来只需证明：。（）:构造一个中间变量：令，这样一来我们得到：。这里的第3个技巧是：要能从认识到:。（从这个结果我们认识到：这样设我们就可以得到：。第三步:要证明对任意的正实数,均有：。
4、技巧是把实数b处理成有理数的极限。设(这里为有理数），则有：前面我们讲了定理:如果满足：并且连续，则可表示为：的证明，现在我们来讨论我们如何欣赏这个证明中包含的技巧:首先我们要认识到：。注意:是从给出函数的表达形式这个角度来表述函数的性质，而是从任意两个自变量对应的函数值之间的关系这个角度来表述函数的性质。证明的思路是首先认识到：不是一个完全确定的表达形式，因而总可找到一点:使得：,而由特殊的推广到一般的的关键技巧是要找到任意的与特殊的之间的关系（可以表示成：)，这样就得到:。这一步我们有两点体会:我们可以从多种不同的角度来描述一个函数的性质，要善于发现不同的数之间的内在联系（如可表示成：这种
5、形式）.现在我们来看如何证明，都有：。我们要认识到：自然数 正有理数 正实数。于是我们自然会有这样一种想法：（)先证明：，都有：；（2)再证明：对任意有理数都有：；（3)最后证明:，都有:。设,（1）要证明:（2）要证明：()要证明：也就是完成如下三步：(1）:（2): （）：。在证明过程中我们主要要有变化的思想（因为这里的是任意的，因而可以是变化的）。先看（):令得到：,令得到:.令得到：而合起来就得到：。（这里我们的基本想法是:让固定而让之间的关系不断变化。这里我们也要体会到归纳法的基本想法把一个复杂的问题分解为若干个简单问题。)再看（2）：的证明:我们要理解:中的既可以是:本身，也可以是
6、，这样我们就得到:与从而得到：。再看（3）：的证明：这里我们要认识数学分析中的无穷小分析方法:我们可以通过证明两个数之间的距离为无穷小来证明这两个数相等，也就是说:通过证明任意小来证明(若不相等，则大于某个固定的正数）对任意的，存在使得：并且，利用这一点，我们可得到:,从而得到：。信息量的单位一般采用比特,这时.上面谈了如何描述单个随机事件的信息量的定义。设是一个随机事件集合，而是其中的一个随机事件且发生的概率为,则该事件发生后带给的信息量为：.在大多数情况下，我们要知道的信息都不是单个的信息，而是联合信息（而且这些信息存在相关关系）.如我们对一个人的了解就包括他的身高、体重等等，对一个人成绩
7、的了解就包括他各个单科的成绩。现在我们就考虑这个问题：（a）：首先我们举例说明什么是联合事件：事件a：“A是中国人且是数学家”就是 事件b “A是中国人”与事件c “A是数学家”的联合事件。两个随机事件的联合自信息量的定义二维联合集上的元素的联合自信息量定义为:（在这里,我们要把本身看做一个事件。对于两个有关系的随机事件，我们主要考虑两个问题:（1） 当一个事件已经发生后，它会给出关于另一个还没发生的事件多少信息量？（2）当一个事件已经发生后，另一个还没发生的事件还剩下多少信息量?举一个例子来说明：假设总共有2支球队参加比赛，现在有两个消息：消息A:“中国女排前天已进入前两名”消息B：“中国女
8、排今天成为冠军则我们知道，对于一点都不知道中国女排水平的人来说,消息包含的信息量是：，而当他知道消息A后，消息B包含的信息量只有:，而消息给出了关于消息B包含的部分信息量。对于两个离散随机事件集合和，事件的出现给出关于事件的信息量定义为：.联合集中，事件在事件给定的条件下的条件自信息量为：。上面的重点是要理解：联合自信息量、互信息量、条件自信息量三者之间存在如下两个关系： (或)。此外,还有如下两个性质:.与统计独立。.通过上面的讨论,我们对这样一些事情有了理解：我们知道同一个消息对于不同的人来说,所包含的信息量不一样的的原因在于:该信息量是条件自信息量,而不是独立自信息量。假设要在网上传输一
9、封信，设在汉字中一个字为“我”的概率为002，为“们”字的概率为0.01,则我们知道，消息 该信中某个字为“我”的自信息量为比特，消息该信中某个字为“们”的自信息量为比特，再设字“我的下一个字为“们字的概率为.，而假设已经我们知道该信中某个字为“我”，则消息该信的第个字为“们在消息该信的第个字为“我”发生的条件下的条件自信息量为比特.而两个消息之间的互信息量等于:比特。上面我们介绍的信息量都考虑的是某个消息或某个事件本身的信息量，在实际中我们用得更多的是另外一种信息量：平均信息量.如一个人买了一张彩票，他可能告诉我们“中了大奖（设概率为）,也可能告诉“没中大奖”。不论他告诉我们什么，我们都会得到一个信息量。如果我们把这个信息量按如下方式进行平均，我们就得到一个平均信息量:。我们就得到平均自信息量的概念。定义：集上，随机变量的数学期望(平均自信息量)定义为：比特.文中如有不足，请您见谅！ /
