《算法合集之《信息论在信息学竞赛中的简单应用》》由会员分享，可在线阅读，更多相关《算法合集之《信息论在信息学竞赛中的简单应用》（36页珍藏版）》请在金锄头文库上搜索。
1、在信息学竞赛中的简单应用,侯启 明,信 息 论,信息论简介,信息论是关于信息的本质和传输规律的科学的理论。 通过它可以很方便地得到某些交互式问题的一个较好的步数下界(“信息论下界”),让我们先来看一些信息论的基本理论,理论基础,定义：如果一个随机变量x共有n种取值，概率分别为p0,p2,pn，则其熵为H(x)=f(p0,p2,pn)=-Cpilogpi 定理1：在得到关于随机变量x的一个熵为h的信息后，x的熵将会减少h。 定理2：当一个随机变量的各种取值概率相等时，它的熵最大。,这些理论看上去和某些题目关系密切，不是吗？那么，具体应该如何运用呢？让我们来看一些例子：,我们宿舍二楼到三楼之间楼梯
2、的窗户外面是相邻的一个平房的房顶。在那一带栖息着三只浑身雪白，有着一只蓝眼睛和一只绿眼睛的,例1：验证一下定理1,猫！,A,B,C,例1：验证一下定理1,在天冷的时候，它们喜欢趴在楼内的暖气上。于是，每只猫就有了两种状态：在屋内和在屋外。因此，三只猫的状态共有8种可能情况，假设它们是等概率的。 现在，我在一楼的小卖部。由于种种原因，我希望知道猫当时的状况，因此，我往上看了一眼，结果发现在这个位置只能知道屋内猫的只数,例1：验证一下定理1,问题1：把所有猫的情况作为一个随机变量x，则当我在小卖部的时候，x的熵是多少？,解答1：由于8种情况的概率相等，所以： H(x)=f(1/8,1/8,1/8,
3、1/8,1/8,1/8,1/8,1/8)=log8,问题2：我看一眼所得到的信息y的熵是多少？,解答2：由于猫的只数共有0,1,2,3四种情况，概率分别为(1/8,3/8,3/8,1/8)，所以： H(y)=f(1/8,3/8,3/8,1/8)=log8-6log3/8,例1：验证一下定理1,问题3：我看完之后，x的熵H(x)是多少？,解答3：此时猫的只数为0,1,2,3的四种情况的概率依次是(1/8,3/8,3/8,1/8)，而每种情况的熵分别为(0,log3,log3,0)，所以此时H(x)的数学期望为： H(x)=1/8*0+3/8*log3+3/8*log3+1/8*0=6log3/8
4、,可以发现H(x)=H(y)+H(x)。 定理1得到了验证。,例2：Rods(IOI2002),一个Rod是一个由至少2个单位正方形连成的水平或竖直的长条。在一个N*N的方阵中，放了水平和竖直两个Rod。如图1，其中Rod用X表示。,图1,例2：Rods(IOI2002),两个Rod可能有公共方格，比如在图1中，方格（4，4）无法确定是仅属于1个Rod还是同时属于两个Rod。因此，在这种情况下我们假定它同时属于两个Rod。这样，图中竖直Rod的上端点是（4，4）而不是（5，4）。,图1,最初我们并不知道两个Rod的位置，你的任务是编程序找出它们的位置。你只能通过库函数rect(a,b,c,d)
5、来定位两个Rod。如果至少一个属于某个Rod的方格落在矩形a,bxc,d (如图1中阴影区域)内的话，rect返回1，否则返回0。,例2：Rods(IOI2002),图1,对每个测试点，如果你的程序没有正确确定两个Rod的位置或调用rect超过400次，你将得到0分。否则，如果调用rect的次数至多为100，你将得到5分；在101到200间，你将得到3分；在201到400间，你将得到1分。,例2：Rods(IOI2002),图1,比赛时我很快想到了一个最多调用rect函数6log2n+C（某个常数）次的方法，但是因为这个数差不多刚好达到100，所以我在这时就开始试图优化上式中log2n的系数，
6、结果徒劳无功，反而耽误了时间。因此，看过答案以后，我试着从信息论的角度分析了一下这个问题：,例2：Rods(IOI2002),6log2n+C?,由于题目中没有涉及到概率，因此假设所有情况都是等概率的。所以，设Rod的摆放方法为随机变量x，x所有可能的取值数为f(n)，那么x的熵H(x)就等于log(f(n)。而由于库函数只有两种返回值，其熵最大为Hmax(y)=log2。因此，rect调用次数的信息论下界就是 L=H(x)/Hmax(y)=log(f(n)/log2=log2f(n),例2：Rods(IOI2002),在n*n的方阵中放1个Rod（无论横竖）共有n*C(n+1,2)种方案，放
7、两个相交的Rod共有C2(n+2,3)种方案，所以：f(n)=(n2(n+1)/2)2-(n+2)(n+1)n/6)2=(2n6+3n5-n4-3n3-n2)/9 当n充分大时： L=log(f(n)/log2log2(2n6/9)6log2n-2.2,例2：Rods(IOI2002),下面讨论f(n)的值：,由于各种原因，不一定总是使两种返回值概率相等，所以最坏情况下的调用次数往往达不到信息论下界，两者大约相差一个常数，因此，可以认为6log2n+C是rect函数最大调用次数的下界。这样，在得到一个这样的算法之后，就没有什么必要再去徒劳地优化步数了。,例2：Rods(IOI2002),6lo
8、g2n+C!,例3：Coins(选手推荐题0024，推荐者饶向荣),有一堆n个硬币，其中有n-1个好的，一个坏的。所有好的硬币的质量是相同的，但坏的硬币的质量却不一样，现在告诉你某一枚是好的，能否用一架天平在k次以内称出哪个是坏的硬币。输入n和k，如果能在k此比较中找到n枚硬币中的哪枚为坏的，就输出POSSIBLE，否则输出IMPOSSIBLE。,例3：Coins(选手推荐题0024，推荐者饶向荣),两年前我的一位远房亲戚曾给我出过一个类似的题目（n=14，k=3），当时我苦苦思索了一晚上，终于想出来一个可行解法。于是，那位亲戚加大了数据规模(n=1101，k=7，IMPOSSIBLE)，我想
9、了大概一周，觉得应该无解，但苦于无法证明我的解法的最优性，始终不能理直气壮地回答“IMPOSSIBLE“。,例3：Coins(选手推荐题0024，推荐者饶向荣),后来她给了我一个“说明“，但我始终觉得不太严密；拿来问我们班的IMO金牌，回答是“显然“，我觉得也不严密:(。于是，这件事就成了我这两年来的一个遗憾。,现在，有了信息论的武器，这个遗憾终于得到了解决!,初步分析,首先，对硬币用1到n进行编号，设坏硬币的编号为x。可以认为x的所有取值情况概率相等： H(x)=logn。 用天平称一次的结果y只有3种可能情况（左边较重，右边较重，平衡） Hmax(y)=log3。 从n个硬币中通过天平找出
10、一个坏硬币至少需要H(x)/Hmax(y)=log3n步,初步分析,下面通过构造证明当知道坏硬币比好硬币轻还是重的时候，这个下界是可以达到的：每次把所有硬币分成三等份，比较其中两份，如果平衡，说明坏硬币在第三份中，否则坏硬币就在重的一份中，这样每次比较得到三种结果的概率相等，H(y)Hmax(y)。所以此时，从n个硬币中找出一个坏硬币只需log3n步。,初步分析,虽然这样，但是在原题的条件下，这个信息论下界是达不到的，不过如果没有这个结论，真正最优的解法的最优性就无从证明。得出这个结论后，后面的困难就迎刃而解了。,请看进一步的分析：,进一步的分析,通过转化，发现只要计算出给出一枚好硬币，k次比
11、较最多在多少枚硬币（不包括给出的好硬币）中找出一枚坏硬币，就可以解决原问题。不过，转化之后的问题仍然难以解决，一枚好硬币实在太少，因此，不妨先将原问题“放大”一下，考虑一下有无穷枚好硬币的情形。,进一步的分析,设在有无穷枚好硬币时，k次比较最多从g(k)个硬币中找出一个坏硬币。 当k=1时，通过枚举可以发现，g(1)=2。,信息论不行的时候，枚举也是必要的。,当k1时：考虑第一次比较，设t为这次没上天平的尚未确定好坏的硬币的个数，下面分情况讨论：,进一步的分析,如果比较结果是“平衡”。由于可以通过剩下的k-1次比较把坏硬币从这t个硬币中找出来，所以t=g(k-1)。如果比较结果不是“平衡”。此
12、时可以确定坏硬币在上了天平的g(k)-t个硬币中，同样，根据结论1，得到g(k)-t=3k-1，故g(k)=g(k-1)+3k-1:,进一步的分析,现在通过构造来证明g(k)=g(k-1)+ 3k-1：第一次比较第1到3k-1号硬币和3k-1个好硬币，分以下情况讨论： 平衡：说明坏硬币在剩下的g(k-1)个硬币中，由g的定义，可以在k-1步内找出。 好球较轻：说明坏硬币就在这些硬币中，且较重，由上文结论，可以在k-1步内找出。 好球较重：与上一种情况类似，不再赘述。,进一步的分析,这样，根据g(k)=g(k-1)+3k-1，计算得出：g(k)=(3k+1)/2。“放大”后的问题解决了，那么原问
13、题呢？我们可以猜想，一个好硬币和无穷多个好硬币是等效的，也就是说，如果设在有一个已知的好硬币的情况下，k次比较最多从f(k)个硬币中找出一个坏硬币，那么f(k)g(k)。,下面进行构造证明,最后的构造,根据计算g(k)时的推理，第一次比较应该有3k-1枚“有嫌疑”的硬币上天平。由于这个数是奇数，所以只好把唯一一枚没有嫌疑的硬币也放上天平，这样就确定了第一次比较的方案。如果比较结果是“平衡”，那么我们就把嫌疑缩小到了g(k-1)个硬币中，而且有了足够的好硬币，很容易通过k-1次比较把坏硬币找出来。,最后的构造,但假如比较结果是“不平衡”呢？此时，坏硬币编号的熵为log3k-1，如果要在k-1次比
14、较内找出坏硬币，那么此后每一次比较结果的熵都得是log3。所以，这次比较得到三种结果的概率必须相等。既然这样，我们不妨来看看这次比较可能得到的三种结果都意味着什么。,最后的构造,和第一次比较相同说明两次比较中坏硬币在天平同侧。 和第一次比较不同说明两次比较中坏硬币在天平异侧。 平衡说明第二次比较中坏硬币没上天平。,最后的构造,因为这三种情况出现的概率相同且必居其一。所以第二次比较时，相对于第一次比较，有3k-2枚嫌疑硬币保持原位，3k-2枚嫌疑硬币换到了另一侧，3k-2枚嫌疑硬币换成了好硬币。而原来那枚好硬币，为了保持天平两边硬币数相等，也只好换到另一侧。这样，第二次比较的方案也被唯一确定了。
15、,稍加分析不难得出后面的步骤。但由于整个过程的形式化描述过于繁琐，故这里不再赘述。,最后的构造,构造完毕！,问题的解决,就这样，在信息论的帮助下，这个困扰了我两年的问题终于解决了。虽然这道题的重点在构造而不是信息论，但信息论在证明解法的最优性时是十分必要的，而且，信息论的分析也在本题如理乱麻的构造过程中起着关键性的指导作用。,总结,细心的读者应该会注意到，本文中的例题不用信息论的知识都可以解决。那么，信息论在这里的意义是什么呢？实际上，作为一种纯粹的理论，信息论是一种可以用来对一类问题进行分析的工具。它可以为我们的解法提供强有力的理论依据，更可以通过估计上下界来指导解法的构造。综上所述，信息论在信息学竞赛中是大有用武之地的。,谢谢大家!,
