《毁灭的发动机介绍》由会员分享，可在线阅读，更多相关《毁灭的发动机介绍（32页珍藏版）》请在金锄头文库上搜索。
1、第三部 危险和希望第十一章 毁灭的发动机我毫不怀疑地球上最可怕的军队是由那些小到不可见的士兵组成的。WILLIAM PERRY，关于细菌，1640可复制组装机和思维机器会对地球上的人类和生物产生根本性威胁。今天的生物的能力离可能的极限还很远，但是我们的机器进化得比我们要快。在几十年内它们很可能就会超过我们。除非我们学会如何安全地和它们共生，否则我们的未来将既是令人激动的又是短暂的。我们不能希望预见所有未来的问题，但是我们可以通过注意最大的，最基本的问题来预见最大的挑战，以便做好准备。整本书毫无疑问都在写即将到来的社会剧变：当组装机和自动工程消除了大部分的国际贸易的需求时，全球秩序将产生怎样的变
2、化？当个人能独立地生存时社会将怎样变化？当可复制组装机可以做任何事而不需要任何人类劳动时我们将做什么？当AI系统可以思考得比人脑还快时我们将怎么做？（在它们做出结论说人类什么也干不了之前，作者们应该想想跑步者会怎样看待汽车，画家怎样看待照相机）事实上，作者们已经预见到和开始讨论这些问题了。它们每一个都非常重要，但是比它们更基本的是生命和自由的存在。毕竟，如果生命和自由被消灭了，那么我们的关于社会问题的思考就失去了物质基础。机器的威胁在第四章中，我描述了在我们的正确控制下可复制组装机能为我们做什么。由燃料和阳光作动力，它们可以做几乎任何事情（包括生产它们自己），而使用普通的原料。活的生物也是由燃
3、料和阳光作动力的，也是使用普通原料生产更多的自己。但是和基于组装机的系统不一样，它们不能制造“几乎任何东西”。基因的进化使得生命受限于一个基于DNA，RNA，和核糖体的系统，而拟子的进化将带来基于纳米计算机和组装机的类生命机器。我已经描述了组装机制造的分子机器和核糖体制造的生命机器有什么区别。组装机将能制造所有核糖体能造的，甚至更多。从进化的观点来看，这会产生对水獭，人类，仙人掌，和蕨类植物对富饶的生物圈和所有我们珍视的东西的显著的威胁。早期的晶体管计算机很快就击败了最好的真空管计算机，因为它们基于更高级的装置。同样道理，早期的基于组装机的复制机也将击败最先进的生物。不比我们现在的太阳能电池效
4、率更高的“植物”和“树叶”将使真正的植物出局，并挤满生物圈。坚韧的，什么都能吃的“细菌”将使真正的细菌出局：他们将象花粉那样随风传播，迅速地复制，在几天内把生物圈变得尘土覆盖。危险的复制机很容易变得结实，微小，并快速散布使我们无法阻止如果我们不做准备的话。而我们对付病毒和果蝇已经够费劲的了。在纳米技术专家中，这种威胁被看作是“灰色粘性物问题”。虽然大堆的失控复制机不一定是灰色或粘性的，“灰色粘性物”还是强调了可以湮没生命的复制机可能类似于某种杂草。从进化的角度来说，它们可能是“出众的”，但这并不能使它变得有价值。我们已经进化到热爱一个充满生命，思想，和多样性的世界，没有理由去估价灰色粘性物而仅
5、仅因为它能传播。当然，如果我们能阻止它我们就能证明我们的进化的优越性。灰色粘性物的威胁使得一件事变得很清晰：我们不能承受使用可复制组装机中出现的某种意外事故。在第五章中，我描述了先进AI系统能为我们做些什么，如果我们能正确地使用的话。最终，它们会浮现出思想并快速传播发展，使得任何哺乳动物的大脑都跟不上它们。AI系统如果象人类那样共同工作的话将能超过不仅我们个人而且是整个社会的思想。再一次，基因的进化使得生命进退两难；再一次，人类拟子的进化最终是由机器实现将使我们的硬件发展远远超越生命所受的限制；再一次，从进化的观点来看，这会引起显著的威胁。知识能带来力量，力量也能带来知识。依赖于本性和目的，先
6、进的AI系统会积累足够的知识和力量来置换我们，如果我们没有适当准备的话。和复制机一样，纯粹的进化的“优越性”不会使胜利者比失败者更好而只会产生残忍的竞争能力。这种威胁使得一件事变得很清晰：我们需要找到一条和思维机器共生的方法，使它们成为守法公民。力量的引擎某些种类的复制机和AI系统可能会用更有能力的迅速，高效，可独立行动的硬件来对抗我们。而这种威胁的新奇来自于机器自己使我们不应该把它看作一个传统的威胁。复制机和AI系统如果被主权国家滥用的话，也可能成为权力的引擎。纵观历史，国家通过发展技术来扩展它们的军事力量，国家也毫无疑问会成为开发复制机和AI系统的主要角色。国家可以用可复制组装机建造先进的
7、武器工厂，并且有快速，容易和数量巨大的优势。国家可以直接使用复制机来发动一场细菌战争一场由数量巨大的可编程的，计算机控制的“细菌”组成的战争。依靠它们的能力，AI系统可以成为武器设计者，战略家或者战士。军事基金已经被用于分子技术和人工智能的研究。国家可以使用组装机或先进AI系统来达到突然的，不可预知的突破。我早先描述了可复制组装机的出现将带来相当突然的改变的理由：能迅速复制，可以被编程用来复制现有的武器，和用更好的材料来制造。因为可以使用标准的，已被了解的元件（原子），它们可以按照设计突然地制造东西。这些设计前导的结果包括可编程细菌和其他的令人厌恶的东西。因为上述原因，一个实现了组装机突破的国
8、家可以迅速建立一支决定性的军事力量如果不是用一个晚上，至少也是用空前的速度。国家可以使用先进AI系统达到类似的结果。自动工程系统将推动设计前进并加速组装机的进步。可以建造更好的AI系统的AI系统将引发能力爆炸，使结果难以预测。AI系统和可复制组装机都可以使国家能在短时间内高度扩展军事能力。复制机可以比核武器更加有效：用核炸弹来毁坏地球需要大量的特殊硬件和稀有的同位素，而用复制机摧毁所有生命只需要一个普通元素组成的斑点。复制机和核战争的相似之处在于它们的引起毁灭的潜在因素，使得话题扩展到了道德领域。暂且不管它们成为毁灭的发动机的潜在能力，纳米技术和AI系统将比核武器应用于更多的地方。一颗炸弹只能
9、炸毁东西，而纳米技术和AI系统可以被用来渗透，侵占，改变，和控制一个地区或一个世界。即使最残忍的警察机关也不会使用核武器，但是他们会使用窃听器，麻醉药，杀手，和其他灵活的力量。通过使用先进技术，国家可以巩固权力。国家也在进化着象基因，拟子，生物，和硬件这些东西。国家的制度通过生长，分裂，模仿和征服在扩展（伴随着变化）。战争中的国家象野兽，只是把公民当作它们的骨头，脑袋和肌肉。即将到来的突破将使国家面对新的压力和新的机会，使国家行为产生剧变。这自然会被关注。国家，从历史上来看，擅长于屠杀和镇压。在某种意义上，国家是由人构成的组织机构的总和：他们的行动加起来形成了国家行为。但是这用来描述狗和它身上
10、的细胞也很合适，虽然狗不仅仅是一堆细胞。狗和国家都是进化系统，具有影响它们行为的结构。几千年来，狗进化得使人类高兴，因为它们在人类的想法下生存和繁殖。几千年来，国家也在不同的选择性压力下进化。个人对狗的权力远大于他们对国家的权力。虽然国家也可以从使人高兴中获得利益，但它们的存在主要是靠它们驱使人民的能力，无论对象是领导者，警察，还是士兵。说人民对国家只有有限权力的说法似乎是荒谬的：毕竟，任何国家行动不都是人民完成的吗？但是在民主政治下，国家首脑哀叹他们缺乏权力，议员们屈服于利益集团，官僚们被规则条例束缚，选民们申述自己被看管，诅咒整个体系。国家运转受到人的影响，但是没人能声称自己控制了它。在极
11、权主义国家，权力机器有着传统的组织结构和内在逻辑，在此之下没有人是自由的，不管是统治者还是被统治者。即使国王也受限于君主政体的传统和权力的使用，如果他们要保留国王的话。国家不等同于个人，虽然它们是由人组成的。尽管如此，历史显示了改变是可能的，甚至可以越改越好。但是改变经常是从一种半自治的，野蛮的体系变到另一种同样野蛮但是可能更仁慈一点。我们希望进步，同时不应该搞混披着人性外衣的国家和拥有慈善团体的国家。把国家描述成准生物体只抓住了复杂现实的一方面，但是它显示了它们会怎样进化来适应即将到来的突破。政府权力的增长，最明显的在极权国家，显示了一个方向。国家通过更完全地控制它们的部件而更像生物体。使用
12、可复制组装机，国家可以在人类生活环境周围布满微小的监督装置。使用大量的能听懂人话的AI系统，它们可以不需要雇佣大量的人口就能听到每个人说的话。使用象细胞修复机器那样的纳米技术，它们可以实行便宜的，安静的脑部切除手术，或者改变整个人群。这将演化出一个太熟悉的景象，世界已经使政府拥有了间谍，拷问，和麻醉药物，先进的技术只是扩展了这些可能性。但是有了先进技术，国家就不需要控制人民它们只要简单地抛弃人民就行了。大部分国家里的大部分人民都是工人，学徒工，或工人抚养者，大部分这些工人制造，移动，或者生长东西。一个具有可复制组装机的国家不需要人做这些工作。更甚者，先进AI系统可以取代工程师，科学家，管理者，
13、甚至领导者。纳米技术与先进AI系统的组合可以制造出聪明的，高效的机器人，有了这些机器人，国家就可以在繁荣昌盛的同时抛弃任何人，或甚至（理论上）所有人。这样的可能性的暗示依赖于国家是为人民服务还是人民为国家服务这个条件。在第一种情况中，我们的国家由人类组成并且为普遍的人类目标服务，民主制度至少与这个理想是接近的。如果一个民主政体失去了对服务人民的任务的需求，基本上意味着它不需要人民来做官僚或纳税人了。这将开放新的可能性，某些这种可能性可能是值得争取的。在第二种情况中，我们的国家进化为剥削人类，也许沿着极权主义的路线。国家需要人民作为工人因为人类劳动是权力建立的必要基础。还有，种族灭绝和屠杀在过去
14、代价高昂而且难于组织和实施，即使这样，在本世纪，极权主义国家还是屠杀了自己国家里数以百万计的人民。先进技术将使工人变得无用并且使屠杀变得容易。历史暗示极权主义国家因此会大规模地消灭人民。有一点值得安慰，似乎国家更愿意也可以用生物学意义上的奴役我们来代替简单地杀死我们。掌握了先进技术的国家的威胁使得一件事变得很清楚：我们不能由一个压制性的国家来领导即将到来的突破。基本的问题是明显的：在未来，和过去一样，新技术将会出现意外并且被滥用。由于复制机和思维机器将带来新的巨大的力量，那么潜在的意外和滥用作用也将会很大。这些可能性将给我们的生活带来真正的威胁。大部分人愿意活着以及希望能自由地选择生活。这个目
15、标听起来不是太理想化，至少在世界的某些部分来说。这并不意味着强迫每个人的生活适应某个大计划，而是意味着避免奴役和死亡。并且，象乌托邦理想被实现一样，它将带来一个充满奇迹的未来。通过提出这些生存或死亡的问题和这个大目标，我们可以考虑采取什么样的措施可以帮助我们成功。我们的战略必须包括人民，法律，和制度，而这些战略也必须依赖于不可避免地和技术有关的战术。可信赖的系统为了安全地使用这种力量巨大的技术，我们必须制造能让我们信任的硬件。为了信任，我们必须能准确地判断技术现实，这部分地依赖于我们的决策机构的质量。更基本地，它将依赖于可信赖的硬件是否是物理上可行的，这是系统和元件的可靠性问题。我们经常制造可靠的元件，即使没有组装机的帮助。“可靠的”并不意味着“不可破坏的”在核爆炸周围的任何东西都会被毁灭。它甚至也不意味着“结实”一个电视可能是可靠的，但是如果摔倒水泥地上就会坏了。更合适的说法是，当某个东西可以按照设计好的情况动作我们就可以称为可靠的。一个可靠的元件不必是一个完美设计方案的完美体现：它只需要是一个谨慎的设计方案的足够好的体现就行了。一个桥梁工程师可能不能确定风力的大小，交通流量，和钢的强度，但是通过假设一个较高的风力，较大的交通
