专家会议

《专家会议》由会员分享，可在线阅读，更多相关《专家会议（28页珍藏版）》请在金锄头文库上搜索。

1、专家会议 自主武器系统技术、军事、法律和人道视角瑞士，日内瓦2014年3月26日28日报 告红十字国际委员会东亚地区代表处 中国北京市建国门外大街9号 齐家园外交公寓3-2 邮编：100600 电话：+86 10 8532 3290 传真：+86 10 6532 0633 邮箱：bej_beijingicrc.org www.icrc.org ICRC, 11.2017自主武器系统技术、军事、法律和人道视角专家会议瑞士 . 日内瓦 2014年3月26日28日自主武器系统：技术、军事、法律和人道视角 专家会议，瑞士 日内瓦。2014 年 3 月 26 日 -28 日2第一部分：红十字国际委员会总

2、结报告1专家会议自主武器系统：技术、军事、法律和人道视角，2014年3月2628日，瑞士日内瓦。会议要点红十字国际委员会 (ICRC) 专家会议的目的是更好地理解自主武器系统带来的问题，分享政府代表、独立专家和ICRC各自的看法。来自21个国家的代表和13位独立专家参加了本次会议。下文列出了会议发言人和参会专家的部分发言要点，尽管这些发言并不一定反映一致的观点。尚不存在国际认可的自主武器系统的定义。在本次会议中，“自主武器系统”被定义为能够独立选择和攻击目标的武器，即在捕捉、追踪、选择和攻击目标的“关键功能”上具有自主性的武器。在过去十年中，民用机器人迅猛发展，但现有的自主机器人系统有着一些重

3、要的限制：它们不能进行人类可以完成的复杂决策和推理；它们几乎不能感知周围环境或适应无法预知的变化；因此，它们不能在简单的环境之外运行。机器人系统越来越多的自主性还会伴随着运行方式上更大的不可预测性。军方对不断增加武器系统自主性的兴趣受下列因素的驱动：有获得更大军事能力的潜力，却又降低了使用者 (武装部队) 的风险、运行成本、人员要求以及对通信链的依赖。但是，目前对民用自主系统的限制同样适用于包括武器系统在内的军事应用。在选择和攻击目标的关键功能方面具有极大自主性的武器系统已经投入使用。现在倾向于在如下方面对这些武器进行严格限制：所执行的任务 (例如，防御性而不是进攻性行动)、可以攻击的目标类型

4、 (例如，车辆和物体而不是人员)以及使用的环境 (例如，简单、静态、可预测的环境而不是复杂、动态、不可预测的环境)。对现有这些武器系统进行更仔细的分析，可以深入了解何种程度的自主性会被视为可接受的，以及何种程度的人类控制会被视为恰当的。高度复杂且在程序上设定为可独立判断自身行为、做出复杂决定并适应环境的自主武器系统 (有些人称之为具有“人工智能”的“完全自主武器系统”) 尚不存在。尽管人们对于未来科技是否有一天可以实现这种高水平的自主性有着不同的观点，但值得注意的是，如今的机器非常擅于进行定量分析、重复动作和资料整理，而人类则在定性判断和推理方面更胜一筹。人们认识到在选择目标和攻击目标方面保持

5、人类控制的重要性，但对于什么是“有意义的人类控制”还不够明确。有人认为，“完全自主的”武器系统从定义上看是指在无人监1 First published 9 May 2014: https:/www.icrc.org/en/document/report-icrc-meeting-autonomous-weapon-systems-26-28-march-2014自主武器系统：技术、军事、法律和人道视角 专家会议，瑞士 日内瓦。2014 年 3 月 26 日 -28 日3督的情况下运行的武器只有在高强度的冲突中且在非常有限的情况下才可能是有用的。但是，基于对使用武力进行系统控制的军事要求，在人类

6、监督之下运行的自主武器系统很可能会发挥更大的军事效用。英国和美国已经制定并公布了关于自主武器系统的国家政策。美国的政策表示，“自主和半自主武器系统在设计上应允许指挥官和操作员对使用武力进行适度的人类判断”。英国的政策则是不允许“武器的自主投放”，而且“武器系统的运行始终要处于人类控制之下”。其他国家要么尚未制定相关政策，要么还没有公开讨论过这个问题。毫无疑问，自主武器系统的开发及其在武装冲突中的使用受国际人道法 (以下简称“人道法”) 规制，包括在研究、发展、取得或采用新的武器时进行法律审查的义务。像任何新武器一样，自主武器系统的合法性必须基于其设计效果和预期用途进行评估。但是，考虑到缺少测试

7、和评价自主系统的标准方法，目前尚不清楚此类武器如何能得到充分测试。大家都承认，尤其是在复杂且不断变化的冲突环境中，通过编程使机器能够做出适用人道法中的区分、比例和攻击中的预防措施等原则所需的定性判断是极具挑战性的。在目前的技术条件下，开发出能够进行这种定性判断的软件显然是不可能的，而且在可预见的未来也没有这种可能性。尽管如此，一些人还是主张，正如现有的某些武器系统一样，关键功能具有自主性的武器系统在可预测的环境中执行简单任务时，是能够遵守人道法的。其他人则认为，很难确保这些系统仅用于此种有限的范围。关于人道法是否足以调整自主武器系统的开发和使用有着不同的观点。有些人认为，现有的法律很充分。其他

8、人则主张，有必要明确禁止自主武器系统，或者制定一项法律规范，规定并定义“有意义的人类控制”。根据诸多不同的法律制度，国家、军事指挥官、制造商和程序员可能因为自主武器系统的非法“行为”而被追究责任，这些制度包括：违反人道法和国际人权法的国家责任；国际刑法；制造商或产品责任以及公司刑事责任。对自主武器系统缺乏控制及其不可预测性，使得以战争罪追究对武器进行编程和部署的个人的刑事责任变得十分困难，因为他们可能不具备这种认定所必需的明知或意图。在此基础上，几位发言人和参会专家对潜在的“问责真空”表示担忧。一些人建议，如果新技术可以降低武装冲突对本国部队和平民的影响，那么就可能存在发展新技术的责任。其他人

9、则认为，更有可能的是自主武器系统遵守人道法的能力有限，而且使用直接由人工远程操控的武器系统完全可以实现自主武器所具备的许多优点。即使自主武器系统的使用可以遵守人道法规则，也需要仔细考虑伦理和道德方面的挑战。问题是，人道原则和公众良心的要求是否允许一台机器在几乎或根本没有人类控制的情况下做出生杀予夺的决定。有人主张，即使这些人是合法的攻击目标，杀人的方式也很重要。一些人强调，尊重人格权意味着杀人的能力不能赋予一台机器；或者说，剥夺人生命的决定权必须保留在人类手中。自主武器系统：技术、军事、法律和人道视角 专家会议，瑞士 日内瓦。2014 年 3 月 26 日 -28 日4总结报告1. 背景ICR

10、C专家会议的目的是更好地理解自主武器系统带来的一系列问题，分享政府代表、独立专家和ICRC各自的看法。来自21个国家2的代表和13位独立专家(包括机器人专家、法学家、伦理学家以及来自联合国和非政府组织的代表)参加了本次会议。会议根据“查塔姆宫规则”举行。ICRC在其2011年的一份题为国际人道法及其在当代武装冲突中面临的挑战3的报告中首次表达了对自主武器系统的担忧，呼吁各国在发展和部署这些武器之前，仔细考虑它们所带来的基本的法律、伦理和社会问题。在专家会议的筹备过程中，ICRC回顾了所能找到的关于自主武器系统的资料，并在背景文件中，突出强调了涉及以下方面的问题：现有武器系统的自主性；对增加武器

11、自主性的兴趣；与国际人道法(以下简称“人道法”)的一致性；以及伦理和社会关切。很显然，一些在选择和攻击方面具有很大程度自主性的武器现在已经投入使用，尽管还只是在有限的情况下予以使用。对于这些武器，目前倾向于使用固定操作平台(而非移动操作平台)，主要在人烟稀少且相对简单和可预测的环境中使用，被部署用于打击军用物体(而不是直接攻击人员)。但是，对增加现有武器平台整体自主性的兴趣也有增无减，尤其是在空中、地面和海上操作的移动无人系统。关于自主武器系统没有一个国际社会普遍接受的定义。在本次会议中，“自主武器系统”被定义为能够独立选择和攻击目标的武器。它们是在捕捉、追踪、选择和攻击目标的“关键功能”上具

12、有自主性的武器系统。本次会议的讨论内容十分丰富且范围广泛，涵盖了以下议题： 民用机器人和自主系统的开发 军用机器人和自主武器系统开发的驱动力 现有武器系统的自主性 新自主武器系统的研究和发展 武装冲突中自主武器系统的军事效用 当前关于自主武器系统的政策 国际人道法中的自主武器系统 使用自主武器系统的问责 自主武器系统带来的伦理问题第二部分提供本次会议的发言和讨论概要。本概要由ICRC负责编写。本部分内容并不旨在面面俱到，而只是反映参会专家及发言人的陈述要点。文中针对某些观点的支持或反对意见都仅代表发言人的个人意见。2 阿尔及利亚、巴西、中国、哥伦比亚、法国、德国、印度、以色列、日本、肯尼亚、墨

13、西哥、挪威、巴基斯坦、卡塔尔、韩国、 俄罗斯、沙特阿拉伯、南非、瑞士、英国和美国。3 ICRC，国际人道法及其在当代武装冲突中面临的挑战(2011年)，第31届红十字与红新月国际大会报告，日内瓦，2011年11月 28日至12月1日。自主武器系统：技术、军事、法律和人道视角 专家会议，瑞士 日内瓦。2014 年 3 月 26 日 -28 日52. 发言和讨论概要2.1 民用机器人和自主系统的开发第一单元的发言人描述了过去十年中民用机器人的迅猛发展，包括具有自主功能的系统的发展，例如全自动吸尘器、用于海底测绘的水下机器人以及马上就会出现的全自动驾驶汽车。发言人以全自动汽车和人形机器人等为例，阐释

14、了目前自主机器人系统的主要特点和局限： 它们最擅长执行简单任务，不能进行人类可以完成的复杂推理或判断； 它们最擅长执行单任务而不是多任务； 它们几乎不能感知周围的环境，因此最善于在简单、可预测的环境中工作； 它们适应环境中无法预知的变化的能力很有限； 它们在完成指定任务方面并不可靠，而且一般无法设计出从失败中恢复的替代策略； 它们执行指定任务可能耗时较长。放眼未来，发言人认为，随着计算技术和传感器质量的进步，自主机器人系统逐渐会变得更加复杂。但是，只有解决了根本性的技术难题，它们才有可能功能更多 ( 如执行多任务 )、适应能力更强 ( 即适应不可预测的外部环境 ) 以及能够执行需要推理和判断的

15、复杂任务。在讨论期间，发言人解释道，随着机器人系统被赋予更大的决策权 ( 并因此更具自主性 )，它们会变得更加不可预测。尽管机器人系统根据特定规则完成重复动作更具可预测性，但随着自主性的日益增加严格限定的规则越来越少关于系统如何运行的不确定性也日益增加。至于公众对机器人系统的接受度，发言人强调了人们对高度可靠性的需求，因为人类对机器犯错的容忍度相比于自身犯错来说要低得多。因此自主机器人系统预期会胜过人类。一位与会专家指出，机器人发展的脚步非常迅速，而且研究人员正在解决核心的技术难题。有人补充说，尽管复杂的推理超出了目前的技术能力，但现有的机器人系统在执行某些任务上已经能胜过人类了。发言人认为，

16、这类高性能的机器人系统依赖于非常明确的任务界定，以及对环境 ( 或背景 ) 信息进行预先编程，但现有的机器人系统不能适应环境中无法预知的变化。参会专家之间还就机器识别物体和人的能力， 甚或确定人类意图的能力问题进行了讨论。尽管目前视觉识别技术正越来越尖端，但仍然不可靠。但是，关于这个领域技术的发展将走向何方，仍有不同意见。总体而言，发言人指出，目前技术的局限性意味着，最有可能的是人机交互将优先于机器人的独立行动。这可能会被视为“监督下的自主”，把需要运用智力 ( 也就是进行复杂推理和判断的能力 ) 才能做出的决定留给人类。2.2 军用机器人和自主武器系统开发的驱动力发言人区分了自动系统和自主系统，认为前者是根据预先编程的指令运行以执行特定的任务，而后者则是动态运行以决定是否、何时以及怎样执行一项任务。因此，自动系统基于确定的(以规则为基础的)指令，而自主系统依据随机的(以概率为基础的)推理运行，后者会带来不确定性。但是，发言人强调，未来的军事系统很可能是自动和自主系统的混合体。自主武器系统：技术、军事、法