多AGENT学习及结构在跨流域调水管理系统中的研究

《多AGENT学习及结构在跨流域调水管理系统中的研究》由会员分享，可在线阅读，更多相关《多AGENT学习及结构在跨流域调水管理系统中的研究（5页珍藏版）》请在金锄头文库上搜索。

1、 多多 AGENT 学习及结构在跨流域调水管理学习及结构在跨流域调水管理 系统中的研究系统中的研究 田昕 河海大学计算机及信息工程学院，南京（210098） E-mail：hhuxin 摘摘 要要： 本文简单的分析了跨流域调水管理的复杂适应性， 指出学习能力是系统主体能够适 应系统变化的因素。结合系统的个体学习和群体学习，给出了跨流域调水管理的多 AGENT 结构和一个基于强化学习的多 AGENT 学习结构模型，该结构加强了多 AGENT 系统的交互 协作能力。 关键词关键词：跨流域调水管理，复杂适应性，多AGENT结构，学习 0. 引言引言 复杂适应系统 (Complex Adaptive

2、System )理论是遗传算法的提出者霍兰教授在多 年研究复杂系统的基础上于1994年提出来的1。复杂适应系统理论的基本思想是: CAS 的复 杂性起源于其中的个体( Agent) 的适应性, 系统中的个体能够与环境以及其它个体进行交 流, 在这种交流的过程中“学习”或“积累经验”, 不断进行着演化学习, 并且根据学到的经验 改变自身的结构和行为方式。 复杂适应系统是一类很常见、很普遍的复杂系统, 现实生活中, 许多系统都具有复杂适 应系统的特点, 特别是有人参与的系统, 更是一种适应性系统, 由于人的智能性、主动性和 适应性, 要对它进行有效的研究, 采用传统的方法已经不够, 复杂适应系统理

3、论的提出对于 解决，解释经济系统、军事系统等复杂适应系统中的复杂现象和问题, 具有重要的意义和应 用前景。 1. 跨流域调水的复杂适应性分析跨流域调水的复杂适应性分析 跨流域调水管理系统是自然系统与人工系统相结合的复合系统,兼有物理、化学、生态 和社会经济等属性,又面临“增长极限”和可持续发展等挑战,对于这样的复合系统,其水资源 的配置与管理是一个极其复杂的过程。赵建世2等应用CAS理论的研究方法，建立了水资源 配置复杂适应系统模型，提出了水资源配置系统的复杂性表现在以下几个方面：（1）系统 组成要素的多层次和大规模。（2）系统各要素之间或各子系统之间存在各种各样的非线性 关联形式，表现在内容

4、上是物质、能量和信息的交换。（3）系统的开放性导致系统演化的 复杂性。（4）系统的空间结构具有复杂性。（5）系统的复杂性与人类社会的复杂性紧密相 关。最后提出CAS理论是分析水资源配置系统的有效手段。 1.1 适应性造就复杂性适应性造就复杂性 CAS 理论的核心思想是“适应性造就复杂性”，它将宏观系统能够的复杂性归结为微观 个体行为的适应性。系统的适应性就体现在环境中演化着的个体, 为了生存的需要, 不断地 调整自己的行为, 修改自身的规则, 以求更好地适应环境选择的需要。大量适应性个体在环 境中的各种行为又反过来不断地影响和改变着环境，如此反复, 个体和环境就处于一种永不 停止的相互作用,

5、相互影响, 相互进化过程之中。 -1- 1.2 水资源管理的多水资源管理的多Agent结构结构 王慧敏3等应用复杂适应系统理论来研究流域水资源配置与管理问题，采用基于Agent 的建模仿真方法，按照水资源管理的区域，将每个区域Agent划分为多个功能Agent，比如在 流域水资源系统中可以分为供水Agent、排水Agent、管理者Agent、环境监控Agent等，让它 们在一定的规则和市场机制的约束下，每个Agent各行其责，与环境和其他Agent进行交互、 协调、协作，在这样的互相作用中不断“学习”，以更好的适应环境。 图1简单的描述了跨流域调水管理的多AGENT结构，在整个结构中，水资源系

6、统和城市 系统的作用范围在整个环境中是某一流域或城市， 整个跨流域调水管理系统分为好多这样类 似的系统， 其他水资源系统和城市系统也有各自的作用范围， 各个系统之间以及与环境之间 进行交互，在组织内部Agent分为不同的角色，执行不同的功能，通过在各Agent中嵌入必要 的合作知识，可以自动调整自身的状态、参数以适应环境, 或与其它个体进行协同, 合作或 竞争, 争取最大的生存机会或利益, 这种自发的协作和竞争促使整个系统不断发展进化。 环境 流 域 某流域水资源系统 供水 Agent排水 Agent 管理者 Agent环境监控 Agent 水资源系统 城市系统 城市 流 域 其他区域 作用范

7、围 图1. 跨流域调水管理的多AGENT结构图 2. 多多AGENT学习与结构模型学习与结构模型 学习是指系统适应环境而产生的适应性变化，它使得系统在完成类似任务时更加有效。 复杂适应系统是一个基于个体的, 不断演化发展的演化系统。在这个演化过程中, 个体的性 能参数在变, 个体的功能、属性在变, 整个系统的功能, 结构也产生了相应的变化。系统要 不断演化发展，作为构成系统主体的智能AGENT，它的适应性和学习能力是智能的最重要 的表现行式4。 2.1个体学习和群体学习个体学习和群体学习 在跨流域调水管理中，Agent的学习问题可以分为：个体学习和群体学习，它们都归结 为机器学习。机器学习就是

8、要使计算机能模拟人的学习行为,自动地通过学习获取知识和技 能,不断改善性能,实现自我完善，机器学习研究的就是如何使机器通过识别和利用现有知识 -2- 来获取新知识和新技能，它是人工智能一个重要的研究领域。在多Agent系统中,一个Agent 的行为是否属于群体行为,不是根据行为本身的外部描述,而是根据该行为是否涉及并影响到 多个Agent。只关于某个Agent或涉及其他Agent但并不对其造成影响的行为均属个体行为。 个体学习就是单一Agent的独立学习,针对个体行为。群体学习是系统中多个Agent一起学习 （组织内以及整个系统）。 在跨流域调水管理中，不仅每一个个体（如抽水Agent、供水A

9、gent、需求者Agent等） 为了 2.2 基于强化学习的基于强化学习的Agent结构模型结构模型 理仿真系统的重中之重是构造具有学习能力的 Age 衡量 型结构来描述整个系统中的Agent的个体学习和群体学 习， 够接 适应环境的变化（如储水量变化、地方经济发展变更对需水产生的变更、地方水资源承 受力变化、其他水源竞争、供水成本增高、其他个体提出的新要求等）而对本身行为规则状 态的调整，从而满足系统正常运行的需要；对于群体而言，同样存在其系统外的环境因素影 响，需要系统整体适应外部环境（如降水量变化、地方经济发展的不均衡，气候的变化对需 水量造成的影响等） ，而适应的策略就是学习。 通过上

10、述分析得知，构建跨流域调水管 nt。结合各种学习方法的优点来提高Agent适应跨流域调水复杂环境的能力，而最复杂的 一类环境是连续状态、部分可感知、非插曲式、不确定的动态环境，跨流域调水复杂环境就 是这样一类最复杂的环境。强化学习就是一种在不断变化的环境中使Agent能从过去的经验 和动作中学到如何更好的适应环境的学习机制，该方法不同与监督学习技术那样通过正例、 反例来告知采取何种行为，而是通过试错（trial-and-error）的方法来发现最优行为策略。 而在MAS中，如何来协调好智能体的反应性（Reactive）和适应性（Deliberation） ，是 智能体结构是否有效的重要标准。在

11、目前可用的AGENT结构中，层次结构可以很好协 调反应性和适应性。具有层次结构的Agent可以处理反应行为和预动行为，解决了像反应式 AGENT具有的很多问题。赖旭芝5等针对足球机器人仿真提出了一种基于行为的双层动态 智能体结构模型, 它包括反应式结构和慎思式结构, 并采用自信度来连接这两种结构。倪建 军6等根据南水北调的复杂适应性提出了一种基于知识的协调控制器来协调反应式过程和 慎思式过程的混合式Agent结构。 利用图2所示的多Agent系统模 每个AGENT模型由感知行为模块、学习模块，协作模块，通信模块以及控制模块。 某一时刻， 感知行为模块将外界环境状态信息或其他Agent的请求信息

12、转换为Agent所能 受的状态信号， 传输到控制模块。 控制模块可根据信息类型做出反应式和慎思式的决策。 决策由感知行为模块对环境或其他Agent做出动作，得到环境的反馈信号R，形成一个学习 过程。 学习模块包括评判器和自动学习机制， 根据系统行为从环境中获得的累积奖赏值最大 的原则来更新控制模块各层知识库中相应状态对策略选取的信念,以更好地选择行动策略， 在对感知信息进行处理的基础上，把新的世界模型、新的规则增加到各层知识库，能够更好 的适应环境。在跨流域调水管理系统中多AGENT之间的交互大多是协作，它们之间的交互 靠通信来实现，在Agent结构中加入通信模块，通过“黑板”通信来共享Age

13、nt之间的全局信息 以及各个Agent的局部信息，以此来达到群体学习的目的。 -3- 报酬 R 学习过程 知 识 规 则 库 更 新 环 境 控制模块 反应层 世界模型 规划层 规划知识 协作层 社会知识 学 习 模 块 其他 AGENT 协作模块 通信模块 感知行为模块 信息交互 图2 多AGENT学习结构模型 在本文的Agent结构中核心部分是控制模块，它能更好完成Agent的反应行为和预动行 为。本模块是由反应层、规划层和协作层以及它们各自的世界知识库组成，不同的知识库代 表Agent及其不同抽象层的环境。最高层（基于行为的）处理反应行为，它使Agent能够根据 当前环境状态的变化（比如

14、水库水量过大，河流发生污染等）和其他Agent的请求信息（比 如管理者Agent的命令）做出立即反应；中间层（基于局部规划）处理Agent的规划来完成目 标；最底层（基于协作规划）处理与其他Agent的协作信息来进行交互。层次间通过彼此交 互，在相应的层次上负责执行相应的动作或规划7。 3. 结束语结束语 本文概述了跨流域调水的复杂适应性， 提出了主体学习是系统适应性的重要标志。 简单 分析了个体学习和群体学习，给了一个跨流域调水系统的多Agent结构。最后，提出了一个 基于强化学习的层次Agent模型，能够对环境以及其他Agent的各种信息作出反应，加强了 Agent之间的协作。 -4- 参

15、考文献参考文献 1 陈禹. 复杂性研究的新动向基于主体的建模方法及其启迪J . 系统辩证学学报,2003, 11 (1) : 43 50. 2 赵建世, 王忠静, 翁文斌. 水资源复杂适应系统配置的理论与模型J .地理学报, 2002， 57 （6） ： 639 647. 3 王慧敏，等，基于CAS范式的流域水资源配置与管理及建模仿真J.系统工程理论与实践，2005 4 谭跃进, 邓宏钟. 复杂适应系统理论及其应用研究J.系统工程，2001，19（5） 5 赖旭芝,宁志宇,仵博.一种基于行为的双层动态智能体结构及其在RoboCup中的应用J.计算机工程与应 用,2004,(8): 28 30.

16、 6 倪建军，等.一种复杂适应系统仿真的Agent 混合结构模型J. 河海大学学报(自然科学版)，2005. 33(2) 7 Michael Wooldridge. An Introduction to MultiAgent SystemsM.石纯一等 译.北京： 电子工业出版社， 2003 8 张洁，高亮，李培根. 多技术在先进制造中的应用M.科学出版社，2004年10月 The Research On the architecture & learning of Multi-Agent in the System of interbasinwater Transfer management Tian Xin College of Computer and Information Engineering, Hohai Univ, Nanjing（210098） Abstract This paper analyzes the Complex