《分布式集群系统的调研分析》由会员分享，可在线阅读，更多相关《分布式集群系统的调研分析（28页珍藏版）》请在金锄头文库上搜索。
1、LOGO分布式集群系统调研分析 By 吴文泰分布式系统/平台vproActive Parallel Suite vCluster Virtual Machine for Java（cJVM) vParallel Virtual Machine (PVM) vApache Hadoop (这里不做介绍） vApache Mesos2ProActive Parallel Suitev1vProActive Parallel Suite3ProActive Parallel SuitevBrief Intro: 通过ProActive 平台, 用户可以立刻对（企业 级）应用进行业务优化和加速，同时可
2、以对企业云进行管 理。 vKeys: 可并行、分布式、业务流程优化加速、可以集成高 效的云管理。 v平台关键组成：3个： v Workflow & Parallelization - 各种业务的并行化 v Orchestration & Scheduling - 多应用、多接口支持 v Clouds & Grids IaaS - 设施上的异构资源管理4ProActive Parallel SuitevWorkflow & Parallelization支持多种技术来优化业务 性能：方便应用编程本地并行化：支持消息传递接口（MPI），OpenMP 编程，多线程技术等分布式+并行：支持用于并行分布
3、式编程的Java API ，REST，以及MapReduce等核心技术：JAVA Active Objects , IC2D5ProActive Parallel SuitevOrchestration & Scheduling支持多种平台上的应用：作为调度 者区别于Workflow & Parallelization ：Workflow & Parallelization为客户端提供 一系列接口Orchestration & Scheduling为管理员管 理不同业务提供特殊的服务器和工具支持核心：Orchestration & Scheduling Server 6ProActive Pa
4、rallel SuitevClouds & Grids IaaS管理异构资源（基础设施 ）核心：Clouds & Grids IaaS Server譬如：跑Linux的VM和Windows的 VM7ProActive Parallel Suitev可用状况: Open-sourced v组件：Studio 1.4 Java Active Objects 5.4 Scheduler 3.4 Scheduler Web Portal 1.4 Resource Manager 3.4 Cloud & Grid IaaS Web Portal 1.4 Matlab Connector 1.2 Scil
5、ab Connector 1.2 8ProActive Parallel Suitev组件下载：支持windows32+64, linux32+64以及 MacOS注册信息压缩包包含项目文件和exe，是一个IDE， 对应Workflow & Parallelization对应Orchestration & Scheduling server 对应Clouds & Grids IaaS 中的计算单元9v支持的编程方法：在proActive studio中，采用图形化 方式设计 workflows来定义并行化调度。v集群搭建的难易程度：一般，除了安装IDE外，还要 配置好另外两个组件(server
6、和agent)；但网站资料很 完整。 v支持的语言：JAVA, REST,CLI(命令行）ProActive Parallel SuiteOrchestration & Scheduling 和 Cloud & Grid Iaas也可以在 这一IDE中进行管理10Cluster Virtual Machine for Javav2vCluster Virtual Machine for Java (cJVM)11vBrief Intro: 通过对一个集群进行虚拟化使得对应用可 见的仅是单个系统；而实际上对象和线程是存在和运 行于多台虚拟机上的。 v优点：应用编程方便，高可扩展性 Transpa
7、rent对App透明Cluster Virtual Machine for Java12v核心：Java Server Applications (JSAs)Cluster Virtual Machine for JavaJSAs的运行环境 Cluster VM (for java)扩展性：“throwing more hardware at the problem.“ 要扩展服务器上App的 性能，就投入更多的硬件（ VM）到中间这层 13v支持编程语言: Javav可用情况：“NOTE: This project is no longer active since 2000! ” v还没有
8、找到可用资源Cluster Virtual Machine for Java14Parallel Virtual Machinev3vParallel Virtual Machine (PVM)15vBrief Intro: 使用网络连接各种异构系统（如Windows, Unix），使之看起来就像一个大型“并行计算机”。Parallel Virtual MachineKeys: 模拟并行计算机， 从而App可以使用并行编 程技术Supported Language: C, C+, Fortran16v代码示例：Parallel Virtual MachinePvm3.h库并行编程的风 格17v
9、可用情况：Open-Sourced，提供lib还有PVM安装程 序，还有详细安装/配置的说明文档；Parallel Virtual Machine里面是 exe文件Lib18Parallel Virtual Machine安装PVM最好先装installshield（微 软开发的一个软件），否则就要按如下 步骤人工配置1999年编写的文 档，所以只提到 了Windows NT和 95/98系统；要试 一下才知道是否 支持2000以上的 系统。（ PVM项目到2011 年都有更新）19v支持语言： C, C+, Fortranv算法接口: 基本上是并行编程用到的基本算法，主要 包含在pvm3.h
10、中v支持环境：Windows (only NT ,95/98?)v搭建难易程度： 难，因为说 明文档比较旧；v使用方式：安装installshield版本的PVM，使用源码 库Parallel Virtual Machine20Apache Mesosv4vApache Mesos21MesosvMesos计算框架一个集群管理器，提供了有效的、跨 分布式应用或框架的资源隔离和共享，可以运行 Hadoop、MPI、Hypertable、Spark v结构：Master/Slave结构资源申请，内部调 度单例，管理整个集 群，负责资源分配 +调度运行于Slave 服务器上，负 责执行tasks22
11、v可用性：开源（代码也可在github上下载） Mesosv官方最新版本：0.19.023v支持环境： Linux (64 Bit) and MacOSX (64 Bit) v（可能因为是一个很新的项目） v配置难易程度：一般（官网配置介绍是以Ubuntu 12.04 64位为例，详见 ： vhttp:/mesos.apache.org/gettingstarted/ v支持语言：C+,Java,Python v执行task前要运行对应 的框架：MesosC+JavaPython24v总结总结25ComparisonproActi vecJVMPVMHadoo pMesos运行环 境Windo
12、 ws, linux, MacWindo ws NTWindo wsUnix (linux)Linux (64 Bit) and MacOS X (64 Bit) 支持语 言Java, REST, CLIJavaC, C+, FortranC+,C, JavaJava,P ython, C+ 搭建难 易一般N/A难一般一般并行调 度算法/ 方法Map- Reduc e等Pvm3. h中包 含的算 法Map- Reduc e等MPI,Sp ark等26其他架构vSome others: vdJVM: ANU（澳大利亚国立大学）项目 vJavaParty: 通过“透明”将一个对象地重写为一个远程对象 的方法来使App变为分布式的。 vJava/DSM: 修改JVM成为一种分布式共享的VM，这 种JVM的堆栈是建立在共享内存系统上的。27LOGOvThank you!
