分布式集群系統(tǒng)的調(diào)研分析.ppt

分布式集群系統(tǒng) 調(diào)研分析,By 吳文泰,2,分布式系統(tǒng)/平臺,proActive Parallel Suite Cluster Virtual Machine for Java（cJVM) Parallel Virtual Machine (PVM) Apache Hadoop (這里不做介紹） Apache Mesos,3,ProActive Parallel Suite,1 ProActive Parallel Suite,4,ProActive Parallel Suite,Brief Intro: 通過ProActive 平臺, 用戶可以立刻對（企業(yè)級）應(yīng)用進(jìn)行業(yè)務(wù)優(yōu)化和加速，同時可以對企業(yè)云進(jìn)行管理。 Keys: 可并行、分布式、業(yè)務(wù)流程優(yōu)化加速、可以集成高效的云管理。 平臺關(guān)鍵組成：3個： Workflow & Parallelization - 各種業(yè)務(wù)的并行化 Orchestration & Scheduling - 多應(yīng)用、多接口支持 Clouds & Grids IaaS - 設(shè)施上的異構(gòu)資源管理,5,ProActive Parallel Suite,Workflow & Parallelization,支持多種技術(shù)來優(yōu)化業(yè)務(wù)性能：方便應(yīng)用編程,本地并行化： 支持消息傳遞接口（MPI），OpenMP編程，多線程技術(shù)等,分布式+并行： 支持用于并行分布式編程的Java API，REST，以及MapReduce等,核心技術(shù)：JAVA Active Objects , IC2D,6,ProActive Parallel Suite,Orchestration & Scheduling,支持多種平臺上的應(yīng)用：作為調(diào)度者,區(qū)別于Workflow & Parallelization： Workflow & Parallelization為客戶端提供一系列接口 Orchestration & Scheduling為管理員管理不同業(yè)務(wù)提供特殊的服務(wù)器和工具支持,核心：Orchestration & Scheduling Server,7,ProActive Parallel Suite,Clouds & Grids IaaS,管理異構(gòu)資源（基礎(chǔ)設(shè)施）,核心：Clouds & Grids IaaS Server,譬如：跑Linux的VM和Windows的VM,8,ProActive Parallel Suite,可用狀況: Open-sourced 組件：Studio 1.4 Java Active Objects 5.4 Scheduler 3.4 Scheduler Web Portal 1.4 Resource Manager 3.4 Cloud & Grid IaaS Web Portal 1.4 Matlab Connector 1.2 Scilab Connector 1.2,9,ProActive Parallel Suite,組件下載：支持windows32+64, linux32+64以及MacOS,注冊信息,壓縮包,包含項目文件和exe，是一個IDE，對應(yīng)Workflow & Parallelization,對應(yīng)Orchestration & Scheduling server,對應(yīng)Clouds & Grids IaaS中的計算單元,10,支持的編程方法：在proActive studio中，采用圖形化方式設(shè)計workflows來定義并行化調(diào)度。 集群搭建的難易程度：一般，除了安裝IDE外，還要配置好另外兩個組件(server和agent)；但網(wǎng)站資料很完整。 支持的語言：JAVA, REST,CLI(命令行）,ProActive Parallel Suite,Orchestration & Scheduling 和 Cloud & Grid Iaas也可以在這一IDE中進(jìn)行管理,11,Cluster Virtual Machine for Java,2 Cluster Virtual Machine for Java (cJVM),12,Brief Intro: 通過對一個集群進(jìn)行虛擬化使得對應(yīng)用可見的僅是單個系統(tǒng)；而實際上對象和線程是存在和運行于多臺虛擬機(jī)上的。 優(yōu)點：應(yīng)用編程方便，高可擴(kuò)展性,Transparent 對App透明,Cluster Virtual Machine for Java,13,核心：Java Server Applications (JSAs),Cluster Virtual Machine for Java,JSAs的運行環(huán)境Cluster VM (for java),擴(kuò)展性：“throwing more hardware at the problem.“ 要擴(kuò)展服務(wù)器上App的性能，就投入更多的硬件（VM）到中間這層,14,支持編程語言: Java 可用情況：“NOTE: This project is no longer active since 2000! ” 還沒有找到可用資源,Cluster Virtual Machine for Java,15,Parallel Virtual Machine,3 Parallel Virtual Machine (PVM),16,Brief Intro: 使用網(wǎng)絡(luò)連接各種異構(gòu)系統(tǒng)（如Windows, Unix），使之看起來就像一個大型“并行計算機(jī)”。,Parallel Virtual Machine,Keys: 模擬并行計算機(jī)，從而App可以使用并行編程技術(shù),Supported Language: C, C+, Fortran,17,代碼示例：,Parallel Virtual Machine,Pvm3.h庫,并行編程的風(fēng)格,18,可用情況：Open-Sourced，提供lib還有PVM安裝程序，還有詳細(xì)安裝/配置的說明文檔；,Parallel Virtual Machine,里面是exe文件,Lib,19,Parallel Virtual Machine,安裝PVM最好先裝installshield（微軟開發(fā)的一個軟件），否則就要按如下步驟人工配置,1999年編寫的文檔，所以只提到了Windows NT和95/98系統(tǒng)；要試一下才知道是否支持2000以上的系統(tǒng)。（PVM項目到2011年都有更新）,20,支持語言： C, C+, Fortran 算法接口: 基本上是并行編程用到的基本算法，主要包含在pvm3.h中 支持環(huán)境：Windows (only NT ,95/98?) 搭建難易程度： 難，因為說明文檔比較舊； 使用方式：安裝installshield版本的PVM，使用源碼庫,Parallel Virtual Machine,21,Apache Mesos,4 Apache Mesos,22,Mesos,Mesos計算框架一個集群管理器，提供了有效的、跨分布式應(yīng)用或框架的資源隔離和共享，可以運行Hadoop、MPI、Hypertable、Spark 結(jié)構(gòu)：Master/Slave結(jié)構(gòu),資源申請，內(nèi)部調(diào)度,單例，管理整個集群，負(fù)責(zé)資源分配+調(diào)度,運行于Slave服務(wù)器上，負(fù)責(zé)執(zhí)行tasks,23,可用性：開源（代碼也可在github上下載）,Mesos,官方最新版本：0.19.0,24,支持環(huán)境： Linux (64 Bit) and MacOSX (64 Bit) （可能因為是一個很新的項目） 配置難易程度：一般（官網(wǎng)配置介紹是以Ubuntu 12.04 64位為例，詳見： /gettingstarted/ 支持語言：C+,Java,Python 執(zhí)行task前要運行對應(yīng)的框架：,Mesos,C+,Java,Python,25