并行計(jì)算集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討

并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討,內(nèi)容大綱,并行計(jì)算技術(shù)集群及相關(guān)技術(shù)網(wǎng)格計(jì)算,如何滿足不斷增長的計(jì)算力需求？,用速度更快的硬件，也就是減少每一條指令所需時(shí)間優(yōu)化算法（或者優(yōu)化編譯）用多個(gè)處理機(jī)(器)同時(shí)解決一個(gè)問題并行計(jì)算,串行計(jì)算與并行計(jì)算,并行的層次,程序級并行子程序級并行語句級并行操作級并行微操作級并行,并行粒度,粗,細(xì),共享內(nèi)存與分布式內(nèi)存,P=處理器M=內(nèi)存S=網(wǎng)絡(luò)交換設(shè)備,局部共享內(nèi)存,實(shí)現(xiàn)并行計(jì)算的常見方法,1、多線程程序2、基于OpenMP的并行程序3、基于消息傳遞的并行程序PVMMPI,XPVM,XPVM,并行計(jì)算環(huán)境簡介,PVP（ParallelVectorProcessor）使用專用向量處理器銀河I，CrayT90，NEC的地球模擬器。SMP（SymmetricMultiprocessor）同一主板上多個(gè)處理器可以等同訪問共享存儲器、I/O設(shè)備和操作系統(tǒng)服務(wù)IBMRS6000。Cluster由很多連接在一起的獨(dú)立計(jì)算機(jī)組成，像一個(gè)單獨(dú)的集成的計(jì)算機(jī)一樣協(xié)同工作集群的節(jié)點(diǎn)可以是SMP（或者PVP）Cluster1350，藍(lán)色基因。,在虛擬天文臺中的應(yīng)用情形,處理實(shí)時(shí)性要求很高的大量觀測數(shù)據(jù)觀測數(shù)據(jù)的并行可視化處理并行數(shù)據(jù)挖掘并行數(shù)據(jù)服務(wù)提供。,集群技術(shù),集群概念最早由IBM于20世紀(jì)60年代提出集群一般由高速網(wǎng)絡(luò)連接起來的高性能工作站或PC機(jī)組成。集群在工作中像一個(gè)統(tǒng)一的整合資源，所有節(jié)點(diǎn)使用單一界面。,集群,NotaClusterCluster,集群計(jì)算系統(tǒng)體系結(jié)構(gòu),集群相關(guān)技術(shù),網(wǎng)絡(luò)層網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)、通信協(xié)議、信號技術(shù)等。節(jié)點(diǎn)機(jī)及操作系統(tǒng)層高性能PC或工作站、分層或基于微內(nèi)核的操作系統(tǒng)等。集群系統(tǒng)管理層資源管理、資源調(diào)度、負(fù)載平衡、并行I/O、安全等。應(yīng)用層并行程序開發(fā)環(huán)境、串行應(yīng)用、并行應(yīng)用等。,Cluster1350,Cluster1350是IBM公司目標(biāo)定位于高性能計(jì)算市場的Linux集群，包括一套完整的解決方案，集成了眾多IBM與非IBM的先進(jìn)的軟硬件技術(shù)，有其特有的技術(shù)優(yōu)勢與強(qiáng)大的服務(wù)支持。,Cluster1350邏輯結(jié)構(gòu),Cluster1350節(jié)點(diǎn)硬件、網(wǎng)絡(luò)和操作系統(tǒng)(天津大學(xué)IBM中心）,管理節(jié)點(diǎn)IBMeServerxSeries345(1)計(jì)算節(jié)點(diǎn)IBMeServerxSeries335(16)網(wǎng)絡(luò)千兆以太網(wǎng)操作系統(tǒng)RedHatLinux7.3,CSM（ClusterSystemManagement）,CSM是IBM公司開發(fā)，專門用于集群系統(tǒng)管理的中間件，在Cluster1350解決方案集成。CSM的設(shè)計(jì)思想與體系結(jié)構(gòu)來自PSSP(IBMParallelSystemSupportProgramsforAIX)與其它一些開源的集群管理軟件。還有一些中間件及技術(shù)，雖然不直接為用戶服務(wù)，但構(gòu)成了CSM的不可或缺的基礎(chǔ)，包括RMC、SRC、RSCT等。,CSM,Cluster1350系統(tǒng)管理,整個(gè)集群由單一結(jié)點(diǎn)控制所有結(jié)點(diǎn)的開機(jī)、關(guān)機(jī)、狀態(tài)查詢顯示遠(yuǎn)程控制臺安裝操作系統(tǒng)升級(安裝)各結(jié)點(diǎn)系統(tǒng)及應(yīng)用軟件。一個(gè)完整的集群只需一套外置輸入/輸出設(shè)備(鍵盤、鼠標(biāo)、顯示器),Linux集群上可用的任務(wù)調(diào)度系統(tǒng),Mosix（MulticomputerOperatingSystemforUnIX）可以自動(dòng)完成節(jié)點(diǎn)間進(jìn)程遷移需要重新編譯Linux內(nèi)核對用戶來說是透明的PBS（PortableBatchSystem）由NASA的Ames研究中心開發(fā)為了達(dá)到集群系統(tǒng)整體上的負(fù)載平衡，對各個(gè)節(jié)點(diǎn)上的任務(wù)進(jìn)行調(diào)度，但不進(jìn)行節(jié)點(diǎn)間任務(wù)遷移不需要重新編譯內(nèi)核,集群上的應(yīng)用程序（計(jì)算）開發(fā),適于開發(fā)基于消息傳遞的并行應(yīng)用程序可以使用PVM/MPI步驟：配置并行計(jì)算的編譯與運(yùn)行環(huán)境主要是rsh/ssh設(shè)計(jì)、編寫、編譯程序使用PVM/MPI提供的程序庫及編譯環(huán)境部署應(yīng)用程序ftp、rcp、scp、CSM、NFS、GPFS等方式運(yùn)行程序,配置高可用集群,最大程度地減少服務(wù)中斷，而不是容錯(cuò)。HearbeatLVS（LinuxVirtualSever）IBM的Tivoli和WebSphere系列軟件,Heartbeat集群,LVS集群,集群在虛擬天文臺中的角色,高性能計(jì)算構(gòu)成虛擬天文臺網(wǎng)格環(huán)境中強(qiáng)有力的計(jì)算資源高可用服務(wù)在網(wǎng)格環(huán)境中提供穩(wěn)定、可靠的數(shù)據(jù)、計(jì)算、調(diào)度等服務(wù),網(wǎng)格計(jì)算,“Resourcesharing&coordinatedproblemsolvingindynamic,multi-institutionalvirtualorganizations”,OnDemand,理想的網(wǎng)格,理想的網(wǎng)格,ThepictureabovedescribesaDataGridtestbedwiththreesitesandaCertificationAuthority.Forspacereasonswedonotshowallthemachinesofeachsite.,TheuserrequestsacertificatetotheCertificateAuthoritywebfront-end.,ThecertificateisproducedandsignedbytheCertificateServer.,Theusergetsthecertificate.,Nowthattheuserhashis/hercertificateinstalledonhis/herUserInterface,he/shecansubmithis/herjobrequests.,Aftercreatingaproxyprocesswithtemporarycredentials(“grid-proxy-init”command),theusersubmitshis/herjobrequesttotheResourceBroker.,Submitted,TheResourceBrokerqueriestheReplicaCatalogandInformationIndextofindsuitableresources(storagespace,dataandcomputingpower).,Waiting,TheResourceBrokerselectstheresources.,Ready,TheResourceBrokersubmitsthejobtotheselectedComputingElement(s).,Scheduled,TheComputingElementdeliversthejobtoitsWorkerNode(s),whichwilldotherealwork.,Done,OutputReady,TheoutputismovedtotheResourceBroker,Theusergetshis/heroutput,Cleared,網(wǎng)格計(jì)算環(huán)境示例,Grid,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluste