MATLAB分布式并行計算服務器配置和使用方法

1、Windows下MATLAB分布式并行計算服務器配置和使用方法1MATLAB分布式并行計算服務器介紹MATLABDistributedComputingServer可以使并行計算工具箱應用程序得到擴展，從而可以使用運行在任意數(shù)量計算機上的任意數(shù)量的worker。MATLABDistributedComputingServer還支持交互式和批處理工作流。此外，使用ParallelComputingToolbox函數(shù)的MATLAB應用程序還可利用MATLABCompiler（MATLAB編譯器）編入獨立的可執(zhí)行程序和共享軟件組件，以進行免費特許分發(fā)。這些可執(zhí)行應用程序和共享庫可以連接至MATLAB

2、DistributedComputingServer的worker，并在計算機集群上執(zhí)行MATLAB同時計算，加快大型作業(yè)執(zhí)行速度，節(jié)省運行時間。MATLABDistributedComputingServer支持多個調(diào)度程序：MathWorks作業(yè)管理器（隨產(chǎn)品提供）或任何其他第三方調(diào)度程序，例如PlatformLSF、MicrosoftWindowsComputeClusterServer（CCS）、AltairPBSPro，以及TORQUE。使用工具箱中的ConfigurationsManager（配置管理器），可以維護指定的設置，例如調(diào)度程序類型、路徑設置，以及集群使用政策。通常，僅需

3、更改配置名稱即可在集群間或調(diào)度程序間切換。MATLABDistributedComputingServer會在應用程序運行時在基于用戶配置文件的集群上動態(tài)啟用所需的許可證。這樣，管理員便只需在集群上管理一個服務器許可證，而無需針對每位集群用戶在集群上管理單獨的工具箱和模塊集許可證。作業(yè)（Job）是在MATLAB中大量的操作運算。一個作業(yè)可以分解不同的部分稱為任務（Task），客戶可以決定如何更好的劃分任務，各任務可以相同也可以不同。MALAB中定義并建立作業(yè)及其任務的會話（Session）被稱為客戶端會話，通常這是在你用來編寫程序那臺機器上進行的?？蛻舳擞貌⑿杏嬎愎ぞ呦鋪矶x和建立作業(yè)及其任務

4、，MDCE通過計算各個任務來執(zhí)行作業(yè)并負責把結果返回客戶端。作業(yè)管理器(JobManager)是MDCE的一個組成部分，用來協(xié)調(diào)各個作業(yè)及其任務在各個woker上的執(zhí)行。如圖所示，MATLAB客戶端(Client)與調(diào)度或作業(yè)管理器(Sheudler/Jobmanager)和計算節(jié)點(Worker)之間的關系。2MATLAB分布式并行計算服務器配置方法要求參與并行運算的機器matlab版本相同，操作系統(tǒng)可以不同(待考證)。配置主機Windows防火墻設置以管理員權限登陸計算機將matlab添加到防火墻，在DOS命令窗口下執(zhí)行以下命令matlabroottoolboxdistcompbinadd

5、MatlabToWindowsFirewall.bat其中matlabroot是指matlab安裝位置，比如在我的計算機里是C:ProgramFilesMATLABR2013a。若這樣添加兩臺機器依然無法ping通，請將防火墻關閉，關閉方法見附錄。2.1.2配置多用戶電腦若某機器是多用戶的，則需要進行如下配置。目前測試成功的機器不需要這一步，所以這一步暫時可以忽略。編輯配置文檔mdce_def.batmatlabroottoolboxdistcompbinmdce_def.bat找到MDCEUSER參數(shù)，按照domainusername的形式進行配置setMDCEUSER=mydomainmy

6、usernamemydomain可以是電腦ip地址，myusername是電腦的用戶名。找到并配置MDCEPASSsetMDCEPASS=passwordpassword是電腦的登陸密碼。保存文檔。2.2關閉老版本matlab的mdce服務器配置以必要的權限打開DOS命令窗口。Win7下開啟方法是以管理員身份運行cmd.exe程序。開始-搜索cmd-以管理員的身份運行。在DOS窗口下打開老版本matlab的目錄，命令是：cdoldmatlabroottoolboxdistcompbin停止老版本的mdce服務并移除關聯(lián)文件。命令是：mdceuninstall-cleand.在所有的worker

7、節(jié)點上重復以上步奏。2.3安裝mdce等服務，配置節(jié)點，開啟MJS、worker2.3.1安裝和開啟mdce服務a.以管理員身份運行cmd.exe。b.如果matlab沒有安裝在C盤，則需要指定matlab安裝盤。如安裝在D盤，則輸入D：”c.輸入mdce服務命令文件所在目錄，格式是：“cdmatlabroottoolboxdistcompbin”。輸入mdceinstall安裝mdce服務。輸入mdcestart開啟mdce服務。f.開啟RPC服務。開始-搜索-服務-以管理員身份運行。將下圖紅色圈內(nèi)的兩項服務開啟并設為自動開啟。根據(jù)目前測試，該步驟可忽略?；浗j禍占描爭曲7S?W冏塔雲(yún);|ft

8、K.在W“RjematePrailureCallRPCReftiatePrcitedur*Call(RPCj巨述辰ess量助存.空r點蘇1=W卻血逞臨陶aecvT也曲lhH畤IIHlU倉國丨USJ丨|業(yè)RPC6S-軒昜*COMKIOCOM舉君畀圭g尉玆判萱理弄它宙行COM和DCDM腳5箭衽!Cg滴尹孟社也r?MO汨以版5L町別!&泊番耳:!EM.垢.耐直用匸81瑩DCOM的民事槪EfilE耳二慎M郵!.翹讓RKSS臟芬適_ProblemReport-andSolubcfflsConlrol口Hns.r-PrograinCompdihlit電sktdiMSeiTiice_ProtartsdSlo

9、rsgc$PratKi5LicencingV2_-Qu-styWndc*viAudioV*droInwrienw:Rtm口teAjcccs占l/口Cannedli口nManagerRsmotaAcceosConnectionMBnoger:fttm口怙De-skfi口口CjanRgurdtiori,RsmoteDeiklo口ServiceB：RemciteDe-fiklopericesUierModePortR_.底吧饒Fnrk肩PnMorol(e?p?ri_.4RpmoiwProreduHflQbIIIKPCILoc-stor:ftemcite-4#討tryIRoubngand嗆Accebs

10、1RPCEndpoinl-iSecondaryLogon$SecureScickelTumdinggPrdocDlService-iSecurityAccourtBMonngerFl廠ArikaihttiE-ttffi-粗-This.itB,.磁.E”垣程.兄SJ允機.Alp-.Iffi-昨在不中i-st_啟弼-Hf*于色手E手手于手手動動動刊a5B啟0JB巳曰彌垂聊網(wǎng)密聽社紐皇航卻輻彌垂聊士抽衛(wèi)口2.3.2配置節(jié)點a.找到matlab目錄atlabroottoolboxdistcompbin,運行admincenter.bat文件。點擊AddorFind。AddorFindHosts對話窗口

11、被打開c.選擇EnterHostnameorIPAddresses,并輸入?yún)⑴c并行計算的機器的IP地址或主機名稱。d.點擊OK打開Startmdceservice對話窗口。一直點擊next直到出現(xiàn)starttheservices,點擊以開啟服務?，F(xiàn)Admin匚enterl-=1冋iKMFileHostsMJ5WorkersHdpHoitsMd.jt丁iiji.HostMKEServiceMJWork.EtxrLridraSbfylr.HaatnanieReachabl已Care-sStatus|UpSinceName-匚口untStapmdrt5crvrtTav1:CsauiacLavifcf

12、Sunshine-PC162.105176.42)S怦4running2014-L1-2BHi.Djiariii-PC(162.105,76.165)S26running201-11-2613:,QMA1LABJobScheduter(MJSjStart.NameHDrtnameStatus-UpSince|WorkersSt-ap.加Oft亡WaricersWorkerNaniffHpffinarnfl1名tfftumUpSince-CornprlionMam?Hcwtname7卓調(diào)Updateevery2minutes-Updm懾Now|若Status欄是紅色，則查看任務管理器-服務里md

13、ced服務是否是開啟狀態(tài)。若服務沒有開啟則需要手動開啟服務。開始-搜索-服務-以管理員身份運行，找到對應的服務并開啟。億Windows任冬昔理器I回|浜文件舊選頊Q)查看幫助(H)I應用程序I進程T話I性能I聯(lián)網(wǎng)I用戶容稱FID狀態(tài)七d-EVCLiTik-LayerTopulogj-.已停止lmazewvt171B1maz&et正.lmazeup1.205Blmazsup-latel正.Imhoeis2SSTCT/IPKetBIOSHelper正.MckSSvgMdiCnteiExtiul已已停止ndeed552QMATLAEEistributeiC.7F.Multimedia.ClassSc

14、h.已停止FlipzSvc1580WindLiwsFireMalZL正.MSDTCHiztritmtedTrmzact.已停止MSiSCSIMicrosoftiSCSIInit.已傳止nzizerverWiiLdciweIn-t：iller已惇止MSSQUSg.2148SeiServer(S9EEKFKESS)正.MSSQLSer.SQLjlctiveIlLEuctriry.已諄止TTiILTii:1片.LrrrSfPLAjKi.V)悴助円拿申I団El回刼UAllotsiheu-seofworker?eu冃于“sa.手韻它理ar.巨韻d田e.點擊Testconnectivity并查看測試結果。

15、DetdilfClient-OniTesiPaseedClusterTortsCompuMiNodeClientcanresolvenodehoctnaClientcanconnecttosericconnodeServerhostnd-consist.MPhastna.匚onsist_.utbo.mhastriQresalut-.Inboundhostrid.mbsqIltL-ServerParteareliableNodecanannecttoserverpartsNodescanannecttoclient162.IDS心&粉Q&Q畑D5“o99QQ9QTeetResijlteSumma

16、ryTotalTEft9Passed:Failed:0Warning:2Skipped:0InfoOnly:1Tc&t&runon20W-1L-28L3半;11Campletedin19-275secondsNumberofcomputEnodesincluster:2rtunCiose|Help*ConnectivityTesting紅色圈處顯示Passed表示連接測試通過。2.4開啟MJSa.在MJS(MatlabJobScheduler)模塊單擊Start。b.點擊OK以繼續(xù)。2.5開啟Workers在Workers模塊點擊Start。在彈出的StartWorkers對話框內(nèi)Worker

17、s欄輸入每臺機器開啟的Workers數(shù)。該數(shù)目與計算機核數(shù)一直效率最高。StartWorkersHostsHostnsame亠CoresExistingWork.団Sunshine-PC(07jiariui-PC(l&2.1O5.7&.l&5)20Selecthostsfornewworkers.Youhaverequestedtostart4newworkersun門ingunderthisMTheto-talnumberofworkersmonitoredbythisAdminCentersessionwillbe4.OKCancelHelp選擇要運行Workers的

18、主機。點擊OK以繼續(xù)。此后會初始化Workers,此過程需要幾分鐘時間。3MDCEserver的使用找到clustersa.點擊matlab工具欄Parallel右下角的三角符號，并選擇DiscoverClusters.LayoutPreferences-0PathParalllHelp亞CcmniunityRequestuppDrtA-dd-Ons+tsl回可SimulinkLibrary51ULLINKEKSetDefaultChoosethedefaultclusterprofiletoutewithmatlabpooLbatch,orparclj&terDiscgwrClusteers

19、._i-earcrlormaILA.bIT&tributedComputingServerclustersonyournetwork:17CT2014ManageGlusterProfiles.Create,edit,orimportclusterprofilesMsnitsrJebsViewndworkwithjobsonyourfun匚hineoron3clutterb.勾選Onyournetwork并按next。機Dis匚overClusters1-MWheredoyouwanttolookfoMATLABDistributedComputingServerclustes?回Onyour

20、networkSelectthisoptionifyouclustersuseaMATLABjobschedule（剛勺orIVIi匸osoftWindowsUPCServer.IIOnAmazonEC2SelectthisoptiontofindclustersunningonAmazooEC2.YoumustprovideyourMathWorksAccountlogininformationtoaccesstheseclusters-.NextCancelc.選擇之前建立的Cluster并按next。d.如紅線所示顯示成功后勾選“Setnewclusterprofileasdefault

21、”將其作為默認設置，點擊finish。dDiscoverClustersYouhavesuccessfullyaddedtheclusteprofileMJSProfil&l.&SetriewclusterprofileasdefaultFinishHer巳ares-omething?youmightwanttotrynext:ClickValidate*intheClusterProfileManagertosurethenewclusterprofileworksOpenamiintaractivematlabpoolontheclusterjthenuseparfororspmdSubm

22、itabatchjobtothecluster3.2管理并檢測Cluster配置文件a.點擊matlab工具欄Parallel右下角的三角符號，并選擇ManageClusterProfiles。PrefereneasCommunityy-SetPatflRequestSupportLayoutHelp唱Parallel*丁呂Add-OnsSetDeult-Chooiethedefaultclusterpro-filetouewithmatlsbpo&l,kiatch.orpsrclu&ter|DiuwerClusters.SearchtorMATLABDistributedComp-uting

23、Serverclusterscmyourntvuark4ManageClusterProfiles.Create,edit,orimportclusterprofilesMo-niferViewandworkwithjobsonyournnm匚hineoronaclusterb.在ClusterProfile欄選擇上一步中設為默認的Profile（紅線處）,在Properties欄可以編輯一些屬性，不編輯則使用默認屬性。在ValidationResults欄可以進行有效性檢測。點擊右下角Validate進行檢測，若通過則如下圖所示。4ClusterPraFileMandgerAddOiscOT

24、crlmp:ttTCluder-sCREATEClusterPnDfilelocalLocalProfilelMJEPrcfileS=|Cupic-T您Rename2Edit前teteteSetasCeiaLilValidoleHelpVALIDATEHELP35/aliddtioriReeultEOverallgtatuuPafcedTypesMJEPro-filel(default)StdgeStatusDescriptionCluiler匚cmnecticmtes(partlusterolJobt1(cif&at&JabSPMDjobtet(ereateCommunicatingJob)

25、PooljobtEt(createCommuniwtingJcib)MAITAEpool(matlabpool)Validate3.3MonitorJobsB回LJS-imulink:LibraryLayoutPrefarancesJPSetPathParallel0HeIPCommLnityFLeque-stSupportAd-d-Onsa.點擊matlab工具欄Parallel右下角的三角符號，并選擇MonitorJobs。4ClusterPraFileMandger4ClusterPraFileMandgerSIWLILINK3DefaultChoosethedefaultdusterp

26、rofil-etousewithmatlabpooLbatch,orparclutterDiscoverClusters.SearchforMATLABDistributedComputingServercluter5onyournetwork:ManageClusterProfits.Create,edit,orimportclusterprofilesManitarJa-bsViewandworlcwithjakiionyourmachineorcn.adusterb.在新出現(xiàn)的JobMonitor窗口中選擇默認的profile。之后就可以通過此窗口觀察Job的狀態(tài)。3.4進行并行計算a.開啟并行。在matlab命令窗口輸入matlabpoolopen,開啟所有的works。此時JobMonitor窗口會顯示工作狀態(tài)。JobMonitorSeleci：Profile-：MJSProfilel(defauhtj丁|_|SJno-wjobsfro-malluserskDUsernameSubmitTimeFinishTimeTasksStateDescriptionB&jiariuiFri