MATLAB分布式并行計算服務器配置和使用方法

1、Windows下MATLAB分布式并行計算效勞器配置和使用方法1 MATLAB分布式并行計算效勞器介紹MATLABDistributedputingServed以使并行計算工具箱應用程序得到擴展，從而可以使用運行在任意數(shù)量計算機上的任意數(shù)量的worker。MATLABDistributedputingServer還支持交互式和批處理工作流。止匕外，使用ParallelputingToolbox函數(shù)的MATLAB應用程序還可利用MATLABpilerMATLAB編譯器編入獨立的可執(zhí)行程序和共享軟件組件，以進展免費特許分發(fā)。這些可執(zhí)行應用程序和共享庫可以連接至MATLABDistributedpu

2、tingServedworker,并在計算機集群上執(zhí)行MATLAB同時計算，加快大型作業(yè)執(zhí)行速度，節(jié)省運行時間。MATLABDistributedputingServe皮持多個調(diào)度程序：MathWorks作業(yè)管理器隨產(chǎn)品提供或任何其他第三方調(diào)度程序，例如PlatformLSF、MicrosoftWindowsputeClusterServerCCSJ、AltairPBSPro以及TORQUE使用工具箱中的ConfigurationsManager配置管理器，可以維護指定的設置，例如調(diào)度程序類型、路徑設置，以及集群使用政策。通常，僅需更改配置名稱即可在集群間或調(diào)度程序間切換。MATLABDist

3、ributedputingServe會在應用程序運行時在基于用戶配置文件的集群上動態(tài)啟用所需的許可證。這樣，管理員便只需在集群上管理一個效勞器許可證，而無需針對每位集群用戶在集群上管理單獨的工具箱和模塊集許可證。作業(yè)Job是在MATLAB量的操作運算。一個作業(yè)可以分解不同的局部稱為任務TasK,客戶可以決定如何更好的劃分任務，各任務可以一樣也可以不同。MALAB中定義并建立作業(yè)及其任務的會話Session3被稱為客戶端會話，通常這是在你用來編寫程序那臺機器上進展的?？蛻舳擞貌⑿杏嬎愎ぞ呦鋪矶x和建立作業(yè)及其任務，MDCE通過計算各個任務來執(zhí)行作業(yè)并負責把結果返回客戶端。作業(yè)管理器JobMana

4、ger是MDCE的一個組成局部，用來協(xié)調(diào)各個作業(yè)及其任務在各個woker上的執(zhí)行。如下圖，MATLAB客戶端Client與調(diào)度或作業(yè)管理器Sheudler/Jobmanager和計算節(jié)點Worker之間的關系。2 MATLAB分布式弁行計算效勞器配置方法要求參與并行運算的機器matlab版本一樣，操作系統(tǒng)可以不同待考證2.1 配置主機2.1.1 Windows防火墻設置a.以管理員權限登陸計算機b.將matlab添加到防火墻，在DOS命令窗口下執(zhí)行以下命令matlabroottoolboxdistpbinaddMatlabToWindowsFirewall.bat其中matlabroot是指m

5、atlab安裝位置，比方在我的計算機里是C:ProgramFilesMATLABR2013a假設這樣添加兩臺機器依然無法ping通，請將防火墻關閉，關閉方法見附錄。2.1.2 配置多用戶電腦假設某機器是多用戶的，那么需要進展如下配置。目前測試成功的機器不需要這一步，所以這一步暫時可以忽略。a.編輯配置文檔mdce_def.batmatlabroottoolboxdistpbinmdce_def.batb.找至UMDCEUSE卷數(shù)，按照domainusernameB形式進展配置setMDCEUSER=mydomainmyusernamemydomain可以是電腦ip地址，myusername是電

6、腦的用戶名。c. 找到并配置MDCEPASSsetMDCEPASS=passwordpassword是電腦的登陸密碼。d. 保存文檔。2.2 關閉老版本matlab的mdce效勞器配置a.以必要的權限翻開DOS命令窗口。Win7下開啟方法是以管理員身份運行cmd.exe程序。開場-搜索cmd-以管理員的身份運行。b.在DOS窗口下翻開老版本matlab的目錄，命令是：cdoldmatlabroottoolboxdistpbinc.停頓老版本的mdce效勞并移除關聯(lián)文件。命令是：mdceuninstall-cleand.在所有的worker節(jié)點上重復以上步奏。2.3 安裝mdce等效勞，配置節(jié)點

7、，開啟MJS、worker2.3.1 安裝和開啟mdce效勞a.以管理員身份運行cmd.exe。b.如果matlab沒有安裝在C盤，那么需要指定matlab安裝盤。如安裝在D盤，那么輸入“D：c.輸入mdce效勞命令文件所在目錄，格式是:“cdmatlabroottoolboxdistpbin。rawk揖艮;CiWindow5Gyst&mi32cmdjExeirrnroFt IJindnuk 不 fi.1.76311版權所有<c>2009MicrocoFtCoi'jporation保留所有權利C：XWiftdoussysten32>C：:xUindnu5sys

8、t*rt15>rdC-P>*ni*KmFilesM0TLARB2fil34tnfthn>fdi5tnnDb,ir>-sPr&v1*1FiltJiIfiTLADERS013<iStd<jLbux'Mli.i；LcunipSbJjid.輸入mdceinstall安裝mdce效勞。e.輸入mdcestart開啟mdce效勞。f.開啟RPC效勞。開場，搜索，效勞，以管理員身份運行。將下列圖紅色圈的兩項效勞開啟并設為自動開啟。根據(jù)目前測試，該步驟可忽略。8爵1。卜曰Mi箕林明ift»TLWani>ileictMi* BE山枕卸Qi岳 I

9、 * ml * 除ati&fLerngtc PnKedMirc CiJI (RPC：ftfe-手力靄罷廛魏.,?roblam 履叩。rtx. and icutioiii CianirM ?an4. r&giiHPi Ezi口司;b"宙山1/曲例集-均金口但；£y;g VJ" !" i , !' »' i' ' -” .L - 7 -Lerrate Access Autc Ccrinecztofii Miracsr. Uiiwie Acjlme Cor-t»ci；i3ri MArAger胃

10、EErtp hvd叩 Ccrifigvirat on-Mte g：-nci3 匕0rH亡心：QiHfliMto KMkia StrvIcM UtaiirMadt PWi L一號產(chǎn)EQM.：卡1rnlDCT 乜13 際»；.晦*0、pom < nz :二三 BsKflwnaek mgui 町xom-h屆tfi：條，蘇*于 二戀弓-，：=匚0,而匚：亡金出 K.說勵聞中凌停.當嵬至用、* 卬 CM * 5COM 支秘FSEtiE 童-f,孱 .- -.1 h，；q；*j±Ei 己百葫 宜融融制圖第a笫手手手JIFQ Lacagr,- WeoIe Kp馴rr如&嶼

11、Ind Rm&te -ficwsT RFC ilndp&rfl Mipprr丁三1內(nèi)臥*"產(chǎn)" "a ， - -"* ir - r-p. > - i-*Wuim ii “日u、皿心亍打.t''i/.h：B.'軒巳總副同期5美手司事的嘎喝升A丁 1瓢.巳日學HBmkMir二in=h-r»EnU?kfSH2.3.2配置節(jié)點a.找至Umatlab目錄atlabroottoolboxdistpbin,運行admincenter.ba墳件。b.點擊AddorFindAddorFindHosts對話窗口被翻開c

12、.選擇EnterHostnameorIPAddresses并輸入?yún)⑴c并行計算的機器的IP地址或主機名稱。AddorFindho&tsQEnterorP162.105.76.L&516-2.105.76.dtoTip:faMATLABJobScheduler(MJ5)isrunning,younedaddonlyHieMJ&hosttot卜li5t,AdminCenterwilladdthehos.tsofallworkersconnectedtoit._yjmdcesenicesonhosts(AllfloatsrnustbethesameplatforiTi)OKCa

13、nedH&lpd.點擊OK翻開Startmdceservice對話窗口。一直點擊next直到出現(xiàn)starttheservices,點擊以開啟效勞。假設Status欄是紅色，那么查看任務管理器，效勞里mdced效勞是否是開后狀態(tài)。假設效勞沒有開后那么需要手動開后效勞。開場->搜索，效勞->以管理員身份運行，找到對應的效勞并開啟,0Windows管理第文件舊造項（口）有看M藉助（WI應用程序蟠I服藥'性葭丑網(wǎng)用戶名稱F工口描述litAsvcLimit-LayerTopology一，Imazesvr1715ImazesTorImaiftupd.u.20sBIm&z

14、eupdat«dInitiosts2SBTCP/TPWetEIOSHelperHcxZSvcCenterEx.,.；口四£虱拒泣.MAILAE_.Bi5tribtedC.,IKEMiiltimtditClassSch.HpsSvc1560WijidowsFirewallSDTCDistributedTraiisact,NSiSCSrMicrosoftiSCSITnit.nisistrverWindowiInstallerH5SQL3SQ214BS91ServerGQEENF社SS)iSSQLSer.SQLActiveDirectory.,II'!1，iF1.Fa止止

15、一態(tài)停一一一停二優(yōu)已正正正己I:已僖止正.已僖止已慎止已僖止正.已停止nr文相由0晨I£3V）幄蒯IE，E）匚&GII日寸修|，MATLABOisfnbiJttdComputingServer5單"匚.uon在；,compulffcETtcrarti'/?-SeiTiice"?Cptectigm季酒IffitFmeteorieaSiiShadingIlCS.i為兄，正月-rtEmelzxplicrerE用Cclle-DrSereiceETY九.手劃。記之-P"0口孑的e已之克自即注力至維1313mPciicyAgntirrtJE-r.E三

16、汽學前-MimRmD1rEHjtedF-ar-f*artk)nC-oo-dina,分a.手司Lnk-LarTcp«z-3gl；口i:cwyMappw闔工李副二與至%Knazesvr已言時自口I工也生安lFi±ua?結亡且肅匚卻H4生如A*avn訃*utv*gfiMAHAB耳狀狀Z!堂金與-wjjj_ediaCerttfCjrwnd.rS4huh4允if：hapiir,ii.I'if4r'1"',''.i'.smH：C*理ZiVoii>kHETFramwvkNGENv：5t：7：7rM；cr.哂IMii?5由JN

17、fIRiirftPwQrkNtjfNWm象；事ia.Micr.n目動iw泗.;法¥*!H<v9ioh«IFramcwkNtFN檔J33J15.Mie.匚常印沙F隼蜿N滬S；MTd葉5|Er用于“已居重巨動到不就。附68用SC£13而&pvker?H?-i劃：-五用Micro&DftSctwfiTffShadowCopy加褊'dFH.s手前-"Mlultivnedi$&dieddler至三噸三氣r=tHMATLABDi&tr»buifidl(o*wipvtingSsrwepAll0.已由自詡e.點擊T

18、estconnectivity并查看測試結果。紅色圈處顯示Passed表示連接測試通過2.4 開啟MJSa.在MJSMatlabJobScheduler模塊單擊Start。NewMATLABJobScheduler(MJS)Enteram*tnefurthisMJS:IMyMJS|HasttostartthisMJSon;jiariui-PC(162,105.76.1S5)AdminuserIV1DCSonhost162A05.76*165isrunningsecuritylevel0.Therefore,noadminuserexistsardnopasswordrequired.PasEv

19、wtjrdofadmihu-mr:|Confirmthepassvword:OKCancel Helpb.點擊OK以繼續(xù)2.5 開啟Workersa.在Workers模塊點擊Start。Workers 數(shù)。b.在彈出的StartWorkers對話框Workers欄輸入每臺機器開啟的c.d.選擇要運行Workers的主機點擊OK以繼續(xù)。此后會初始化Workers,此過程需要幾分鐘時間3MDCEserver的使用3.1 找至Uclustersa.點擊matlab工具欄Parallel右下角的三角符號，并選擇DiscoverClusters.Sj田SimuhrkLayoutLibraryPr&

20、;ferentes包,詼Curnmunity3年tPatti二,R四u,tSuport二H即一HP&T3I間-A4d-0rtS-SIUIULlNK£hSetgfaul七)ChoosethedefaultclusterprofiletoutewithmathbpooLbatch,orparclurterDiseoverClusters.SearchTaiTT/ALAB-Ctnbut&dComputingServercluitersonyournetworkManageOusterProfilM.Create,editorimportclusterprofiles:17C

21、£T2014MenitorJ«b«V骨andworkwithjobsonyournrachineoronacluit&rb.勾選Onyournetwork并按next。c.選擇之前建立的Cluster并按next。4DiscoverClustersWhwedoyouwantt口lookforMATLABDi?tribut#dCompulingServerdu專ter0dOnyournetworkSelprt-hiontionifyour<lu+eru。日aMATIABjobrhrljiler(MJS'lnrMirrosnftVZndowsHP

22、CServerOnArrdzonECZSelectthisoptiontofindduster?runningonAmazonEC2.YoumustprovideyourMathWorksAccountlogninformationtoaccesstheseclusters.NextCanceld.如紅線所示顯示成功后勾選“SetnewclusterprofileasdefauIt將其作為默認設置，點擊finish。DiscowrClustersYouhavesuccessfullyadded廿eclusterprofileMJSProfilel.“Setnewclusterprofileas

23、deFaultHereareomethngsyoumightlAranttotryrext! ClideValidateintheClusterProfileManagertoensurethenewdusterprofileworks OpenaninteractivemathbpodonthecliKtecthenuseparfororspmd SubmitabatchjobtotheclusterFinish .2管理弁檢測Cluster配置文件a.b.點擊matlab工具欄Parallel右下角的三角符號，并選擇ManageClusterProfiles。©Preferenc

24、es色一Coirmun知圖5削PattiRgustS陰portLayoutHelpMParallelt*gpAdd-Ons-JSetDefaultChoosethedefaultclusterprofiletouwwithrnatlabpo&rciurterDi»overClurterSearchforMATLABDistributedComputingSr.erclusteronyournetwork4ManageClusterProfiles.C£dt,ed匯口importdintETprofilesMonitorJebs.Viewand

25、ivcrkwithjobsonyourmachinearan3cluster在ClusterPro川田選擇上一步中設為默認的Profile紅線處，在Properties欄可以編輯一些屬性，不編輯那么使用默認屬性。在ValidationResult#可以進展有效性檢測。點擊右下角Validate進展檢測，假設通過那么如下列圖所示3.3 MonitorJobsa.點擊matlab工具欄Parallel右下角的三角符號，并選擇MonitorJobs圜ESinxi lint L ayoutLibrary / Preferen ces 2 Sst Path -parflliel -0 Commun ty

26、HelpW Requ&sl Su叩d ri AthkOns -Set DefaultChoo5thf cleiault cluster profile ta ue with Hnatlabpcol. batch, or parclutier口 i x口 u 宜P公.Search for MATLAB Distributed Computing 5erv-er clusters on your network:Manage Cluster Profile'sCreate edit, or import cluster profileMonitor JebsView and warlc with Jobs on jrour machine or on a clusterb.在新出現(xiàn)的Job Monitor窗口中選擇默認的profile。之后就可以通過此窗口觀察Job的狀態(tài)。3.4 進展弁行計算a.開啟并行。在matlab命令窗口輸入matlabpoolopen開啟所有的works。此時JobMonitor窗口會顯示工作狀態(tài)。Job Monterb.運行并行程序c.關閉并行。在 matlab命令窗口輸入 matlabpool close4測試結果4.1仿真程序runt lues = lei 1: dummy - 0;= 0;|t