一個復(fù)雜的PBS腳本

化工學(xué)院高性能計算機集群（HPC）使用說明浙江大學(xué)化工學(xué)院曙光計算機公司6/15/2015本項目由18個曙光I620-G20高性能節(jié)點構(gòu)成了基于Linux系統(tǒng)并行環(huán)境，以千兆快速TCP/IP以太通信網(wǎng)為基礎(chǔ)，以NFS共享存儲方式組的高性能并行計算系統(tǒng)；其中TC5000與TC5001為登錄及管理節(jié)點、node1~node16為計算節(jié)點；其中TC5000與TC5001同時承擔(dān)集群共享I/O服務(wù)，所有節(jié)點必須有共享/public目錄；其中/public/software/下面為集群軟件安裝路徑，所有軟件安裝到該目錄下面，不同的軟件安裝到該目錄下面的不同文件目錄，文件目錄最好以軟件名為名以進行區(qū)分。系統(tǒng)物理組成開機順序：1、先開以太網(wǎng)交換機，F(xiàn)C光纖磁盤陣列電源；2、1分鐘后打開TC5000與TC5001節(jié)點電源；3、3分鐘后打開node1~node16電源；關(guān)機順序：1、先關(guān)閉node1~node16電源;2、等待3分鐘以后，關(guān)閉TC5000及TC5001電源；3、等待紅3分鐘后，關(guān)閉交換機及FC光纖磁盤陣列電源。開關(guān)機順序管理節(jié)點登錄IP：用戶名：（需要申請）密碼：（需要申請）登錄方式：ssh命令行登錄、VNC圖形化界面登錄；登錄工具：putty命令行登錄、VNCViewer圖形化登錄；LinuxtoWindows文件傳輸工具：winscp系統(tǒng)登錄命令行登錄-putty工具命令行登錄命令行登錄圖形化登錄使用VNCViewer工具輸入服務(wù)器IP:端口號，然后點擊OK圖形化登錄輸入登錄密碼圖形化登錄-圖形化界面登錄成功右鍵、openterminal打開命令操作窗口圖形化登錄-圖形化界面命令窗口啟用VNC步驟：1、su-username2、vncserver （注意，第一次運行會提示設(shè)置密碼）運行完后，注意生成的ID號,然后即可以用VNCviewer客戶端工具連接了。高級操作：1、vncserver-kill:ID號（殺掉剛剛生成的圖形連接ID號）2、示例使用：vncserver-geometry1920x1080-depth24:5指定分辨率1920x1080，指定端口ID為5；3、改圖形化登錄密碼：vncpasswd圖形化登錄開啟方法文件傳輸工具文件傳輸工具操作系統(tǒng)：RedHatEnterpriseLinuxServerrelease6.4系統(tǒng)位數(shù)：64位編譯器：Intel14，安裝路徑/public/software/intel，也可以使用whichicc或whichifort查看詳細路徑；GCC編譯器，使用whichgcc查看詳細路徑；Open-MPI1.6.3安裝路徑/public/software/mpi/openmpi1.6.3-intel/，也可以使用whichmpirun查看詳細路徑作業(yè)調(diào)度系統(tǒng)：torque；并行軟件環(huán)境集群操作命令集群狀態(tài)顯示：pestat集群狀態(tài)顯示：pestst查看IP：ifconfig查看文件系統(tǒng)掛載：df-h顯示當(dāng)前所在文件夾路徑：pwd顯示當(dāng)前所在文件夾下文件及文件夾：ls-a顯示當(dāng)前文件夾大小：切換文件夾：cd文件夾路徑創(chuàng)建文件夾：mkdir文件夾名刪除文件夾：rm-rf文件夾名刪除文件:rm-rf文件名查看文本文件內(nèi)容:cat文件名編輯配置文件：vi配置文件名載入軟件環(huán)境變量：source環(huán)境變量文件絕對路徑系統(tǒng)基本操作命令集群管理命令：clusconf【添加賬號：clusconf-au賬號名】【刪除賬號：clusconf-du賬號名】【同步文件：clusconf-yf路徑加文件名】【批量執(zhí)行命令：clusconf【測試IP：cluster-n】【集群文件系統(tǒng)顯示：-yd命令】cluster-s-yddf-h |grep-E"node|public"】集群操作命令[root@node15~]#clusconf-autestuserREMOTE_SHusingssh/scpOperationisdoneinfollowinghosts:node1node2node3node4node5node6node7node8node9node10node11node12node13node14node15Nowadduser:testuserontheWholecluster5..4..3..2..1..InputtheHomedirectoryforuser:testuser[/public/home/testuser]:直接回車InputtheGroupNameforuser:testuser[users]:直接回車Inputtheuidforuser:testuser[505]:直接回車Changingpasswordforusertestuser.NewUNIXpassword:此處輸入密碼BADPASSWORD:itisbasedonadictionarywordRetypenewUNIXpassword:此處輸入確認密碼passwd:allauthenticationtokensupdatedsuccessfully.NowSynchronizeuserandgroupontheWholecluster5..4..3..2..1..addusertestuseronthewholeclustersuccessfully!集群添加賬號過程切換賬號：su-用戶名切換節(jié)點：ssh節(jié)點名文件編輯工具：vi重啟命令：reboot使用此命令切換到某個賬號使用此命令登錄到某個節(jié)點關(guān)機命令：shutdown-hnow集群操作命令vi是Linux系統(tǒng)下面最常用的文本編輯工具，幾乎所有系統(tǒng)配置相關(guān)的修改都要使用到這個工具。例：有/test.txt文檔，該文檔內(nèi)容為[root@node1~]#cat/test.txt111111112222222233333333實驗內(nèi)容：先在/test.txt文件第4行添加44444444，同時復(fù)制第2行內(nèi)容到第5行。最基礎(chǔ)最常用vi在介紹cat命令時，我們使用了more與grep參數(shù)，這兩個參數(shù)非常的有用，可以在任何顯示內(nèi)容性的命令后面添加這個參數(shù)，以方便我們獲取到需要的有用信息。more參數(shù)可以讓我們一頁一頁的查看內(nèi)容；grep參數(shù)可以讓我們篩選出所需要的信息。通用參數(shù)more與grep一、本地文件及文件夾的復(fù)制cp源文件 目標(biāo)文件例：cp/a/b二、網(wǎng)絡(luò)文件及文件夾的復(fù)制scp源文件目標(biāo)文件 例：scp/a192.168.1.1:/b通用參數(shù)：-r復(fù)制文件夾時必須添加的參數(shù)；-a不改變?nèi)魏挝募傩缘膹?fù)制-f強制復(fù)制-u只復(fù)制目標(biāo)沒有的文件文件及文件夾復(fù)制一、文件及文件夾的移動、重命名mv源文件目標(biāo)文件當(dāng)源文件與目標(biāo)文件存放路徑一致時，實際執(zhí)行重命名操作參數(shù)：-f強制模式、-u只移動目標(biāo)沒有的文件或文件夾二、文件及文件夾的刪除rm文件名，可以刪除文件參數(shù)：-r刪除文件夾時必須添加該參數(shù);-f強制模式注：所有的文件及文件夾操作均可使用通配符*，但請慎用。文件移動、重命名及刪除一、一般使用ls[root@node1~]#lsaaa Desktop二、查看權(quán)限及修改時間用ll[root@node1~]#lltotal14820softwaredrwxr-xr-x2root root 4096Dec1210:58aaa通用參數(shù)：-a顯示所有文件，包含文件名前為.的隱藏文件-h格式化顯示文件大小列出文件列表集群賬號目錄：[root@tc5000~]#ls/public/home/msi test user00使用clusconf–au添加賬號時，默認會把用戶目錄建到上面路徑下面。集群軟件安裝目錄：[root@tc5000~]#ls/public/software/集群安裝軟件時，需要在TC5000節(jié)點安裝到/public/software下面，如果軟件只有自己使用，則可以安裝在自己的賬號目錄下面即可。集群軟件安裝app compilerintel-old mathlibmatthlab-oldmodules mpimpi-old profile.d查看文件夾下面的文件及文件夾大小可以使用du命令：du文件夾-h查看某個文件夾具體大小du文件夾-sh查看文件夾總大小PBS作業(yè)調(diào)度使用說明1. 準(zhǔn)備：編寫描述改作業(yè)的腳本，包括作業(yè)名，需要的資源等。2. 提交：使用qsub命令將該作業(yè)提交給PBS服務(wù)器3. 排隊：服務(wù)器將該任務(wù)排入適當(dāng)?shù)年犃?. 調(diào)度：服務(wù)器檢查各工作節(jié)點的狀態(tài)是否符合該作業(yè)的要求，并進行調(diào)度。5.執(zhí)行：當(dāng)條件滿足時，作業(yè)被發(fā)給相應(yīng)的執(zhí)行服務(wù)器執(zhí)行。程序運行時執(zhí)行服務(wù)器會收集程序的標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯誤流，等程序結(jié)束時，將這些信息返回給用戶。6. 查詢和調(diào)整：當(dāng)作業(yè)在運行時，用戶可以使用qstat進行狀態(tài)查詢。用戶發(fā)現(xiàn)作業(yè)提交錯誤時，可以使用qdel刪除正在運行的作業(yè)。7. 查看結(jié)果：使用文本編輯軟件vi或者系統(tǒng)命令cat,less等查看輸出及錯誤信息顯示。PBS作業(yè)提交步驟

在PBS系統(tǒng)中，用戶使用qsub命令提交用戶程序。用戶運行程序的命令及PBS環(huán)境變量設(shè)置組成PBS作業(yè)腳本，作業(yè)腳本使用如下格式提交到PBS系統(tǒng)運行：qsub<PBS作業(yè)腳本>qsub-Ntest.vasp-lnodes=4:ppn=2-qdefaults<PBS作業(yè)腳本>PBS作業(yè)提交基本命令

本質(zhì)是一個SHELL腳本

注釋以“#”開頭

PBS運行參數(shù)，以“#PBS”開頭

可以直接調(diào)用SHELL命令和系統(tǒng)命令#PBS-Nvasp#PBS-lnodes=1:ppn=1#PBS-lwalltime=12:00:00#PBS-qhighcd/home/test/work./test.exePBS作業(yè)腳本PBS運行參數(shù)在PBS腳本和qsub命令行中均有效，qsub命令行參數(shù)的優(yōu)先級更高運行參數(shù)說 明-a<作業(yè)開始運行的時間>向PBS系統(tǒng)指定作業(yè)運行的開始時間。作業(yè)運行時間格式為： [[[[CC]YY]MM]DD]hhmm[.SS]-A<用戶名>使用不同的用戶來提交作業(yè)，缺省使用當(dāng)前用戶名-o<標(biāo)準(zhǔn)輸出文件的路徑>-e<標(biāo)準(zhǔn)錯誤輸出的路徑>該參數(shù)指定標(biāo)準(zhǔn)錯誤輸出的位置，缺省的情況下，PBS系統(tǒng)把標(biāo)準(zhǔn)輸出和標(biāo)準(zhǔn)錯誤輸出放在用戶qsub命令提交作業(yè)的目錄下。標(biāo)準(zhǔn)錯誤輸出：<作業(yè)名>.o<作業(yè)號>標(biāo)準(zhǔn)錯誤輸出：<作業(yè)名>.e<作業(yè)號>路徑使用如下格式標(biāo)準(zhǔn)：[<節(jié)點名>:]<路徑名>-N<作業(yè)名>指定提交的作業(yè)名-q<目標(biāo)隊列>指定作業(yè)提交的目標(biāo)隊列，其中目標(biāo)隊列可以是目標(biāo)隊列、目標(biāo)節(jié)點名或者是目標(biāo)節(jié)點上的隊列。如果目標(biāo)隊列是一個路由隊列，那么服務(wù)器可能把作業(yè)路由到新的隊列中。如果該參數(shù)沒有指定，命令qsub會把作業(yè)腳本提交到缺省的隊列中。-l<申請資源列表>該參數(shù)指定作業(yè)腳本申請的PBS系統(tǒng)資源列表。申請資源列表使用如下格式：<資源名>[=[<數(shù)量>]][,資源名[=[<數(shù)量>]]，…..]例如作業(yè)希望申請在雙路節(jié)點上申請5個CPU資源的情況，則可以在腳本中如下：#PBS–lnodes=2:ppn=2+1:ppn=1PBS的環(huán)境變量變量名說 明登陸SHELL繼承來的變量包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。$PBS_O_HOSTqsub提交的節(jié)點名稱$PBS_O_QUEUEqsub提交的作業(yè)的最初隊列名稱$PBS_O_WORKDIRqsub提交的作業(yè)的絕對路徑$PBS_JOBID作業(yè)被PBS系統(tǒng)指定的作業(yè)號$PBS_JOBNAME用戶指定的作業(yè)名，可以在作業(yè)提交的時候用qsub–N<作業(yè)名>指定，或者在PBS腳本中加入#PBS–N<作業(yè)名>。$PBS_NODEFILEPBS系統(tǒng)指定的作業(yè)運行的節(jié)點名。該變量在并行機和機群中使用。當(dāng)在PBS腳本中用#PBS–lnodes=2:ppn=2指定程序運行的節(jié)點數(shù)時，可以使用$PBS_NODEFILE在腳本中引用PBS系統(tǒng)指定的作業(yè)運行的節(jié)點名。比如：#PBS–lnodes=2:ppn=2mpirun–np4–machinefile$PBS_NODEFILE<程序名>$PBS_QUEUEPBS腳本在執(zhí)行時的隊列名#這是一個串行作業(yè)腳本的例子#PBS-Ntest#PBS-lnodes=1:ppn=1cd$HOME/test/./a.out>$HOME/result/a.result#這是一個并行作業(yè)腳本的例子#PBS-Nvasp_job#PBS-lnodes=2:ppn=8#PBS-qlowechoThisjobsis$PBS_JOBID@$PBS_QUEUEcd$PBS_O_WORKDIRmpirun-np16-machinefile$PBS_NODEFILE./vaspPBS腳本舉例PBS腳本舉例（續(xù)1）

有時在PBS腳本中，需要對PBS環(huán)境變量的內(nèi)容進行改造

比如，$PBS_NODEFILE，該文件內(nèi)容格式為：node1node1node2node2對于一般MPI程序，可直接將$PBS_NODEFILE作為MPI的”-machinefile”參數(shù)，如上例所示

而一些軟件有特殊的節(jié)點指定格式，比如ANSYS的命令行參數(shù)格式為：ansys121-dis-machinesnode1:2:node2:2-itest.inp-otest.log

這時我們可以對$PBS_NODEFILE進行字符處理，得到需要的格式#這是一個ANSYS并行作業(yè)的例子#PBS-Nansys_job#PBS-lnodes=2:ppn=8#PBS-qlowINPUTFILE=test.inpOUTPUTFILE=test.loghosts=`cat$PBS_NODEFILE|uniq-c|awk'{print$2":"$1}'|tr'\n'':'|sed's/:$//'`cd$PBS_O_WORKDIRansys121-dis-machines$hosts-i$INPUTFILE-o$OUTPUTFILEPBS腳本舉例（續(xù)2）#!/bin/bash#PBS-Njobname#PBS-lnodes=2:ppn=8cat`echo$PBS_NODEFILE`>$HOME/$PBS_JOBID.nodesfornodein`cat$HOME/$PBS_JOBID.nodes`dossh$nodemkdir/tmp/$PBS_JOBIDssh$nodecp-rf$PBS_O_WORKDIR/*/tmp/$PBS_JOBID/donecd/tmp/$PBS_JOBIDmpirun-np16-machinefile$PBS_NODEFILE$HOME/bin/vaspcp-rf/tmp/$PBS_JOBID/*$PBS_O_WORKDIR/fornodein`cat$HOME/$PBS_JOBID.nodes`dossh$noderm-rf/tmp/$PBS_JOBIDdonerm$HOME/$PBS_JOBID.nodes一個復(fù)雜的PBS腳本#這是一個并行作業(yè)腳本的例子#PBS-Nvasp.Hg#PBS-joe#PBS-lnodes=2:ppn=12:amd#PBS-qlowecho"Thisjobsis"$PBS_JOBID@$PBS_QUEUENP=`cat$PBS_NODEFILE|wc-l`cd$PBS_O_WORKDIRmpirun-np$NP-machinefile$PBS_NODEFILE./vasp#PBS-lnodes=2:ppn=4:amd:chem#PBS-lnodes=1:ppn=8:chem+1:ppn=8:bio#PBS-lnodes=node1:ppn=8+node2:ppn=8指定節(jié)點特性作業(yè)提交后，會生成一個作業(yè)號，如：[dawning@node1~]$qsubtest.pbs93.node1查看集群作業(yè)運行狀態(tài)：[dawning@node1~]$qstat作業(yè)狀態(tài)說明：E：退出Q：排隊H：掛起R：運行C：結(jié)束查詢作業(yè)狀態(tài)JobidNameUserTimeUseSQueue--------------------------------------------------------- -----93.node1test.pbstest0 Rdefault95.node1vasp.Hgvasp0 E default111.node1structureamber0 Qdefault[dawning@node1~]$qstatJobid Name---------------- ----------------93.node1 test.pbs95.node1 vasp.Hg111.node1 structureUser----------------zhaocsvaspamberTimeUseSQueue--------- -----0 Rdefault0 E default0 Qdefault查詢某個作業(yè)運行狀態(tài)：qstat93.node1(或者qstat93)顯示作業(yè)運行在哪些節(jié)點上:qstat-n93.node1顯示作業(yè)運行詳細信息:qstat-f93.node1查詢作業(yè)狀態(tài)（續(xù)）[dawning@node1~]$qstatJobid Name---------------- ----------------93.node1 test.pbs95.node1 vasp.Hg111.node1 structureUser----------------zhaocsvaspamberTimeUseSQueue--------- -----0 Rdefault0 E default0 Qdefaultqdel93.node1取消刪除作業(yè)注：用戶只能刪除自己的作業(yè)，管理員可以刪除所有用戶作業(yè)[dawning@node1~]$qstatJobid Name---------------- ----------------93.node1 test.pbs95.node1 vasp.Hg111.node1 structureUser----------------zhaocsvaspamberTimeUseSQueue--------- -----0 Rdefault0 E default0 Qdefault掛起作業(yè)：qhold111.node1取消作業(yè)掛起qrls111.node1作業(yè)掛起及取消[dawning@node1~]$qstatJobid Name---------------- ----------------93.node1 test.pbs95.node1 vasp.Hg111.node1 structureUser----------------zhaocsvaspamberTimeUseSQueue--------- -----0 Rdefault0 E default0 Qdefault更改作業(yè)運行隊列：qmovehigh111.node1更改作業(yè)資源屬性：qalter-lwalltime=10:00:00111.node1更改作業(yè)[dawning@node1~]$qstatJobid----------------93.node195.node1111.node1112.node1Name----------------test.pbsvasp.HgstructuregaussianUser----------------zhaocsvaspambergaussTimeUseSQueue--------- -----0 Rdefault0 E default0 Qdefault0 Q default交換兩個作業(yè)的排隊順序：qorder111.node1112.node1[dawning@node1~]$qstatJobid Name---------------- ----------------93.node1 test.pbs95.node1 vasp.Hg112.node1 gaussian111.node1 structureUser----------------zhaocsvaspgaussamberTimeUseSQueue--------- -----0 Rdefault0 E default0 Q default0 Qdefault交換作業(yè)順序

PBS腳本中可以指定多個作業(yè)之間的依賴關(guān)系，比如作業(yè)提交前另一個作業(yè)必須完成，否則處于排隊狀態(tài)#PBS-Nstep2#PBS-lnodes=4:ppn=4#