pbs作業(yè)管理系統(tǒng)曙光學(xué)習(xí)教案

1、會計學(xué)1pbs作業(yè)作業(yè)(zuy)管理系統(tǒng)曙光管理系統(tǒng)曙光第一頁，共53頁。2022-2-12第1頁/共53頁第二頁，共53頁。2022-2-13n非授權(quán)用戶的控制第2頁/共53頁第三頁，共53頁。2022-2-14第3頁/共53頁第四頁，共53頁。2022-2-15第4頁/共53頁第五頁，共53頁。2022-2-16管理實現(xiàn)級別管理實現(xiàn)級別 進程級進程級作業(yè)級作業(yè)級調(diào)度方式透明，基于最小負載可以基于網(wǎng)絡(luò)拓撲/程序特性/負載/自定義策略調(diào)度管理層次 低級，僅根據(jù)局部信息 高級，根據(jù)全局信息負載均衡方式支持動態(tài)負載均衡支持靜態(tài)負載均衡；如有checkpoint功能，可支持動態(tài)負載均衡 資源共享僅能

2、夠共享硬件資源可以共享硬件、軟件和證書等資源服務(wù)質(zhì)量Qos可能造成大作業(yè)饑餓，無Qos只要策略適當(dāng)，可以保證Qos機群一致性的層次入口不一致，仍為多機系統(tǒng)；可以提供存儲一致性 提供單一系統(tǒng)入口和存儲一致性對用戶權(quán)限、資源和作業(yè)的高級管理策略無法實現(xiàn)能夠很好地實現(xiàn)系統(tǒng)結(jié)構(gòu)規(guī)模可擴展 如果規(guī)模過大，會遇到前述的O（）的通訊問題，難以擴展 通訊量與系統(tǒng)規(guī)模成線形放縮，可以很好的擴展對作業(yè)類型的限制如前述，不適合于系統(tǒng)調(diào)用較多的程序（如I/O密集型） 對程序類型無限制第5頁/共53頁第六頁，共53頁。2022-2-17第6頁/共53頁第七頁，共53頁。2022-2-18第7頁/共53頁第八頁，共53頁

3、。2022-2-19第8頁/共53頁第九頁，共53頁。2022-2-110第9頁/共53頁第十頁，共53頁。2022-2-111第10頁/共53頁第十一頁，共53頁。2022-2-112第11頁/共53頁第十二頁，共53頁。2022-2-113第12頁/共53頁第十三頁，共53頁。2022-2-114第13頁/共53頁第十四頁，共53頁。2022-2-115第14頁/共53頁第十五頁，共53頁。2022-2-116#!/bin/bash for i in seq 2 8 do echo “node$i -“ rsh node$i “cd /public/openpbs; make instal

4、l” echo “-“ echo “” done 第15頁/共53頁第十六頁，共53頁。2022-2-117第16頁/共53頁第十七頁，共53頁。2022-2-118第17頁/共53頁第十八頁，共53頁。2022-2-119# MOM server configuration file # if more than one value, separate it by comma. # rule is defined by the name $ideal_load 1.5 $ideal_load 1.5 $max_load 2$max_load 2 # host allowed to conne

5、ct to Mom server on unprivileged port $restricted $restricted * *. . # log event : # 0 x1ff log all events + debug events # 0 x0ff just all events $logevent 0 x0ff$logevent 0 x0ff # host allowed to connect to mom server on privileged port $clienthost node1$clienthost node1 # alarm if the script hang

6、 or take very long time to execute $prologalarm 30$prologalarm 30 第18頁/共53頁第十九頁，共53頁。2022-2-120創(chuàng)建隊列創(chuàng)建隊列create queue create queue 隊列名隊列名 queue_type = Excuttionqueue_type = Excuttion打開和啟動隊列打開和啟動隊列set queue set queue 隊列名隊列名 enable=t, started=tenable=t, started=t打開調(diào)度打開調(diào)度set server scheduling=tset server

7、 scheduling=t設(shè)置默認隊列設(shè)置默認隊列set server default_queue=set server default_queue=隊列名隊列名第19頁/共53頁第二十頁，共53頁。2022-2-121動作動作 對象類型對象類型 對象名對象名 屬性屬性 操作符操作符 值（，屬性值（，屬性 操作符操作符 值）值）createcreate創(chuàng)建一個對象創(chuàng)建一個對象deletedelete刪除一個對象刪除一個對象setset設(shè)置對象的屬性設(shè)置對象的屬性unsetunset除去對象的屬性除去對象的屬性printprint打印對象的屬性打印對象的屬性listlist列出對象的屬性列出對象

8、的屬性serverserver服務(wù)器服務(wù)器queuequeue隊列隊列nodenode節(jié)點節(jié)點第20頁/共53頁第二十一頁，共53頁。2022-2-122 create queue default create queue defaultset queue default queue_type = executionset queue default queue_type = executionset queue default max_running = 20set queue default max_running = 20set queue default enabled = Trues

9、et queue default enabled = Trueset queue default started = Trueset queue default started = Trueset server scheduling = Trueset server scheduling = Trueset server max_user_run = 20set server max_user_run = 20set server default_queue = defaultset server default_queue = default set server query_other_j

10、obs = True set server query_other_jobs = True第21頁/共53頁第二十二頁，共53頁。2022-2-123第22頁/共53頁第二十三頁，共53頁。2022-2-124第23頁/共53頁第二十四頁，共53頁。2022-2-125第24頁/共53頁第二十五頁，共53頁。2022-2-126在PBS系統(tǒng)中，用戶使用qsub 命令(mng lng)提交用戶程序。用戶運行程序的命令(mng lng)及PBS環(huán)境變量設(shè)置組成PBS作業(yè)腳本，作業(yè)腳本使用如下格式提交到PBS系統(tǒng)運行：zhaocsnode1 $ qsub 第25頁/共53頁第二十六頁，共53頁。20

11、22-2-127運運 行行 參參 數(shù)數(shù)說說 明明-a 向PBS系統(tǒng)指定作業(yè)運行的開始時間。作業(yè)運行時間格式為： CCYYMMDDhhmm.SS-A 使用不同的用戶來提交作業(yè)，缺省使用當(dāng)前用戶名-o -e 該參數(shù)指定標準錯誤輸出的位置，缺省的情況下，PBS系統(tǒng)把標準輸出和標準錯誤輸出放在用戶qsub命令提交作業(yè)的目錄下。標準錯誤輸出：.o標準錯誤輸出：.e路徑使用如下格式標準： :-N 指定提交的作業(yè)名-q 指定作業(yè)提交的目標隊列，其中目標隊列可以是目標隊列、目標節(jié)點名或者是目標節(jié)點上的隊列。如果目標隊列是一個路由隊列，那么服務(wù)器可能把作業(yè)路由到新的隊列中。如果該參數(shù)沒有指定，命令qsub會把作

12、業(yè)腳本提交到缺省的隊列中。-l 該參數(shù)指定作業(yè)腳本申請的PBS系統(tǒng)資源列表。申請資源列表使用如下格式： =,資源名=， .例如作業(yè)希望申請在雙路節(jié)點上申請5個CPU資源的情況，則可以在腳本中如下：#PBS l nodes=2:ppn=2+:ppn=1第26頁/共53頁第二十七頁，共53頁。2022-2-128#PBS #PBS N vasp.HgN vasp.Hg#PBS #PBS l nodes=8:ppn=2l nodes=8:ppn=2echo This jobs is $PBS_JOBID$PBS_QUEUE echo This jobs is $PBS_JOBID$PBS_QUEUE

13、 cd $PBS_O_WORKDIRcd $PBS_O_WORKDIRmpirun -np 16 -machinefile $PBS_NODEFILE ./vaspmpirun -np 16 -machinefile $PBS_NODEFILE ./vasp第27頁/共53頁第二十八頁，共53頁。2022-2-129變變 量量 名名說說 明明登陸SHELL繼承來的變量包括$HOME，$LANG，$LOGNAME，$PATH，$MAIL，$SHELL和$TZ。$PBS_O_HOSTqsub提交的節(jié)點名稱$PBS_O_QUEUEqsub提交的作業(yè)的最初隊列名稱$PBS_O_WORKDIRqsub提

14、交的作業(yè)的絕對路徑$PBS_JOBID作業(yè)被PBS系統(tǒng)指定的作業(yè)號$PBS_JOBNAME用戶指定的作業(yè)名，可以在作業(yè)提交的時候用qsub N 指定，或者在PBS腳本中加入#PBS N 。$PBS_NODEFILEPBS系統(tǒng)指定的作業(yè)運行的節(jié)點名。該變量在并行機和機群中使用。當(dāng)在PBS腳本中用#PBS l nodes=2:ppn=2指定程序運行的節(jié)點數(shù)時，可以使用$PBS_NODEFILE在腳本中引用PBS系統(tǒng)指定的作業(yè)運行的節(jié)點名。比如：#PBS l nodes=2:ppn=2mpirun np 4 machinefile $PBS_NODEFILE $PBS_QUEUEPBS腳本在執(zhí)行時的

15、隊列名第28頁/共53頁第二十九頁，共53頁。2022-2-130#PBS N vasp.Hg#PBS l nodes=8:ppn=2#PBS q node1echo This jobs is $PBS_JOBID$PBS_QUEUE cd $PBS_O_WORKDIRmpirun -np 16 -machinefile $PBS_NODEFILE ./vasp第29頁/共53頁第三十頁，共53頁。2022-2-131# 這是一個串行作業(yè)腳本的例子這是一個串行作業(yè)腳本的例子#PBS N Loop.out#PBS l nodes=1:ppn=1cd /public/home/zhaocs/tes

16、t/./a.out $HOME/result/a.result# 這是一個并行作業(yè)腳本的例子這是一個并行作業(yè)腳本的例子#PBS N vasp.Hg#PBS l nodes=8:ppn=2#PBS q node1echo This jobs is $PBS_JOBID$PBS_QUEUE cd $PBS_O_WORKDIRmpirun -np 16 -machinefile $PBS_NODEFILE ./vasp第30頁/共53頁第三十一頁，共53頁。2022-2-132第31頁/共53頁第三十二頁，共53頁。2022-2-133第32頁/共53頁第三十三頁，共53頁。2022-2-134#!

17、/bin/bash#PBS -N jobname#PBS -l nodes=4:ppn=2cat echo $PBS_NODEFILE $HOME/$PBS_JOBID.nodesfor node in cat $HOME/$PBS_JOBID.nodes do rsh $node mkdir /tmp/$PBS_JOBID rsh $node cp -rf $PBS_O_WORKDIR/* /tmp/$PBS_JOBID/ donecd /tmp/$PBS_JOBIDmpirun -np 8 -machinefile $PBS_NODEFILE $HOME/bin/vaspcp -rf /t

18、mp/$PBS_JOBID/* $PBS_O_WORKDIR/for node in cat $HOME/$PBS_JOBID.nodes do rsh $node rm -rf /tmp/$PBS_JOBID donerm $HOME/$PBS_JOBID.nodes第33頁/共53頁第三十四頁，共53頁。2022-2-135dawningnode1 $ qstat node1Job id Name User Time Use S Queue- - - - - -93.node1 test.pbs zhaocs 0 R default95.node1 vasp.Hg vasp 0 E default111.node1 structure amber 0 Q defaultzhaocsnode1 $ qdel 93.node1第34頁/共53頁第三十五頁，共