LSF簡(jiǎn)易使用手冊(cè)

1、LSF 簡(jiǎn)易使用手冊(cè)(2011-02-2214:28:19)LSF(LoadSharingFacility)是由platform公司開(kāi)發(fā)的分布資源管理工具。它用來(lái)調(diào)度、監(jiān)視、分析聯(lián)網(wǎng)計(jì)算機(jī)的負(fù)載，可以對(duì)Cluster機(jī)群的資源統(tǒng)一調(diào)度和監(jiān)控。一LSF使用方法1、設(shè)置環(huán)境變量：用戶(hù)使用LSF前，應(yīng)設(shè)置相應(yīng)的環(huán)境變量：csh用戶(hù)，登錄系統(tǒng)后執(zhí)行source/export/lsf/conf/cshrc.lsfbash用戶(hù)，登錄系統(tǒng)后執(zhí)行./export/lsf/conf/profile.lsf用戶(hù)也可寫(xiě)入.cshrc或.bashrc,則登錄后就能設(shè)置相應(yīng)的環(huán)境變量。2、提交作業(yè)LSF使用bsub命令

2、來(lái)提交作業(yè)。bsub命令常見(jiàn)用法如下：bsubnz-qQUEUENAME-iinputfilepoutputfileCOMMAND其中z代表了提交作業(yè)需要的cpu數(shù)，p 指定作業(yè)提交到的隊(duì)列，創(chuàng)建時(shí)間：2006-12-1215:54:001如果不采用 p 選項(xiàng)，系統(tǒng)把作業(yè)提交到默認(rèn)作業(yè)隊(duì)列(作業(yè)隊(duì)列詳細(xì)介紹請(qǐng)看下一節(jié))。inputfile代表程序需要讀入白文件名(例如namelist等)，outputfile代表一個(gè)文件，作業(yè)提交后標(biāo)準(zhǔn)輸出的信息將會(huì)保存到這個(gè)文件中。COMMAND是用戶(hù)要運(yùn)行的程序。(1)對(duì)于串行程序COMMAND可以直接使用用戶(hù)的程序名例如，對(duì)一個(gè)運(yùn)行時(shí)間12小時(shí)內(nèi)完成的串

3、行作業(yè)mytest,提交方式為：bsub-n1-qQS_Norm-omytest.out./mytest(2)對(duì)于并行作業(yè)COMMAND為ampich_gmmpirun.lsf程序名”因?yàn)椴⑿凶鳂I(yè)必須用到MyriNET庫(kù)，所以提交的時(shí)候必須使用-ampich_gmmpirun.lsf例如對(duì)于一個(gè)12個(gè)小時(shí)內(nèi)完成，使用16個(gè)cpu的并行作業(yè)mytest,提交方式為：bsub-n16-qQN_Norm-omytest.out-ampich_gmmpirun.lsf./mytest目前，系統(tǒng)規(guī)定每個(gè)用戶(hù)最多只能使用16個(gè)cpu。3、使用腳本提交作業(yè)bsub命令可以使用輸入腳本多次提交具有相同參數(shù)的作

4、業(yè)，格式為：創(chuàng)建時(shí)間：2006-12-1215:54:002#BSUBnZ#BSUB-qQUEUENAME#BSUB-oOUTPUTFILECOMMAND該腳本的參數(shù)與命令行bsubnZ-qQUEUENAME-ooutputfileCOMMAND參數(shù)相同。提交時(shí)為bsub腳本名例如要提交一個(gè)12小時(shí)內(nèi)完成，需要16個(gè)cpu的并行作業(yè)mytest,可以編寫(xiě)作業(yè)腳本bsub.scriptfile#BSUBn16#BSUBqQN_Norm#BSUB-omytest.out-ampich_gmmpirun.lsf./mytest作業(yè)提交方法為：bsubbsub.scriptfile二、LSF隊(duì)列狀況L

5、SF分了如下幾個(gè)作業(yè)組：1、長(zhǎng)時(shí)間并行作業(yè)組(LSF管理)(1)QL_Norm隊(duì)列創(chuàng)建時(shí)間：2006-12-1215:54:003該隊(duì)列用于運(yùn)行長(zhǎng)時(shí)間并行作業(yè)，作業(yè)不限執(zhí)行時(shí)間。作業(yè)規(guī)模限制為：最多使用16個(gè)CPU。2、串行作業(yè)組(LSF管理)(1)QS_Norm隊(duì)列該隊(duì)列用于串行短時(shí)間作業(yè)，最長(zhǎng)作業(yè)執(zhí)行時(shí)間為12小時(shí)。(2)QS_Long該隊(duì)列專(zhuān)用于長(zhǎng)時(shí)間串行作業(yè)，作業(yè)不限執(zhí)行時(shí)間。3、短時(shí)間并行作業(yè)組(LSF管理)(1)QN_Norm隊(duì)列該隊(duì)列用于運(yùn)行短時(shí)間并行作業(yè)，最長(zhǎng)作業(yè)執(zhí)行時(shí)間為12小時(shí)。(2)QN_Debug隊(duì)列該隊(duì)列用于調(diào)試或試算，最長(zhǎng)作業(yè)執(zhí)行時(shí)間為5分鐘。請(qǐng)用戶(hù)根據(jù)自己的需求，

6、選擇適當(dāng)?shù)淖鳂I(yè)組進(jìn)行作業(yè)提交。附：隊(duì)列命名潛規(guī)則新的隊(duì)列命名遵循一定的潛規(guī)則，下面詳細(xì)解釋隊(duì)列名中各字母的含義：QL_Norm：Q代表queues;L代表long,表示該隊(duì)列運(yùn)行長(zhǎng)時(shí)間并行作業(yè)；QN_Norm：Q代表queues;N代表normal,表示該隊(duì)列運(yùn)行短時(shí)間并行作業(yè)；QS_Norm：Q代表queues;S代表serial,表示該隊(duì)列運(yùn)行短時(shí)間串行作業(yè)；QS_Long：Q代表queues;S代表serial,表示該隊(duì)列運(yùn)行串行作業(yè)；Long表示長(zhǎng)時(shí)間運(yùn)行；(同中科院網(wǎng)絡(luò)中心深騰6800)三查看作業(yè)狀態(tài)和刪除作業(yè)等幾個(gè)常用的指令：bjobs檢查提交作業(yè)狀態(tài)bjobsbjobs-wbjo

7、bs-r顯示正在運(yùn)行的作業(yè)bjobs-a顯示正在運(yùn)行的和最近完成的作業(yè)bjobs-p顯示等待運(yùn)行的作業(yè)和等待原因bjobs-s顯示正在掛起的作業(yè)和掛起的原因bjobs-l顯示該作業(yè)的所有信息bhist顯示最近完成作業(yè)或正在運(yùn)行作業(yè)的歷史情況bhistbkill刪除不需要的作業(yè)bkillbkill-rbpeek當(dāng)作業(yè)正在運(yùn)行時(shí)顯示它的標(biāo)準(zhǔn)輸出，監(jiān)視作業(yè)運(yùn)行bpeekbqueues顯示隊(duì)列信息bqueuesbqueues-lbhosts顯示各節(jié)點(diǎn)作業(yè)相關(guān)情況bhostsbhostslsload顯示各節(jié)點(diǎn)負(fù)載信息lsloadlsloadlshosts處理各節(jié)點(diǎn)靜態(tài)資源信息lshostslshosts

8、作業(yè)提交（命令行方式）l隊(duì)列設(shè)置（bqueuesbqueues 命令查看）：ParallelParallel：此隊(duì)列有64個(gè)節(jié)點(diǎn)，計(jì)算網(wǎng)絡(luò)是infiniband（40G）,每個(gè)節(jié)點(diǎn)有12個(gè)計(jì)算核心，24G內(nèi)存；適合跨節(jié)點(diǎn)并行計(jì)算。smp_highsmp_high：此隊(duì)列有40個(gè)節(jié)點(diǎn)，計(jì)算網(wǎng)絡(luò)是以太網(wǎng)，每個(gè)節(jié)點(diǎn)有12個(gè)計(jì)算核心，24G內(nèi)存；適合單節(jié)點(diǎn)內(nèi)并行，或少量節(jié)點(diǎn)間通信的跨節(jié)點(diǎn)并行計(jì)算。smpsmp：此隊(duì)列有48個(gè)節(jié)點(diǎn)，計(jì)算網(wǎng)絡(luò)是以太網(wǎng)，每個(gè)節(jié)點(diǎn)有8個(gè)計(jì)算核心，24G內(nèi)存；適合單節(jié)點(diǎn)內(nèi)并行，或少量節(jié)點(diǎn)間通信的跨節(jié)點(diǎn)并行計(jì)算。l應(yīng)用設(shè)置（bappbapp 命令查看）amberg03gaussi

9、an（g09）gromacsmsl腳本范例AmberAmber（把下面內(nèi)容編寫(xiě)成腳本）#BSUB-qsmp（選擇隊(duì)列）#BSUB-appamber（應(yīng)用）#BSUB-o%J.out（結(jié)果輸出文件，以作業(yè)號(hào)為文件名）#BSUB-o%J.err（錯(cuò)誤輸出文件，以作業(yè)號(hào)為文件名）#BSUB-aopenmpi（編譯器）#BSUB-n8（計(jì)算核心的數(shù)量）mpirun.lsfsander.MPI-O-imin_2ojn.in-omin_2ojn.out-p2ojn.top-c2ojn.crd# rmin_2ojn.rst-infmin_2ojn.infG03G03（把下面內(nèi)容編寫(xiě)成腳本）# BSUB-qs

10、mp（選擇隊(duì)列）# BSUB-appg03（應(yīng)用）# BSUB-k/lustre/home/wangxj60（保存斷點(diǎn)，作業(yè)停了可以繼續(xù)運(yùn)行）# BSUB-o%J.out（結(jié)果輸出文件，以作業(yè)號(hào)為文件名）# BSUB-n8（計(jì)算核心的數(shù)量）g031reo6T-3.gjfG09G09（把下面內(nèi)容編寫(xiě)成腳本）#BSUB-qsmp_high（選擇隊(duì)列）#BSUB-appgaussian（應(yīng)用）（結(jié)果輸出文件，以作業(yè)號(hào)為文件名）#BSUB-e%J.err（錯(cuò)誤輸出文件，以作業(yè)號(hào)為文件名）#BSUB-n12（計(jì)算核心的數(shù)量）#BSUB-Rspanhosts=1（12個(gè)計(jì)算核心在一臺(tái)機(jī)器上）g09TS3-

11、4_#BSUB-o%J.outGromacsGromacs（把下面內(nèi)容編寫(xiě)成腳本）#BSUB-qparallel（選擇隊(duì)列）#BSUB-appgromacs（應(yīng)用）#BSUB-aintelmpi#BSUB-o%J.out#BSUB-e%J.err#BSUB-n12（MPI）（結(jié)果輸出文件，以作業(yè)號(hào)為文件名）（錯(cuò)誤輸出文件，以作業(yè)號(hào)為文件名）（計(jì)算核心的數(shù)量）#BSUB-Rspanptile=6（每個(gè)節(jié)點(diǎn)用6個(gè)計(jì)算核心）mpirun.lsfmdrun-v-smd.tpr-cmd.gro-emd.edr-omd.trr-gmd.logMS5.5MS5.5（把下面內(nèi)容編寫(xiě)成腳本）#!/bin/sh#

12、BSUB-qparallel#BSUB-appms#BSUB-o%J.out#BSUB-e%J.err#BSUB-n12#BSUB-Rspanptile=6#BSUB-Rrusagemslic=1（判斷模塊license是否被占用）/home/msi/Accelrys/MS55_IB/etc/DMol3/bin/RunDMol3.sh-np2A或者/home/MS55/Accelrys/etc/DMol3/bin/RunDMol3.sh-np2A（舊網(wǎng)絡(luò)）（不限網(wǎng)絡(luò)）FluenitFluenit（把下面內(nèi)容編寫(xiě)成腳本）#!/bin/sh#BSUB-qparallel#BSUB-appfluent#BSUB-o%J.out#BSUB-e%J.err#BSUB-n12fluent3d-itest.jou-t8-gMatlabMatlab（把下面內(nèi)容編寫(xiě)成腳本）#!/bin/sh#BSUB-qparallel#BSUB-appmatlab#BSUB-o%J.out#BSUB-e%J.err#BSUB-n1matlab-nodisplay-re