計算平臺培訓教程課件

生物高性能計算平臺用戶培訓集群操作2013-10-17楊濤生物高性能計算平臺用戶培訓2013-10-17楊濤Index241235實例展示計算平臺簡介集群計算技術和管理并行文件系統(tǒng)作業(yè)調度Index241235實例展示計算平臺簡介集群計算技術和管理集群高性能計算(High-PerformanceComputing)與理論研究、實驗科學相并列,已經成為現(xiàn)代科學的三大支柱集群（Cluster）：非單一系統(tǒng)鏡像的松耦合體系系統(tǒng)由若干節(jié)點構成所有節(jié)點通過高速網(wǎng)絡互聯(lián)作業(yè)通過消息傳遞通信方式分布到各個計算節(jié)點上三大件：計算存儲通信集群高性能計算(High-PerformanceCompu集群的發(fā)展計算機硬件的發(fā)展(CPU、MEM、主板)計算機網(wǎng)絡的發(fā)展(互聯(lián)技術)計算機體系結構的發(fā)展(NUMA)并行計算的發(fā)展(MPI)價格便宜并且易于構建易于擴展和升級集群的發(fā)展計算機硬件的發(fā)展(CPU、MEM、主板)集群指標性能理論峰值速度和實際速度、效率FLOPsLinpack加速比、效率存儲容量、吞吐率和IOPS等平均作業(yè)吞吐量，平均作業(yè)等待時間可靠性可擴展性體系結構、軟件、算法集群指標性能生物計算平臺（1）“清華大學蛋白質設施實驗技術中心”生物計算平臺清華大學校級公共服務平臺受實驗室與設備處和生命學院領導建設目標大型基礎設施共享共用和科學服務中心將搭建專用的高性能計算機集群，以承載和支撐大規(guī)模生物和醫(yī)學計算為中心任務，充分利用其大數(shù)據(jù)處理和并行計算能力，并進一步為大數(shù)據(jù)地高效處理和分析提供創(chuàng)新機制通過信息資源整合和共享、統(tǒng)一管理和維護，不僅能有效節(jié)省購置成本和運營開支，還可以大幅度提升提高信息資源的使用效率，以更好的滿足生命科學和交叉科學不斷提出的新要求和挑戰(zhàn)生物計算平臺（1）“清華大學蛋白質設施實驗技術中心”生物計算生物計算平臺（2）清華生命學院高性能計算平臺共有120個計算節(jié)點（雙路8核Intel

Xeon

E5-2650），1920個處理器核系統(tǒng)的理論浮點峰值計算性能達到30.72TFlops計算網(wǎng)絡采用InfiniBandQDR通信網(wǎng)絡,理論帶寬40Gb；管理網(wǎng)絡采用千兆以太網(wǎng)目前存儲約200TB，第一期規(guī)劃存儲總容量1PB另外,系統(tǒng)還配置2個Nvidia

TeslaM2090

的GPU節(jié)點和1個512GB大內存節(jié)點生物計算平臺（2）清華生命學院高性能計算平臺功能模型功能模型機群綜述項目詳情IBM-A(80節(jié)點)IBM-B(40節(jié)點)理論整體計算能力80*16*2.0*8=20.48Tflops40*16*2.0*8=10.24Tflops整體存儲空間150T55T管理網(wǎng)絡千兆以太網(wǎng)千兆以太網(wǎng)計算網(wǎng)絡IifiniBand/40Gb/sIifiniBand/40Gb/s節(jié)點名機器型號CPU內存硬盤顯卡存儲節(jié)點x4IBMx3630M4IntelE5-244064GB30.3TB胖節(jié)點x2IBMx3750M4IntelE5-4620512GB5.3TBGpu節(jié)點x3IBMdx360M4IntelE5-265064GB300GBNVIDIA管理節(jié)點x2IBMdx360M4IntelE5-260932GB300GB登錄節(jié)點x2IBMdx360M4IntelE5-260932GB600GB計算節(jié)點x120IBMdx360M4IntelE5-265064GB600GB機群綜述項目詳情IBM-A(80節(jié)點)IBM-B(40節(jié)點)節(jié)點類管理節(jié)點（ManagementNode/HeadNode/HN）機群中的一個結點，負責管理整個高性能計算機群登錄節(jié)點（LoginNode/LN）機群中的一個或者多個結點，用于提供用戶登錄服務，受控于管理結點存儲節(jié)點(InputOutput/IO)機群中的一個或者多個結點，用于提供文件存儲和共享服務，受控于管理結點計算節(jié)點（ComputeNode/CN）機群中的一個或者多個節(jié)點，專用于處理計算問題，受控于管理節(jié)點節(jié)點類節(jié)點示意圖節(jié)點示意圖存儲類計算平臺的存儲分為兩種:本地硬盤本地硬盤嚴禁普通用戶使用,僅供計算節(jié)點操作系統(tǒng)使用并行文件系統(tǒng)GPFS用戶在帳號所對應$HOME(該$HOME所在的位置為高速并行文件系統(tǒng))下進行操作用戶登錄時,會自動被引導到自己帳號的$HOME下面。鑒于存儲空間有限和數(shù)據(jù)安全的考慮,請用戶務必做到及時下載計算結果文件并清理空間存儲類網(wǎng)絡類公共網(wǎng)絡（PublicNetwork/EnterpriseNetwork）指用戶所在單位或部門的局域網(wǎng)，也可以是Internet，機群可以通過登錄節(jié)點或者控制臺連接到外網(wǎng)私有網(wǎng)絡（PrivateNetwork）也稱為管理網(wǎng)絡，用于傳輸管理、控制信息的網(wǎng)絡，它連接機群中所有的節(jié)點，通常由百兆或者千兆以太網(wǎng)組成計算網(wǎng)絡（ComputeNetwork/ApplicationNetwork）用于計算結點間傳輸大量的計算數(shù)據(jù)信息的網(wǎng)絡，它連接所有的計算結點，通常由Infiniband、Myrinet這樣的高速網(wǎng)絡組成網(wǎng)絡類拓撲結構-A集群IO存儲節(jié)點node55-node80node01-node28node29-node54GPU節(jié)點和胖節(jié)點IB40Gbps4*IB40GbpsA機房拓撲圖拓撲結構-A集群IO存儲節(jié)點node55-node80no拓撲結構-B集群IO存儲節(jié)點IB40Gbps12*IB40GbpsB機房拓撲圖node17-node32node01-node16GPU節(jié)點和胖節(jié)點node33-node40拓撲結構-B集群IO存儲節(jié)點IB40Gbps12命名規(guī)則Frames默認命名ManagementServerAmgt…UserLoginALogin01…I/ONodeAionode01I/ONodeBionode02…IMM1-IMM80imm01-imm80…Computernode01-node80…GpuComputergpunode01-gpunode02…SMPComputerbnode01…命名規(guī)則Frames默認命名ManagementServeIP規(guī)劃物理機器IP機器名備注Managementserver54mgt集群內部網(wǎng)絡54immmgtIMM管理網(wǎng)絡54IB計算網(wǎng)絡UserLogin172.0.0.login01集群內部網(wǎng)絡immlogin01IMM管理網(wǎng)絡172.0.40.IB計算網(wǎng)絡PubilcIP用戶提供外部訪問地址I/ONodeA-I/ONodeB172.0.0.*ionode01-ionode02集群內部網(wǎng)絡172.0.40.*ib數(shù)據(jù)網(wǎng)絡(計算網(wǎng)絡)192.168.70.*Immio01-immio02IMM管理網(wǎng)絡...Computer172.0.0.*Node01-node80集群內部網(wǎng)絡172.0.40.*IB計算網(wǎng)絡192.168.70.*Imm01-imm80IMM管理網(wǎng)絡IP規(guī)劃物理機器IP機器名備注ManagementservIBM-A集群基本配置信息Inspurgroup集群角色主機名備注管理節(jié)點mgtIP：65登錄節(jié)點login01IP：64胖節(jié)點bnode01GPU節(jié)點gpunode01gpunode02計算節(jié)點node01~node80GPFS服務IO節(jié)點ionode01ionode02共享目錄：/Share作業(yè)調度lsfIBM-A集群基本配置信息Inspurgroup集群角色主IBM-B集群基本配置信息Inspurgroup集群角色主機名備注管理節(jié)點mgt登錄IP：1(面向管理員)登錄節(jié)點login01登錄IP：0(面向用戶)胖節(jié)點bnode01N/AGPU節(jié)點gpunode01N/A計算節(jié)點node01~node40N/AGPFS服務IO節(jié)點ionode01ionode02共享目錄：/Share作業(yè)調度lsfIBM-B集群基本配置信息Inspurgroup集群角色主IBM-A集群軟件信息軟件總覽操作系統(tǒng)CentOSrelease5.8(Final)(內核2.6.18-308)編譯器/數(shù)學庫IntelC++/Fortran編譯器/IntelMKL數(shù)學核心庫/GNU編譯器等應用軟件Emaneman2xmippchimeraspiderrelionnamd等MPI實現(xiàn)openmpi/intelmpi等作業(yè)調度LSF(Plantform)集群管理ParamonxcatIBM-A集群軟件信息軟件總覽操作系統(tǒng)CentOSreleIBM-B集群基本配置信息軟件總覽操作系統(tǒng)RedHatEnterpriseLinuxServerrelease6.3(Santiago)(內核2.6.32-279)編譯器/數(shù)學庫IntelC++/Fortran編譯器/IntelMKL數(shù)學核心庫/GNU編譯器等應用軟件chimeraspiderrelionnamd等MPI實現(xiàn)openmpi/mpich2等作業(yè)調度LSF(Plantform)集群管理ParamonxcatIBM-B集群基本配置信息軟件總覽操作系統(tǒng)RedHatE集群登錄——命令行Windows用戶可以用SSHSecureShellClient,PuTTY,SecureCRT等SSH客戶端軟件登錄。推薦使用SSHSecureShellClient,它集成了SFTP文件上傳下載功能Linux客戶端可以直接在命令行終端中執(zhí)行ssh命令進行登錄:$>sshusername@登錄節(jié)點IP地址集群登錄——命令行Windows用戶可以用SSHSecur集群登錄——遠程桌面遠程圖形界面登錄推薦采用VNC方式。第一次使用VNC登錄前,需要先以命令行終端方式登錄到集群登錄節(jié)點,執(zhí)行vncserver命令,會提示用戶輸入VNC登錄密碼,輸入后會得到一個VNC會話,一般是“主機名:VNC會話號”格式,如“node32:4”。Windows用戶推薦使用RealVNC軟件進行VNC遠程圖形界面登錄,登錄時輸入集群登錄節(jié)點IP地址加VNC會話號即可:Linux用戶可以直接在命令行終端中執(zhí)行vncviewer命令進行登錄,如:$>vncviewer[登錄節(jié)點IP地址]:[sessionnumber]集群登錄——遠程桌面遠程圖形界面登錄推薦采用VNC方式。第一集群個性化設置個性化配置文件Bash.bash_profile.bashrcCsh.cshrc關鍵環(huán)境變量：PATH

可執(zhí)行程序搜索路徑LD_LIBRARY_PATH

動態(tài)鏈接庫搜索路徑環(huán)境變量的設置會影響到編譯時是否使用了正確的編譯環(huán)境，是否能生成正確的可執(zhí)行文件集群個性化設置個性化配置文件用戶作業(yè)作業(yè)通過作業(yè)調度系統(tǒng)進行作業(yè)提交、管理、監(jiān)控、刪除等操作基本步驟模型準備用戶準備模型數(shù)據(jù)文件和作業(yè)腳本文件模型上傳通過工具將模型數(shù)據(jù)文件和腳本文件上傳至集群用戶工作目錄作業(yè)提交預處理（如dos2unix）后,用作業(yè)提交命令提交腳本文件進行計算作業(yè)監(jiān)控通過客戶端等工具、采用作業(yè)管理命令監(jiān)控作業(yè)的執(zhí)行情況結果下載計算完成后,通過工具從工作目錄下載結果文件用戶作業(yè)作業(yè)注意事項(1)非管理員用戶只能查看、終止、刪除自己提交的作業(yè)切記勿要在登錄節(jié)點上直接運行任務，登陸節(jié)點只能提交查看作業(yè)、簡單的vi編輯、查看、管理自己的數(shù)據(jù)以及程序，如有違規(guī)操作管理員保留終止作業(yè)的權利不論任務有多緊急，請務必先檢測提交程序的正確性以及資源占用的合理適度在提交作業(yè)時一定要根據(jù)自己的使用的機器數(shù)估算內存檢查確認作業(yè)腳本是否正確，一定要嚴格按照規(guī)范格式書寫不規(guī)范的作業(yè)腳本可導致作業(yè)提交失敗，甚至造成作業(yè)殺不掉，計算節(jié)點死機等作業(yè)提交后，應注意定時查看自己的作業(yè)狀態(tài)，必要時需要終止自己的進程或刪除作業(yè),如果無法刪除時請聯(lián)系管理員協(xié)助注意事項(1)非管理員用戶只能查看、終止、刪除自己提交的作業(yè)注意事項(2)應及時清除臨時文件和計算中程序設計生成的監(jiān)控跟蹤記錄文件。臨時性文件存放不要超過三個月重要數(shù)據(jù)建議打包壓縮存放建議在腳本中使用絕對路徑，以保證任務可以正常運行由于公用目錄的承載壓力較大，相對而言會容易出現(xiàn)硬盤故障，因此，該目錄只存放計算中的臨時文件及公用軟件等，請及時將結果或其他重要文件備份回自己的家目錄或個人電腦中公用目錄中存放的臨時文件，請及時清除，管理員會定期清理長時間無訪問文件，如因未及時備份而被誤刪，管理員不承擔任何責任嚴禁在目錄中存放無關文件，請節(jié)約磁盤空間注意事項(2)應及時清除臨時文件和計算中程序設計生成的監(jiān)控跟維護人員及聯(lián)系方式姓名職務郵箱電話楊濤主管ytao亞坤組員wangyakun小瓊技術支持zhangxq亞楠技術支持liuxlQ群：biomed-compute（233532300）論壇：/bbs維護人員及聯(lián)系方式姓名職務郵箱電話楊濤主管ytao@biomIndex2941235實例展示計算平臺簡介集群計算技術和管理并行文件系統(tǒng)作業(yè)調度Index2941235實例展示計算平臺簡介集群計算技術和管集群策略——賬戶管理普通用戶通過用戶和用戶組的劃分，各主體只擁有查看自己目錄和公共目錄下數(shù)據(jù)和軟件的權限管理用戶管理員和sudoer擁有全部文件的查看和修改權限集群策略——賬戶管理普通用戶集群策略——作業(yè)和數(shù)據(jù)原則上所有任務都必須經過platform提交為了方便用戶使用，特設定如下特殊節(jié)點可以供普通用戶登錄和使用:大內存節(jié)點：bnode01擁有512G內存，供需要大內存支撐的生物學應用軟件使用。GPU節(jié)點gpunode：NvidiaTeslaM2090*2在平臺試運行期間，特開放01-10節(jié)點供普通用戶登錄和使用。為了防止網(wǎng)絡擁塞，建議有超大數(shù)據(jù)（>1TB）導入的用戶請拿硬盤找管理員進行本地導入集群策略——作業(yè)和數(shù)據(jù)原則上所有任務都必須經過platfor集群策略——其它UPS只對IO節(jié)點進行掉電保護，對普通計算節(jié)點，gpu節(jié)點，大內存節(jié)點不保護目前為山特UPS（功率6KVA）,可以持續(xù)30分鐘供電登錄節(jié)點禁止在登錄節(jié)點運行任何大規(guī)模程序和編譯任何程序,只可以進行簡單的文本操作用戶可以到編譯節(jié)點編譯程序,運行小規(guī)模的測試集群策略——其它UPS并行計算概述（1）并行計算同時使用多個計算資源來解決計算問題，即由運行在多個部件上的小任務合作來求解一個規(guī)模很大的計算問題的一種方法使用多個CPU或核來運行把一個問題分解成幾個離散的部分，從而能夠同時解決每個部分更進一步地分解成離散的指令序列每個部分的指令在不同的CPU或核上同時執(zhí)行問題:科學和工程問題的數(shù)值模擬與仿真計算密集/數(shù)據(jù)密集/網(wǎng)絡密集/混合型要求:在合理的時限內完成計算任務秒級（制造業(yè)），分鐘級（短時天氣預報），小時級（中期天氣預報），盡可能快（長期天氣預報），可計算（湍流模擬）并行計算概述（1）并行計算并行計算概述（2）并行計算概述（2）并行計算——分而治之分而治之并行化的核心方法進一步分為兩類：

任務級并行：根據(jù)問題的求解過程，把任務分成若干子任務(或功能并行)數(shù)據(jù)并行：根據(jù)處理數(shù)據(jù)的方式，形成多個相對獨立的數(shù)據(jù)區(qū)，由不同的處理器分別處理并行計算——分而治之分而治之并行程序設計并行程序設計進程1發(fā)送信息進程2接收信息傳統(tǒng)的串行計算，分為“指令”和“數(shù)據(jù)”兩個部分，并在程序執(zhí)行時“獨立地申請和占有”內存空間，且所有計算均局限于該內存空間。

并行計算將進程相對獨立的分配于不同的節(jié)點上，由各自獨立的操作系統(tǒng)調度，享有獨立的CPU和內存資源（內存可以共享）；進程間相互信息交換通過消息傳遞；

進程1

進程2

并行程序設計并行程序設計進程1進程2傳統(tǒng)的串行計算，分為消息和消息傳遞OS提供基本系統(tǒng)調用函數(shù)，允許位于同一臺處理機或不同處理機的多個進程之間相互交流信息三種操作方式數(shù)據(jù)傳遞、同步、聚集（統(tǒng)稱為進程間通信）操作的具體數(shù)據(jù)對象為消息，具體的操作為消息傳遞消息傳遞的開銷是計算開銷的10倍以上一般來說，如果在應用的一部分中，計算的時間是分鐘級的而數(shù)據(jù)傳輸?shù)臅r間是秒級的，那么這一部分可以并行執(zhí)行消息和消息傳遞OS提供基本系統(tǒng)調用函數(shù)，允許位于同一臺處理機MPIMPI（MassagePassingInterface）一種新的接口庫描述，不是一種語言。共有上百個函數(shù)調用接口，在Fortran和C語言中可以直接對這些函數(shù)進行調用一種標準或規(guī)范的代表，而不是特指某一個對它的具體實現(xiàn)；不包含任何專用于某個特別的制造商、操作系統(tǒng)或硬件的特性，能運行在所有的并行平臺上一種消息傳遞編程模型，并成為這種編程模型的代表和事實上的標準編程調用C語言應用程序應有#include“mpi.h”Fortran語言應用程序應有#include‘mpif.h’MPIMPI（MassagePassingInterfaMPI實例（1）算法描述：進程0發(fā)送一個整數(shù)給進程1；進程1將該數(shù)加1，傳遞給進程2；進程2再將該數(shù)加1，再傳遞給進程3最后，進程N-1將該數(shù)傳遞給進程0，由進程1負責廣播該數(shù)給所有進程，并打印輸出

進程1傳遞信息進程3傳遞信息進程2傳遞信息進程0傳遞信息MPI實例（1）算法描述：進程1進程3進程2進程0MPI實例（2）編譯和執(zhí)行：mpif77–oexamexam.fmpirun–np4exam其中，exam.f指需要編譯的源文件，－o表示生成輸出文件，exam指輸出文件名，－np表示進程數(shù)使用mpicc和mpif77省略了有關MPI的路徑設置mpirun–machinefile<machinefile>-np<N><program><machinefile>為配置文件，其格式為：<機器名><機器名>完整的MPI運行方式：mpirun[mpirun_options]<program>[options…]詳細參數(shù)信息執(zhí)行mpirun-helpMPI實例（2）編譯和執(zhí)行：MPI實例——細節(jié)分析MPI實例——細節(jié)分析并行計算——openmpiyum安裝#yuminstall–yopenmpi

tar包安裝創(chuàng)建解壓目錄并解壓#mkdir/opt/ompi162-gnu/命名統(tǒng)一規(guī)范#tarfvzxopenmpi-1.6.2.tar.gz-C/opt/執(zhí)行安裝#cd/opt/openmpi-1.6.2/#./configure--prefix=/opt/ompi162-gnu/#makeallinstall并行計算——openmpiyum安裝設計經驗優(yōu)化并行算法大并行粒度顧及負載平衡盡量減少通信次數(shù)避免大消息(1M)避免消息緩沖區(qū)的溢出，且效率較低避免大消息打包內存拷貝開銷大設計經驗優(yōu)化并行算法性能測試基準測試程序LINPACK、LAPACK、BLAS、BLACS、LivermoreLoops、Dhrystone、Whetstone、NAS、SPEC、SimLinPACK:Top500的標準測試程序性能測試基準測試程序Index4541235實例展示計算平臺簡介集群計算技術和管理并行文件系統(tǒng)作業(yè)調度Index4541235實例展示計算平臺簡介集群計算技術和管并行文件系統(tǒng)并行文件系統(tǒng)IBMGPFS專門為集群環(huán)境設計并行文件系統(tǒng)負載均衡（條帶化技術）高性能（最高134GB/s）可擴展支持超大文件可以在集群中多個節(jié)點間實現(xiàn)對共享文件系統(tǒng)中文件的快速存取操作還能提供穩(wěn)定的故障恢復和容錯機制廣泛應用Top500232套IBMGPFS專門為集群環(huán)境設計并行文件系統(tǒng)GPFSGPFS節(jié)點名daemonIP角色ionode0121quorum-managerionode0222quorum-managernode01client………node800clientGPFSGPFS節(jié)點名daemonIP角色ionode01文件系統(tǒng)統(tǒng)一目錄文件系統(tǒng)名掛載節(jié)點掛載點包含hdisk包含NSDgpfs全部節(jié)點/Sharesdb,sdcsdb,sdcionode01_sdb,inode01_sdcionode01_sdb,ionode02_sdc文件系統(tǒng)統(tǒng)一目錄文件系統(tǒng)名掛載節(jié)點掛載點包含hdisk包含N主要目錄使用用戶目錄用戶登錄后默認進入的目錄：如/Share/home/username

用于安裝自用軟件，備份文件，保存計算結果文件，只有該用戶賬號才能訪問注意：用戶目錄用于系統(tǒng)存放管理用戶的登陸和所使用軟件配置文件，可以安裝個人所需軟件嚴禁用戶隨意存放執(zhí)行程序的臨時文件和非相關的文件建議每次登陸后在屬主目錄下使用命令du-kh|sort–n主動檢查異?；蜉^大的文件并作相應清理公用目錄用于安裝公用軟件，及存放公用文件的目錄/Share/app,/Share/util…主要目錄使用用戶目錄Index5141235實例展示計算平臺簡介集群計算技術基礎并行文件系統(tǒng)作業(yè)調度Index5141235實例展示計算平臺簡介集群計算技術基礎作業(yè)管理用戶可以透明地從任一節(jié)點提交一項作業(yè)作業(yè)可以調度為以批處理、交互或并行的模式運行用戶服務器、任務調度器、資源管理器作業(yè)管理系統(tǒng)不僅方便用戶使用,更提高了整個系統(tǒng)使用效率典型的作業(yè)管理系統(tǒng)SGE(SunGridEngine)Torque/PBS(PortableBatchSystem)LSF(LoadSharingFacility)用戶只需用lsf提交命令(bsub)將作業(yè)提交到集群,系統(tǒng)就會按照管理員制定的作業(yè)分配策略自動進行調度,決定何時以及在哪些計算結點運行程序作業(yè)管理用戶可以透明地從任一節(jié)點提交一項作業(yè)作業(yè)調度——LSFLSF(Plantform)介紹LSF作業(yè)腳本模版LSF常用命令同類型作業(yè)可以使用bash或者其它腳本來通過循環(huán)方式批量提交作業(yè)但需要控制好每個計算的規(guī)模,以及全部計算作業(yè)的數(shù)量注意:嚴禁使用任何前臺或者后臺方式直接由用戶運行程序,所有的計算都必須作為任務提交到LSF系統(tǒng)然后統(tǒng)一調度執(zhí)行,否則影響到主機正常運行作業(yè)調度——LSFLSF(Plantform)介紹LSF(Plantform)作業(yè)調度系統(tǒng)介紹LSF(Plantform)作業(yè)調度系統(tǒng)介紹LSF作業(yè)腳本作業(yè)腳本計算任務通過腳本文件提交到作業(yè)管理系統(tǒng)腳本文件是一個常規(guī)文本文件,具有執(zhí)行權限,可以直接在登入節(jié)點使用vi編輯器編寫,也可異地編寫上傳至用戶作業(yè)工作目錄,但要注意dos2unix轉換一下腳本文件名無特殊規(guī)定,起一個可識別的名字即可，編輯完成腳本文件后,將腳本賦予可執(zhí)行權限,然后提交例如：對一個名稱為test.lsf的作業(yè)腳本文件,編輯完成后,需要執(zhí)行命令chmod755test.lsf賦予執(zhí)行權限,然后使用命令bsub./test.lsf來提交LSF腳本基本結構：腳本組成含義Bsub參數(shù)設置（必選）進行資源申請、并行方式設置、作業(yè)參數(shù)等設置用戶自定義變量（可選）用戶根據(jù)自身習慣定義環(huán)境變量或執(zhí)行批處理命令執(zhí)行命令（必選）應用程序參數(shù)及執(zhí)行命令LSF作業(yè)腳本作業(yè)腳本腳本組成含義Bsub參數(shù)設置（必選）進OpenMPIBsub腳本說明#!/bin/sh#BSUB-Jmyjob指定作業(yè)名字#BSUB-q***指定提交的隊列#BSUB-ooutput.%J指定作業(yè)的輸出文件#BSUB-aopenmpi指定作業(yè)使用哪種的mpi,由于系統(tǒng)默認使用OpenMPI,則此選項值為openmpi。若不指定此選項,系統(tǒng)仍默認使用OpenMPI#BSUB-nM指定作業(yè)使用核數(shù)#BSUB-R"span[hosts=N]"指定是否跨節(jié)點使用。如果用戶需要所有核在一個節(jié)點上,就可以指定”span[hosts=1]”;如果用戶希望#BSUB-R"span[hosts=N]"每個節(jié)點使用x個核,那么節(jié)點數(shù)N=M/x,如每個節(jié)點使用2個core,一共需要8個core,那我們就應該指定”span[ptile=4]”AppPATH=”/dawnfs/software/App/”用戶定義相關環(huán)境變量、執(zhí)行批處理命令等。在本例中定義了環(huán)境變量$NAMD,在執(zhí)行命令中使用。若用戶在./~bashrc中已經定義了相關AppPATH=”/dawnfs/software/App/”#!/bin/sh環(huán)境變量,只需此處加上source./~bashrcmpirun-machinefile./hostsAPPNAMEoptions執(zhí)行命令APPNAMEOpenMPIBsub腳本說明#!/bin/sh#BSUB作業(yè)狀態(tài)作業(yè)狀態(tài)LSF作業(yè)腳本模版#!/bin/sh#BSUB-qHUGE#BSUB-aopenmpi#BSUB-ooutput.%J#BSUB-eerror.%J#BSUB-nXXXcoresXXX#BSUB-R"span[ptile=16]“#Environmentsource~/.bashrc#jobsubmissionmpirun-machinefile./hosts--bynode-nXXXmpinodesXXXXXXcommandXXXLSF作業(yè)腳本模版#!/bin/shLSF作業(yè)管理概述LSF作業(yè)管理概述LSF常用命令Bjobs功能：檢查提交作業(yè)狀態(tài)bjobs-wbjobs–r顯示正在運行的作業(yè)bjobs–a顯示正在運行的和最近完成的作業(yè)bjobs-p顯示等待運行的作業(yè)和等待原因bjobs–s顯示正在掛起的作業(yè)和掛起的原因bjobs-l顯示該作業(yè)的所有信息LSF常用命令Bjobs基本操作（1）(1)查看LSF集群信息

#./opt/lsf83/conf/profile.lsf(設置環(huán)境變量)

#lsidIBMPlatformLSFExpress8.3forIBMPlatformHPC,May102012CopyrightPlatformComputingInc.,anIBMCompany,1992-2012.USGovernmentUsersRestrictedRights-Use,duplicationordisclosurerestrictedbyGSAADPScheduleContractwithIBMCorp.Myclusternameisbcluster1Mymasternameismgt(2)查看機器信息

#lshostsHOST_NAMEtypemodelcpufncpusmaxmemmaxswpserverRESOURCESmgtX86_64Intel_EM60.0831G-Yes(mg)login01X86_64Intel_EM60.0831G1GYes(mg)node11X86_64Intel_EM60.01663G1GYes()node12X86_64Intel_EM60.01663G1GYes()node13X86_64Intel_EM60.01663G1GYes()node14X86_64Intel_EM60.01663G1GYes()基本操作（1）(1)查看LSF集群信息基本操作（2）(3)查看負載信息

#lsloadHOST_NAMEstatusr15sr1mr15mutpglsittmpswpmembnode01ok0.00.10.10%0.003960254G1024M501Gmgtok11%0.02071G0M25Glogin01ok13%0.0252252G1G30Ggpunode02ok1.14.03.32%0.003958252G1G61Ggpunode01ok2%0.003918252G1G53Gnode64ok7.08.38.345%0.005176424G1G40Gnode53ok47%0.0185424G1G29G(4)查看節(jié)點信息

#bhostsHOST_NAMEstatusr15sr1mr15mutpglsittmpswpmembnode01ok-3200000gpunode01ok-1600000gpunode02ok-1600000login01closed-000000mgtok-800000node11closed-161616000node12closed-161616000基本操作（2）(3)查看負載信息基本操作（3）(5)查看隊列信息

#bqueuesQUEUE_NAMEPRIOSTATUSMAXJL/UJL/PJL/HNJOBSPENDRUNSUSPnormal30Open:Active----0000GPU30Open:Active----0000BNODE30Open:Active----0000GIANT30Open:Active----0000HUGE30Open:Active----1120011200MID30Open:Active----0000SMALL30Open:Active----0000TINY30Open:Active----0000TEST30Open:Active----0000(6)查看作業(yè)信息

#bjobs-uallJOBIDUSERSTATQUEUEFROM_HOSTEXEC_HOSTJOB_NAMESUBMIT_TIME655panxjRUNHUGEmgt16*node64*e--j2Aug1322:3216*node7216*node4316*node60基本操作（3）(5)查看隊列信息使用LSF一覽表(1)設置環(huán)境變量tcsh/csh:source/opt/lsf83/conf/cshrc.lsfsh:source/opt/lsf83/conf/profile.lsf(2)提交作業(yè)

%bsub-o%J.out“myjob”(其中myjob為作業(yè)命令)

提交批作業(yè) %bsub-o%J.outls(其中l(wèi)s為作業(yè)命令

)

提交交互作業(yè)%bsub-Isvi(其中vi為作業(yè)命令

,需要隊列里允許交互式作業(yè))提交并行作業(yè)

%bsub-qQL_Norm-n128-aopenmpimpirun.lsf./oceanM./ocean_ccs.in

(3)監(jiān)控作業(yè)%bjobs%bpeekJID(4)停止作業(yè)%bkillJID(5)檢查系統(tǒng)%lshosts（查看機器配置）%lsload（查看機器負載）%bqueues（查看隊列狀態(tài)）%bhosts（查看機器作業(yè)狀態(tài)）(6)歷史作業(yè)%bhist(參數(shù)與bjobs類似)使用LSF一覽表(1)設置環(huán)境變量作業(yè)隊列80nodesA

queuemax_nodesmax_jobsmax_rtime(h)GPU210240BNODE112240GIANT601480HUGE505480MID3010480SMALL2020240TINY1050480TEST25*作業(yè)隊列80nodesA

queuemax_nodes66命令格式：bqueues[-l][-mhost_name|-mhost_group][-uuser_name|-uuser_group|-uall][queue_name...]-l隊列詳細信息-m查看可使用指定機器名、機器組的隊列-u查看指定用戶、用戶組可使用的隊列無參數(shù)為隊列概要信息(1)查看隊列概要信息

#bqueuesQUEUE_NAMEPRIOSTATUSMAXJL/UJL/PJL/HNJOBSPENDRUNSUSPnormal30Open:Active----0000GPU30Open:Active----0000BNODE30Open:Active----0000GIANT30Open:Active----0000HUGE30Open:Active----1120011200MID30Open:Active----0000SMALL30Open:Active----0000TINY30Open:Active----0000TEST30Open:Active----0000常用命令及參數(shù)之bqueues(1)66命令格式：bqueues[-l][-mhost67(2)查看隊列詳細信息

#bqueues-lHUGEQUEUE:HUGE--ForhugejobsThisisthedefaultqueue.PARAMETERS/STATISTICSPRIONICESTATUSMAXJL/UJL/PJL/HNJOBSPENDRUNSSUSPUSUSPRSV3020Open:Active----19208001120000Intervalforahosttoaccepttwojobsis0secondsRUNLIMIT28800.0minoflogin01PROCLIMIT800SCHEDULINGPARAMETERSr15sr1mr15mutpgiolsittmpswpmemloadSched-----------loadStop-----------adapter_windowspoenrt_windowsloadSched---loadStop---SCHEDULINGPOLICIES:NO_INTERACTIVEUSERS:allHOSTS:hg_normal/常用命令及參數(shù)之bqueues(2)67(2)查看隊列詳細信息常用命令及參數(shù)之bqueues(68命令格式：bjobs[-l][-m"host_name"][-qqueue_name][-uuser_name|-uuser_group|-uall]job_ID|"job_ID"......]-l作業(yè)詳細信息-m查看指定機器名、機器組上的作業(yè)-q查看指定隊列上的作業(yè)-u查看指定用戶、用戶組的作業(yè)無參數(shù)為做作業(yè)概要信息(1)查看隊列概要信息

#bjobs-uallJOBIDUSERSTATQUEUEFROM_HOSTEXEC_HOSTJOB_NAMESUBMIT_TIME655panxjRUNHUGEmgt16*node64*e--j2Aug1322:3216*node7216*node4316*node60常用命令及參數(shù)之bjobs(1)68命令格式：bjobs[-l][-m"host_69(2)查看作業(yè)詳細信息

#bjobs-l706Job<706>,User<panxj>,Project<default>,Status<RUN>,Queue<HUGE>,Command<#!/bin/sh;#BSUB-qHUGE;#BSUB-aopenmpi;#BSUB-ooutput.%J;#BSUB-eerror.%J;#BSUB-n800;#BSUB-R"span[ptile=16]";#Environment;source~/.bashrc;rm-rf./hosts3d2;touch./hosts3d2;#constructthehostsfileforthejob;j='';k=0;foriin`echo$LSB_HOSTS`;do;((k=k+1));if[$((k%16))-eq1];then;echo$k;echo$islots=16>>./hosts3d2;fi;done;#jobsubmission;mpirun-machinefile./hosts3d2--bynode-n400`whichrelion_refine_mpi`--oClass3D/run2--i./class70s.star--particle_diameter290--angpix2.3318--ref./ref01.spi--firstiter_cc--ini_high60--iter25--tau2_fudge4--flatten_solvent--ctf--symC1--K10--oversampling1--healpix_order1--offset_range10--offset_step10--norm--scale--j2>MonAug1908:42:06:Submittedfromhost<login01>,CWD<$HOME/20130722>,OutputFile<output.%J>,ErrorFile<error.%J>,800ProcessorsRequested,RequestedResources<span[ptile=16]>;MonAug1908:42:08:Startedon800Hosts/Processors<16*node29>TueAug2017:18:13:Resourceusagecollected.TheCPUtimeusedis47617700seconds.MEM:1Tbytes;SWAP:2Tbytes;NTHREAD:1496PGID:7864;SCHEDULINGPARAMETERS:r15sr1mr15mutpgiolsittmpswpmemloadSched-----------loadStop-----------adapter_windowspoenrt_windowsloadSched---loadStop---常用命令及參數(shù)之bjobs(2)69(2)查看作業(yè)詳細信息常用命令及參數(shù)之bjobs(2)70命令格式：bsub[-a|-I|-i|-J|-m|-n|-o|-q|-R]application_cmdapplication_params-a"esub_application..."提交前校驗模式-I|-Ip|-Is交互方式

-iinput_file輸入文件

-Jjob_name作業(yè)名稱-m"host_name"使用機器

-ncore_num使用核數(shù)量

-ooutput_file輸出文件

-q"queue_name"隊列

-R"res_req"資源需求表達式無參數(shù)缺省隊列，非交互模式，1個核(1)提交批作業(yè)%bsub-o%J.outls(其中l(wèi)s為作業(yè)命令

)(2)提交交互作業(yè)%bsub-Isvi(其中vi為作業(yè)命令

)(3)提交并行作業(yè)

%bsub-qQL_Norm-n128mpirun./aout常用命令及參數(shù)之bsub70命令格式：bsub[-a|-I|-i|-J|-m|-n71命令格式：bpeek[-f]jobid-f實時持續(xù)監(jiān)視作業(yè)標準輸出無參數(shù)顯示從開始到當前輸出(1)監(jiān)視作業(yè)輸出%bpeek–f706<<outputfromstdout>>Oversampling=0NrHiddenVariableSamplingPoints=28800OrientationalSampling=30NrOrientations=576TranslationalSampling=10NrTranslations=5常用命令及參數(shù)之bpeek71命令格式：bpeek[-f]jobid常用命令及參數(shù)Index7241235實例展示計算平臺簡介集群計算技術和管理并行文件系統(tǒng)作業(yè)調度Index7241235實例展示計算平臺簡介集群計算技術和管上傳實驗數(shù)據(jù)（1）SSHSecureShell方式上傳實驗數(shù)據(jù)（1）SSHSecureShell方式上傳實驗數(shù)據(jù)（2）WinSCP方式協(xié)議選擇SFTPscp命令方式Linux用戶可在終端直接輸入命令scp文件名username@sip:目的路徑注意：在有大量文件需要下載時,建議使用tar命令進行打包,以加快下載速度和減少出錯幾率上傳實驗數(shù)據(jù)（2）WinSCP方式MPI實例75mpiruntest–procs12IO測試實例mpirun-np32-hostfile./ma1./gpfsperf-mpicreateseq/Share/gpfstest-n80g-r1m-th1–fsyncMPI實例75mpiruntest–procs12提交作業(yè)實例(1)串行任務：#catrun.sh#!/bin/sh#BSUB–qSMALL#BSUB-n1#BSUB-o%J.out#BSUB-e%J.err

./a.out#bsub<run.sh提交作業(yè)實例(1)串行任務：提交作業(yè)實例(2)mpirun任務:#catrun.sh#!/bin/sh#BSUB–qSMALL#BSUB-n20#BSUB-o%J.out#BSUB-e%J.err

NP=`wc-l<$LSB_DJOB_HOSTFILE`mpirun–np$NP--mcabtlopenib,self--mcabtl_tcp_if_excludeeth0–xLD_LIBRARY_PATH=/opt/intel/composer_xe_2013.1.117/compiler/lib/intel64:$LD_LIBRARY_PATH-hostfile$LSB_DJOB_HOSTFILE./a.out#bsub<run.sh提交作業(yè)實例(2)mpirun任務:NAMD和Gromacs作業(yè)實例#!/bin/sh#BSUB-qhpc_linux#BSUB-n12#BSUB–ooutput.%J#BSUB–eerror.%J#BSUB-aopenmpimpirun

/apps/soft/NAMD/NAMD_2.8_Source/Linux-x86_64-icc/namd2

mineq2.conf#!/bin/sh#BSUB-qhpc_linux#BSUB-n48#BSUB–ooutput.%J#BSUB–eerror.%J#BSUB-aintelmpimpirun

/apps/soft/gromacs/gromacs_4.5.4/bin/mdrun_mpi

–smd.tpr-vNAMD和Gromacs作業(yè)實例#!/bin/sheman實例#!/bin/sh#BSUB-qnormal#BSUB-aopenmpi#BSUB-ooutput.%J#BSUB-eerror.%J#BSUB-n320#BSUB-R"span[ptile=16]"#Environmentsource~/software/EMAN2/eman2.bashrcrm-rf./hosts2touch./hosts2#constructthehostsfileforthejobj=''k=0foriin`echo$LSB_HOSTS`do((k=k+1))if[$((k%16))-eq1]thenecho$kecho$islots=16>>./hosts2fidonee2refine_easy.py--input=sets/my_stack__ctf_flip_hp.lst--model=threed.0a.mrc--targetres=6.0--sym=c1--iter=10--mass=2500.0--apix=2.3318--sep=1--classkeep=0.6--m3dkeep=0.8--parallel=mpi:320:/Share/home/user/eman實例#!/bin/sh#constructtherelion作業(yè)實例#!/bin/sh#BSUB-qHUGE#BSUB-aopenmpi#BSUB-ooutput.%J#BSUB-eerror.%J#BSUB-n480#BSUB-R"span[ptile=16]"#Environmentsource~/.bashrcrm-rf./hoststouch./hosts#constructthehostsfileforthejob***#jobsubmissionmpirun-machinefile./hosts--bynode-n480`whichrelion_refine_mpi`--oClass2D_01/run1--iparticles.star--particle_diameter226--angpix4.52--iter25--tau2_fudge2--flatten_solvent--zero_mask--ctf--K240--oversampling1--psi_step10--offset_range5--offset_step2--norm--scale--j1mpirun-machinefile./hosts--bynode-n480`whichrelion_preprocess_mpi`--oparticles--coord_files"MRC_2/*.box"--extract--coord_formatboxer--extract_size160--norm--bg_radius78--white_dust-1--black_dust-1--invert_contrastrelion作業(yè)實例#!/bin/sh#constructSOAP作業(yè)實例lesslist|whilereada;doshauto_nonrandom.sh/Share/home/*/multi-sample/soap/${a}.soap./${a};donelist元素示例/Share/home/PERL/../resequencing/bin/subBin/soap2.21-p4-a/Share/home/../multi-sample/data/372_sample/110715_I719_FC81FLTABXX_L8_PDL11AA02400-3-49.fq.gz-D/Share/home/../PERL/resequencing/database/hg18/soap/hg18.fa.index-o/Share/home/../multi-sample/soap/372_sample/110715_I719_FC81FLTABXX_L8_PDL11AA02400-3-49.soap-t-s35lesslist|whilereada;dobsub-n4-qSMALL-e%J.e-o%J.osh../chr20/sh/${a};donelist元素示例:python/Share/home/../PERL/WGS/SOAPsnp/snpFilter.py../extract/chr10.snp2025410000>chr10.filterSOAP作業(yè)實例lesslist|whilereada性能狀態(tài)監(jiān)控實例并行科技Paramon查看機群整體運行狀態(tài)查看某一節(jié)點狀態(tài)查看作業(yè)運行狀態(tài)ssh–Xusername@登錄節(jié)點IP；paramon&Paratune82性能狀態(tài)監(jiān)控實例并行科技82計算平臺培訓教程演講完畢，謝謝觀看！演講完畢，謝謝觀看！生物高性能計算平臺用戶培訓集群操作2013-10-17楊濤生物高性能計算平臺用戶培訓2013-10-17楊濤Index8641235實例展示計算平臺簡介集群計算技術和管理并行文件系統(tǒng)作業(yè)調度Index241235實例展示計算平臺簡介集群計算技術和管理集群高性能計算(High-PerformanceComputing)與理論研究、實驗科學相并列,已經成為現(xiàn)代科學的三大支柱集群（Cluster）：非單一系統(tǒng)鏡像的松耦合體系系統(tǒng)由若干節(jié)點構成所有節(jié)點通過高速網(wǎng)絡互聯(lián)作業(yè)通過消息傳遞通信方式分布到各個計算節(jié)點上三大件：計算存儲通信集群高性能計算(High-PerformanceCompu集群的發(fā)展計算機硬件的發(fā)展(CPU、MEM、主板)計算機網(wǎng)絡的發(fā)展(互聯(lián)技術)計算機體系結構的發(fā)展(NUMA)并行計算的發(fā)展(MPI)價格便宜并且易于構建易于擴展和升級集群的發(fā)展計算機硬件的發(fā)展(CPU、MEM、主板)集群指標性能理論峰值速度和實際速度、效率FLOPsLinpack加速比、效率存儲容量、吞吐率和IOPS等平均作業(yè)吞吐量，平均作業(yè)等待時間可靠性可擴展性體系結構、軟件、算法集群指標性能生物計算平臺（1）“清華大學蛋白質設施實驗技術中心”生物計算平臺清華大學校級公共服務平臺受實驗室與設備處和生命學院領導建設目標大型基礎設施共享共用和科學服務中心將搭建專用的高性能計算機集群，以承載和支撐大規(guī)模生物和醫(yī)學計算為中心任務，充分利用其大數(shù)據(jù)處理和并行計算能力，并進一步為大數(shù)據(jù)地高效處理和分析提供創(chuàng)新機制通過信息資源整合和共享、統(tǒng)一管理和維護，不僅能有效節(jié)省購置成本和運營開支，還可以大幅度提升提高信息資源的使用效率，以更好的滿足生命科學和交叉科學不斷提出的新要求和挑戰(zhàn)生物計算平臺（1）“清華大學蛋白質設施實驗技術中心”生物計算生物計算平臺（2）清華生命學院高性能計算平臺共有120個計算節(jié)點（雙路8核Intel

Xeon

E5-2650），1920個處理器核系統(tǒng)的理論浮點峰值計算性能達到30.72TFlops計算網(wǎng)絡采用InfiniBandQDR通信網(wǎng)絡,理論帶寬40Gb；管理網(wǎng)絡采用千兆以太網(wǎng)目前存儲約200TB，第一期規(guī)劃存儲總容量1PB另外,系統(tǒng)還配置2個Nvidia

TeslaM2090

的GPU節(jié)點和1個512GB大內存節(jié)點生物計算平臺（2）清華生命學院高性能計算平臺功能模型功能模型機群綜述項目詳情IBM-A(80節(jié)點)IBM-B(40節(jié)點)理論整體計算能力80*16*2.0*8=20.48Tflops40*16*2.0*8=10.24Tflops整體存儲空間150T55T管理網(wǎng)絡千兆以太網(wǎng)千兆以太網(wǎng)計算網(wǎng)絡IifiniBand/40Gb/sIifiniBand/40Gb/s節(jié)點名機器型號CPU內存硬盤顯卡存儲節(jié)點x4IBMx3630M4IntelE5-244064GB30.3TB胖節(jié)點x2IBMx3750M4IntelE5-4620512GB5.3TBGpu節(jié)點x3IBMdx360M4IntelE5-265064GB300GBNVIDIA管理節(jié)點x2IBMdx360M4IntelE5-260932GB300GB登錄節(jié)點x2IBMdx360M4IntelE5-260932GB600GB計算節(jié)點x120IBMdx360M4IntelE5-265064GB600GB機群綜述項目詳情IBM-A(80節(jié)點)IBM-B(40節(jié)點)節(jié)點類管理節(jié)點（ManagementNode/HeadNode/HN）機群中的一個結點，負責管理整個高性能計算機群登錄節(jié)點（LoginNode/LN）機群中的一個或者多個結點，用于提供用戶登錄服務，受控于管理結點存儲節(jié)點(Inp