南師大數(shù)科院省重點實驗室集群使用手冊

1、南師大數(shù)科院省重點實驗室集群使用手冊（V1.0）1. 集群的各項配置信息1.1 硬件配置集群共有108個計算節(jié)點，4臺登陸管理節(jié)點，2臺I/O節(jié)點，1臺胖節(jié)點，1臺GPU節(jié)點組成。根據(jù)具體情況，會開啟部分或全部節(jié)點供計算使用。108個計算節(jié)點配置如下：a) CPU:2* Intel Xeon 6C X5650 2.66GHzb) Memory:12* 4GB DDR3 LP RDIMMc) Hard Disk: 1* 2.5in SFF Slim-HS 10K 6Gbps 300GB SAS 10K胖節(jié)點配置如下：a）CPU:4* Intel Xeon 8C E7-4820 2.0GHzb）M

2、emory:64*8GB DDR3 LP RDIMMc）Hard Disk: 4* 2.5in SFF Slim-HS 10K 6Gbps 300GB SAS 10K1.2 軟件配置集群域名：集群登錄IP：33操作系統(tǒng)：Red Hat Enterprise Linux 5.7編譯器：Intel C+ Linux 2011.7.256 ，Intel Fortran Linux 2011.7.256數(shù)學(xué)庫：Intel Math Kernel Library 11.0MPI實現(xiàn)：MVAPI2集群管理軟件：君富EasyCluster高性能計算集群管理軟件V1.6已安裝的科學(xué)軟件

3、：vasp 4.62. 使用指南2.1 如何登錄集群？兩種方法可以訪問集群：(1) 使用ssh client，如ssh secure shell client，啟動后連接集群即可，如下圖所示：(2) 使用EasyCluster，打開IE瀏覽器，輸入URL：，出現(xiàn)如下界面：注：（1） 首次使用EasyCluster，請按照上述界面提示，下載插件并安裝，否則將無法正常瀏覽EasyCluster。單機界面中黃顏色的“此處”超級鏈接，即可下載插件（使用IE的windows用戶和使用firefox的Linux用戶，請根據(jù)界面提示下載對應(yīng)的插件包），下載完成后雙擊即可開始安裝。（2） EasyCluste

4、r的帳戶系統(tǒng)和服務(wù)器（指安裝EasyCluster服務(wù)器端程序的服務(wù)器）操作系統(tǒng)的帳戶是一致的。換句話說，用戶只需要使用一套用戶名和口令就可以登錄EasyCluster和服務(wù)器的Linux/UNIX操作系統(tǒng)。插件安裝完成后，輸入帳號和密碼，進入EasyCluster系統(tǒng)主界面，如下圖所示：版本號退出系統(tǒng)子功能導(dǎo)航主功能導(dǎo)航1、退出系統(tǒng)鏈接。通過單擊該超鏈接，EasyCluster將清除用戶的登錄信息，回到登錄界面，從而安全的退出EasyCluster系統(tǒng)。在此，我們強烈推薦用戶每次退出系統(tǒng)都通過這種方式進行，而不是直接將瀏覽器關(guān)閉。2、主功能導(dǎo)航。此處是EasyCluster全部功能的清單，從

5、圖上可以看出，EasyCluster的功能模塊主要有提交任務(wù)、任務(wù)管理、消息管理、待辦事宜、記帳信息、控制面板。2.2 如何退出登錄？n 使用方法1，即ssh client登錄集群的用戶，請輸入命令“exit”退出登錄。然后關(guān)閉ssh client軟件即可。n 使用方法2，即EasyCluster的用戶，請單擊主界面中的“退出”超鏈接退出登錄，然后關(guān)閉瀏覽器即可。2.3 如何上傳/下載文件？使用ssh client登錄上集群之后，使用sftp功能即可上傳下載文件。sftp是基于SSH的FTP實現(xiàn)，傳輸安全穩(wěn)定。以上述ssh secure shell client軟件為例，登錄進入集群之后，單擊

6、下圖1中所示的工具欄按鈕，即可打開SFTP的界面（如下圖2）：單擊這個按鈕即可打開SFTP在SFTP的界面中，左側(cè)是本地硬盤的文件瀏覽界面，右側(cè)是遠程服務(wù)器上的文件瀏覽界面，使用“拖拽”的方法即可完成文件的上傳和下載。即將文件或文件夾從左側(cè)拖拽到右側(cè)，即可完成文件的上傳；將文件從右側(cè)拖拽到左側(cè)，即可完成文件的下載。2.4 如何提交一個普通計算任務(wù)？使用EasyCluster提交計算任務(wù)。EasyCluster帶有一個任務(wù)調(diào)度系統(tǒng)，在EasyCluster中提交的任務(wù)，將根據(jù)任務(wù)的要求和相應(yīng)的配置情況，被放入任務(wù)排隊隊列。同時，EasyCluster會根據(jù)集群目前的負載情況，自動挑選出滿足任務(wù)條

7、件的計算節(jié)點，將任務(wù)放到這些節(jié)點中運行。(1) 提交一個普通的計算任務(wù)，在EasyCluster左方的主功能導(dǎo)航中，單擊【提交任務(wù)】，出現(xiàn)如下界面：將這種任務(wù)提交表單填寫完成，即可提交一個任務(wù)，該表單中各字段的含義和填寫方法如下：填寫項必須填寫描述及操作任務(wù)名稱用來標(biāo)識任務(wù)的文字，建議不要超過8個字符。任務(wù)名稱的第一個字符不能是數(shù)字，且任務(wù)名稱中不能包含空格。任務(wù)類型選擇是串行任務(wù)還是單機并行任務(wù)還是多機并行任務(wù)。串行：任務(wù)只有一個進程和線程做計算，只會只用一個CPU核；單機并行：在一個節(jié)點上采用多線程做并行計算，進程數(shù)項目的“最小”、“最大”欄目填寫的數(shù)字均不得超過一個計算節(jié)點上的CPU核總

8、數(shù)，否則任務(wù)會一直處于等待狀態(tài)。多機并行：多進程方式做并行計算，特指基于MPI的分布式多進程并行方式。如果選擇并行任務(wù)，則后續(xù)的并行環(huán)境將成為必填項。執(zhí)行程序單擊該項的【瀏覽】按鈕將打開對話框供用戶選定本次任務(wù)的可執(zhí)行程序。工作目錄單擊該項的【瀏覽】按鈕將打開對話框供用戶選定本次任務(wù)的應(yīng)用程序數(shù)據(jù)文件所在的子目錄。輸出目錄規(guī)定任務(wù)的輸出信息文件存放的路徑。單擊該項中【瀏覽】按鈕可彈出對話框供用戶選擇輸出目錄。EasyCluster會將任務(wù)的“寫屏”信息重定向一個輸出文件中，該項配置即指定EasyCluster將該輸出文件放置到哪個目錄下。任務(wù)隊列選擇本次任務(wù)所使用的任務(wù)隊列。任務(wù)隊列是指用戶的

9、任務(wù)在哪個隊列里排隊、運行。隊列是用戶授權(quán)和計算資源的集合體，隊列里定義了屬于隊列的節(jié)點機、用戶組、并行環(huán)境、附屬隊列以及其它的屬性。并行環(huán)境（PE） （并）本項只對并行任務(wù)有效。并行環(huán)境中定義了MPICH并行軟件的操作命令行、包含的節(jié)點列表等信息。此項配置將在EasyCluster安裝過程中配置完畢，用戶無需關(guān)心。集群默認的并行環(huán)境是mvapi2。進程數(shù) （并）本項只對并行任務(wù)有效。指本次并行任務(wù)需要多少進程進行計算，必須填寫數(shù)字。EasyCluster將自動查找滿足任務(wù)條件的節(jié)點并啟動程序，如果沒有滿足任務(wù)條件的節(jié)點存在，任務(wù)將被掛起并排隊。“最小”一欄必須填，“最大”一欄不填寫的話將默認

10、使用預(yù)設(shè)的該用戶的單任務(wù)最大進程數(shù)。合并輸出EasyCluster任務(wù)調(diào)度模塊在任務(wù)運行過程中或結(jié)束后會生成該任務(wù)的輸出文件。輸出文件共有四個，格式如下：.o .e.po .pe其中.o和.e兩個文件中存放的是任務(wù)本身的標(biāo)準輸出信息和標(biāo)準出錯信息；.po和.pe兩個文件中存放的是EasyCluster任務(wù)調(diào)度模塊本身的一些調(diào)試信息。如果將本項設(shè)置選中，表示將.o和.e文件合并，將.po和.pe文件合并，也就是說，輸出變成兩個文件，不再是四個文件，這樣方便閱讀。郵件提醒選中“Email地址”左方的復(fù)選框表示該任務(wù)需要打開郵件提醒功能。在此情況下，Email地址將成為必填項。您還可以選擇需要在什么

11、情況下發(fā)出提醒，這可以通過勾選下方的“任務(wù)啟動” 、“任務(wù)完成”、“任務(wù)掛起”和“任務(wù)恢復(fù)”四個復(fù)選框來完成。未選中“Email地址”左方的復(fù)選框表示該項任務(wù)不需要郵件提醒功能，此時，Email地址、任務(wù)啟動、任務(wù)完成、任務(wù)掛起、任務(wù)恢復(fù)這幾項界面元素的填寫內(nèi)容將被忽略。啟動時間單擊該項中的【瀏覽】按鈕可彈出日期時間選擇對話框。此處供用戶選擇本次任務(wù)的預(yù)約啟動時間。當(dāng)預(yù)約啟動時間達到時，EasyCluster將任務(wù)排入任務(wù)隊列，如此時集群有滿足任務(wù)條件的計算節(jié)點存在時，任務(wù)將啟動，否則將繼續(xù)排隊。該項不填表示立即將任務(wù)排入任務(wù)隊列。命令行選項本項目前只對并行任務(wù)有效。運行并行程序通常都需要一些

12、第三方的軟件的支持，如MPICH、LAM等。本項內(nèi)容指的是傳遞給啟動并行程序腳本的參數(shù)，如傳遞給mpirun命令的參數(shù)。注意不要和“程序參數(shù)”一項混淆。程序參數(shù)指的是傳遞給執(zhí)行程序的參數(shù)（用戶選定的執(zhí)行程序）。程序參數(shù)傳遞給執(zhí)行程序的參數(shù)，如執(zhí)行程序的輸入數(shù)據(jù)文件。2.5 如何查看正在執(zhí)行的任務(wù)？單擊EasyCluster功能菜單【任務(wù)管理】-【查詢未完成任務(wù)】即可查詢到正在執(zhí)行的任務(wù)。在輸出信息中，任務(wù)狀態(tài)一欄若為“qw”表示任務(wù)正在排隊；若為“t”或“r”狀態(tài)表示任務(wù)已經(jīng)開始運行。同時在這些信息中，可以查看到EasyCluster將任務(wù)放置到了哪個/哪些節(jié)點上執(zhí)行。2.6 如何修改我的登錄

13、密碼？單擊EasyCluster主功能菜單【控制面板】的子模塊【修改登陸密碼】，出現(xiàn)如下界面：輸入兩次新密碼即可完成密碼的修改。注：EasyCluster的帳戶系統(tǒng)和使用ssh client登錄系統(tǒng)的帳戶是一套系統(tǒng)，也就是說，在EasyCluster中修改了密碼之后，下次登錄，無論使用ssh client還是EasyCluster，都必須使用修改后的密碼方可登錄。使用命令行修改密碼的步驟為：$ passwd$ mypass后面的mypass是同步帳戶的2.7 如何編譯一個串行程序？使用集群上的Intel編譯器可以編譯一個程序。如編譯一個C程序，使用命令行：icc -o 如編譯一個C+程序，使用

14、命令行：icpc -o 如編譯一個Fortran程序（77或90均可），使用命令行：ifort -o 2.8 如何編譯一個并行程序？如編譯一個C并行程序，使用命令行：mpicc -o 如編譯一個C+并行程序，使用命令行：Mpicxx -o 如編譯一個Fortran程序（77或90均可），使用命令行：mpif90 -o 2.9 如何提交Matlab任務(wù)？數(shù)據(jù)準備啟動ssh/sftp客戶端軟件并登錄，將*.m文件上傳至一個任務(wù)目錄里。提交Matlab任務(wù)有兩種方式可以提交matlab任務(wù)（1）通過Easycluster界面提交任務(wù)首先登錄進入Easycluster的普通用戶界面，點擊提交任務(wù)，在右

15、邊的提交任務(wù)框內(nèi)填寫必要的項目。任務(wù)名稱：要求最多8個西文字母或數(shù)字，且首字符必須是字母。任務(wù)類型：串行執(zhí)行程序：點擊“瀏覽”，在目錄中選擇/usr/local/Matlab2010a/bin/matlab工作目錄：點擊“瀏覽”，在目錄中選擇前面上傳數(shù)據(jù)文件的目錄任務(wù)隊列：在下拉框選擇matlab.q（在胖節(jié)點計算），或者math.q（在計算節(jié)點計算）點擊“高級選項”欄右邊的下拉符合并輸出：選中程序參數(shù)： -nodisplay -nojvm dri.out其中driver.m是輸入的主數(shù)據(jù)文件，dri.out是輸出文件（2）腳本方式提交任務(wù)首先準備好matlab的任務(wù)腳本，例如matlab.sh ，內(nèi)容如下：-#!/bin/sh#_INFO_MARK_BEGIN_# Welcome to use EasyCluster V1.6 All Rights Reserved.#_INFO_MARK_END_#$ -S /bin/sh#$ -N mjob#$ -j y#$ -o ./#$ -e ./#$ -cwd#$ -q math.qsource /.bash_profile#source /.bash