南師大數(shù)科院省重點(diǎn)實(shí)驗(yàn)室集群使用手冊(cè)

1、南師大數(shù)科院省重點(diǎn)實(shí)驗(yàn)室集群使用手冊(cè)（V1.0）1. 集群的各項(xiàng)配置信息1.1 硬件配置集群共有108個(gè)計(jì)算節(jié)點(diǎn)，4臺(tái)登陸管理節(jié)點(diǎn)，2臺(tái)I/O節(jié)點(diǎn)，1臺(tái)胖節(jié)點(diǎn)，1臺(tái)GPU節(jié)點(diǎn)組成。根據(jù)具體情況，會(huì)開啟部分或全部節(jié)點(diǎn)供計(jì)算使用。108個(gè)計(jì)算節(jié)點(diǎn)配置如下：a) CPU:2* Intel Xeon 6C X5650 2.66GHzb) Memory:12* 4GB DDR3 LP RDIMMc) Hard Disk: 1* 2.5in SFF Slim-HS 10K 6Gbps 300GB SAS 10K胖節(jié)點(diǎn)配置如下：a）CPU:4* Intel Xeon 8C E7-4820 2.0GHzb）M

2、emory:64*8GB DDR3 LP RDIMMc）Hard Disk: 4* 2.5in SFF Slim-HS 10K 6Gbps 300GB SAS 10K1.2 軟件配置集群域名：集群登錄IP：33操作系統(tǒng)：Red Hat Enterprise Linux 5.7編譯器：Intel C+ Linux 2011.7.256 ，Intel Fortran Linux 2011.7.256數(shù)學(xué)庫(kù)：Intel Math Kernel Library 11.0MPI實(shí)現(xiàn)：MVAPI2集群管理軟件：君富EasyCluster高性能計(jì)算集群管理軟件V1.6已安裝的科學(xué)軟件

3、：vasp 4.62. 使用指南2.1 如何登錄集群？?jī)煞N方法可以訪問集群：(1) 使用ssh client，如ssh secure shell client，啟動(dòng)后連接集群即可，如下圖所示：(2) 使用EasyCluster，打開IE瀏覽器，輸入U(xiǎn)RL：，出現(xiàn)如下界面：注：（1） 首次使用EasyCluster，請(qǐng)按照上述界面提示，下載插件并安裝，否則將無法正常瀏覽EasyCluster。單機(jī)界面中黃顏色的“此處”超級(jí)鏈接，即可下載插件（使用IE的windows用戶和使用firefox的Linux用戶，請(qǐng)根據(jù)界面提示下載對(duì)應(yīng)的插件包），下載完成后雙擊即可開始安裝。（2） EasyCluste

4、r的帳戶系統(tǒng)和服務(wù)器（指安裝EasyCluster服務(wù)器端程序的服務(wù)器）操作系統(tǒng)的帳戶是一致的。換句話說，用戶只需要使用一套用戶名和口令就可以登錄EasyCluster和服務(wù)器的Linux/UNIX操作系統(tǒng)。插件安裝完成后，輸入帳號(hào)和密碼，進(jìn)入EasyCluster系統(tǒng)主界面，如下圖所示：版本號(hào)退出系統(tǒng)子功能導(dǎo)航主功能導(dǎo)航1、退出系統(tǒng)鏈接。通過單擊該超鏈接，EasyCluster將清除用戶的登錄信息，回到登錄界面，從而安全的退出EasyCluster系統(tǒng)。在此，我們強(qiáng)烈推薦用戶每次退出系統(tǒng)都通過這種方式進(jìn)行，而不是直接將瀏覽器關(guān)閉。2、主功能導(dǎo)航。此處是EasyCluster全部功能的清單，從

5、圖上可以看出，EasyCluster的功能模塊主要有提交任務(wù)、任務(wù)管理、消息管理、待辦事宜、記帳信息、控制面板。2.2 如何退出登錄？n 使用方法1，即ssh client登錄集群的用戶，請(qǐng)輸入命令“exit”退出登錄。然后關(guān)閉ssh client軟件即可。n 使用方法2，即EasyCluster的用戶，請(qǐng)單擊主界面中的“退出”超鏈接退出登錄，然后關(guān)閉瀏覽器即可。2.3 如何上傳/下載文件？使用ssh client登錄上集群之后，使用sftp功能即可上傳下載文件。sftp是基于SSH的FTP實(shí)現(xiàn)，傳輸安全穩(wěn)定。以上述ssh secure shell client軟件為例，登錄進(jìn)入集群之后，單擊

6、下圖1中所示的工具欄按鈕，即可打開SFTP的界面（如下圖2）：?jiǎn)螕暨@個(gè)按鈕即可打開SFTP在SFTP的界面中，左側(cè)是本地硬盤的文件瀏覽界面，右側(cè)是遠(yuǎn)程服務(wù)器上的文件瀏覽界面，使用“拖拽”的方法即可完成文件的上傳和下載。即將文件或文件夾從左側(cè)拖拽到右側(cè)，即可完成文件的上傳；將文件從右側(cè)拖拽到左側(cè)，即可完成文件的下載。2.4 如何提交一個(gè)普通計(jì)算任務(wù)？使用EasyCluster提交計(jì)算任務(wù)。EasyCluster帶有一個(gè)任務(wù)調(diào)度系統(tǒng)，在EasyCluster中提交的任務(wù)，將根據(jù)任務(wù)的要求和相應(yīng)的配置情況，被放入任務(wù)排隊(duì)隊(duì)列。同時(shí)，EasyCluster會(huì)根據(jù)集群目前的負(fù)載情況，自動(dòng)挑選出滿足任務(wù)條

7、件的計(jì)算節(jié)點(diǎn)，將任務(wù)放到這些節(jié)點(diǎn)中運(yùn)行。(1) 提交一個(gè)普通的計(jì)算任務(wù)，在EasyCluster左方的主功能導(dǎo)航中，單擊【提交任務(wù)】，出現(xiàn)如下界面：將這種任務(wù)提交表單填寫完成，即可提交一個(gè)任務(wù)，該表單中各字段的含義和填寫方法如下：填寫項(xiàng)必須填寫描述及操作任務(wù)名稱用來標(biāo)識(shí)任務(wù)的文字，建議不要超過8個(gè)字符。任務(wù)名稱的第一個(gè)字符不能是數(shù)字，且任務(wù)名稱中不能包含空格。任務(wù)類型選擇是串行任務(wù)還是單機(jī)并行任務(wù)還是多機(jī)并行任務(wù)。串行：任務(wù)只有一個(gè)進(jìn)程和線程做計(jì)算，只會(huì)只用一個(gè)CPU核；單機(jī)并行：在一個(gè)節(jié)點(diǎn)上采用多線程做并行計(jì)算，進(jìn)程數(shù)項(xiàng)目的“最小”、“最大”欄目填寫的數(shù)字均不得超過一個(gè)計(jì)算節(jié)點(diǎn)上的CPU核總

8、數(shù)，否則任務(wù)會(huì)一直處于等待狀態(tài)。多機(jī)并行：多進(jìn)程方式做并行計(jì)算，特指基于MPI的分布式多進(jìn)程并行方式。如果選擇并行任務(wù)，則后續(xù)的并行環(huán)境將成為必填項(xiàng)。執(zhí)行程序單擊該項(xiàng)的【瀏覽】按鈕將打開對(duì)話框供用戶選定本次任務(wù)的可執(zhí)行程序。工作目錄單擊該項(xiàng)的【瀏覽】按鈕將打開對(duì)話框供用戶選定本次任務(wù)的應(yīng)用程序數(shù)據(jù)文件所在的子目錄。輸出目錄規(guī)定任務(wù)的輸出信息文件存放的路徑。單擊該項(xiàng)中【瀏覽】按鈕可彈出對(duì)話框供用戶選擇輸出目錄。EasyCluster會(huì)將任務(wù)的“寫屏”信息重定向一個(gè)輸出文件中，該項(xiàng)配置即指定EasyCluster將該輸出文件放置到哪個(gè)目錄下。任務(wù)隊(duì)列選擇本次任務(wù)所使用的任務(wù)隊(duì)列。任務(wù)隊(duì)列是指用戶的

9、任務(wù)在哪個(gè)隊(duì)列里排隊(duì)、運(yùn)行。隊(duì)列是用戶授權(quán)和計(jì)算資源的集合體，隊(duì)列里定義了屬于隊(duì)列的節(jié)點(diǎn)機(jī)、用戶組、并行環(huán)境、附屬隊(duì)列以及其它的屬性。并行環(huán)境（PE） （并）本項(xiàng)只對(duì)并行任務(wù)有效。并行環(huán)境中定義了MPICH并行軟件的操作命令行、包含的節(jié)點(diǎn)列表等信息。此項(xiàng)配置將在EasyCluster安裝過程中配置完畢，用戶無需關(guān)心。集群默認(rèn)的并行環(huán)境是mvapi2。進(jìn)程數(shù) （并）本項(xiàng)只對(duì)并行任務(wù)有效。指本次并行任務(wù)需要多少進(jìn)程進(jìn)行計(jì)算，必須填寫數(shù)字。EasyCluster將自動(dòng)查找滿足任務(wù)條件的節(jié)點(diǎn)并啟動(dòng)程序，如果沒有滿足任務(wù)條件的節(jié)點(diǎn)存在，任務(wù)將被掛起并排隊(duì)?！白钚　币粰诒仨毺?，“最大”一欄不填寫的話將默認(rèn)

10、使用預(yù)設(shè)的該用戶的單任務(wù)最大進(jìn)程數(shù)。合并輸出EasyCluster任務(wù)調(diào)度模塊在任務(wù)運(yùn)行過程中或結(jié)束后會(huì)生成該任務(wù)的輸出文件。輸出文件共有四個(gè)，格式如下：.o .e.po .pe其中.o和.e兩個(gè)文件中存放的是任務(wù)本身的標(biāo)準(zhǔn)輸出信息和標(biāo)準(zhǔn)出錯(cuò)信息；.po和.pe兩個(gè)文件中存放的是EasyCluster任務(wù)調(diào)度模塊本身的一些調(diào)試信息。如果將本項(xiàng)設(shè)置選中，表示將.o和.e文件合并，將.po和.pe文件合并，也就是說，輸出變成兩個(gè)文件，不再是四個(gè)文件，這樣方便閱讀。郵件提醒選中“Email地址”左方的復(fù)選框表示該任務(wù)需要打開郵件提醒功能。在此情況下，Email地址將成為必填項(xiàng)。您還可以選擇需要在什么

11、情況下發(fā)出提醒，這可以通過勾選下方的“任務(wù)啟動(dòng)” 、“任務(wù)完成”、“任務(wù)掛起”和“任務(wù)恢復(fù)”四個(gè)復(fù)選框來完成。未選中“Email地址”左方的復(fù)選框表示該項(xiàng)任務(wù)不需要郵件提醒功能，此時(shí)，Email地址、任務(wù)啟動(dòng)、任務(wù)完成、任務(wù)掛起、任務(wù)恢復(fù)這幾項(xiàng)界面元素的填寫內(nèi)容將被忽略。啟動(dòng)時(shí)間單擊該項(xiàng)中的【瀏覽】按鈕可彈出日期時(shí)間選擇對(duì)話框。此處供用戶選擇本次任務(wù)的預(yù)約啟動(dòng)時(shí)間。當(dāng)預(yù)約啟動(dòng)時(shí)間達(dá)到時(shí)，EasyCluster將任務(wù)排入任務(wù)隊(duì)列，如此時(shí)集群有滿足任務(wù)條件的計(jì)算節(jié)點(diǎn)存在時(shí)，任務(wù)將啟動(dòng)，否則將繼續(xù)排隊(duì)。該項(xiàng)不填表示立即將任務(wù)排入任務(wù)隊(duì)列。命令行選項(xiàng)本項(xiàng)目前只對(duì)并行任務(wù)有效。運(yùn)行并行程序通常都需要一些

12、第三方的軟件的支持，如MPICH、LAM等。本項(xiàng)內(nèi)容指的是傳遞給啟動(dòng)并行程序腳本的參數(shù)，如傳遞給mpirun命令的參數(shù)。注意不要和“程序參數(shù)”一項(xiàng)混淆。程序參數(shù)指的是傳遞給執(zhí)行程序的參數(shù)（用戶選定的執(zhí)行程序）。程序參數(shù)傳遞給執(zhí)行程序的參數(shù)，如執(zhí)行程序的輸入數(shù)據(jù)文件。2.5 如何查看正在執(zhí)行的任務(wù)？單擊EasyCluster功能菜單【任務(wù)管理】-【查詢未完成任務(wù)】即可查詢到正在執(zhí)行的任務(wù)。在輸出信息中，任務(wù)狀態(tài)一欄若為“qw”表示任務(wù)正在排隊(duì)；若為“t”或“r”狀態(tài)表示任務(wù)已經(jīng)開始運(yùn)行。同時(shí)在這些信息中，可以查看到EasyCluster將任務(wù)放置到了哪個(gè)/哪些節(jié)點(diǎn)上執(zhí)行。2.6 如何修改我的登錄

13、密碼？單擊EasyCluster主功能菜單【控制面板】的子模塊【修改登陸密碼】，出現(xiàn)如下界面：輸入兩次新密碼即可完成密碼的修改。注：EasyCluster的帳戶系統(tǒng)和使用ssh client登錄系統(tǒng)的帳戶是一套系統(tǒng)，也就是說，在EasyCluster中修改了密碼之后，下次登錄，無論使用ssh client還是EasyCluster，都必須使用修改后的密碼方可登錄。使用命令行修改密碼的步驟為：$ passwd$ mypass后面的mypass是同步帳戶的2.7 如何編譯一個(gè)串行程序？使用集群上的Intel編譯器可以編譯一個(gè)程序。如編譯一個(gè)C程序，使用命令行：icc -o 如編譯一個(gè)C+程序，使用

14、命令行：icpc -o 如編譯一個(gè)Fortran程序（77或90均可），使用命令行：ifort -o 2.8 如何編譯一個(gè)并行程序？如編譯一個(gè)C并行程序，使用命令行：mpicc -o 如編譯一個(gè)C+并行程序，使用命令行：Mpicxx -o 如編譯一個(gè)Fortran程序（77或90均可），使用命令行：mpif90 -o 2.9 如何提交Matlab任務(wù)？數(shù)據(jù)準(zhǔn)備啟動(dòng)ssh/sftp客戶端軟件并登錄，將*.m文件上傳至一個(gè)任務(wù)目錄里。提交Matlab任務(wù)有兩種方式可以提交matlab任務(wù)（1）通過Easycluster界面提交任務(wù)首先登錄進(jìn)入Easycluster的普通用戶界面，點(diǎn)擊提交任務(wù)，在右

15、邊的提交任務(wù)框內(nèi)填寫必要的項(xiàng)目。任務(wù)名稱：要求最多8個(gè)西文字母或數(shù)字，且首字符必須是字母。任務(wù)類型：串行執(zhí)行程序：點(diǎn)擊“瀏覽”，在目錄中選擇/usr/local/Matlab2010a/bin/matlab工作目錄：點(diǎn)擊“瀏覽”，在目錄中選擇前面上傳數(shù)據(jù)文件的目錄任務(wù)隊(duì)列：在下拉框選擇matlab.q（在胖節(jié)點(diǎn)計(jì)算），或者math.q（在計(jì)算節(jié)點(diǎn)計(jì)算）點(diǎn)擊“高級(jí)選項(xiàng)”欄右邊的下拉符合并輸出：選中程序參數(shù)： -nodisplay -nojvm dri.out其中driver.m是輸入的主數(shù)據(jù)文件，dri.out是輸出文件（2）腳本方式提交任務(wù)首先準(zhǔn)備好matlab的任務(wù)腳本，例如matlab.sh ，內(nèi)容如下：-#!/bin/sh#_INFO_MARK_BEGIN_# Welcome to use EasyCluster V1.6 All Rights Reserved.#_INFO_MARK_END_#$ -S /bin/sh#$ -N mjob#$ -j y#$ -o ./#$ -e ./#$ -cwd#$ -q math.qsource /.bash_profile#source /.bash