HPC高性能計算集群實施指導手冊

1、HPC高性能計算集群實施指導手冊目 錄 TOC o 1-3 h z u HYPERLINK l _Toc529044133 1、基本系統(tǒng)參數(shù)設(shè)置 PAGEREF _Toc529044133 h - 1 - HYPERLINK l _Toc529044134 1.1、ulimit系統(tǒng)進程資源限制 PAGEREF _Toc529044134 h - 1 - HYPERLINK l _Toc529044135 1.2、關(guān)閉selinux服務 PAGEREF _Toc529044135 h - 1 - HYPERLINK l _Toc529044136 1.3、配置本地yum源 PAGEREF _To

2、c529044136 h - 1 - HYPERLINK l _Toc529044137 2、NIS服務配置 PAGEREF _Toc529044137 h - 2 - HYPERLINK l _Toc529044138 2.1、NIS服務器端的配置 PAGEREF _Toc529044138 h - 2 - HYPERLINK l _Toc529044139 2.2、NIS客戶端的配置管理 PAGEREF _Toc529044139 h - 4 - HYPERLINK l _Toc529044140 2.3、NIS客戶端的屬性設(shè)置 PAGEREF _Toc529044140 h - 6 -

3、HYPERLINK l _Toc529044141 3、NFS配置 PAGEREF _Toc529044141 h - 8 - HYPERLINK l _Toc529044142 3.1、NFS軟件包安裝 PAGEREF _Toc529044142 h - 8 - HYPERLINK l _Toc529044143 3.2、編輯NFS服務器配置文件 PAGEREF _Toc529044143 h - 8 - HYPERLINK l _Toc529044144 3.3、啟動服務 PAGEREF _Toc529044144 h - 8 - HYPERLINK l _Toc529044145 3.4

4、、在客戶端中掛載NFS服務器中的共享目錄 PAGEREF _Toc529044145 h - 9 - HYPERLINK l _Toc529044146 4、配置Kdump服務 PAGEREF _Toc529044146 h - 9 - HYPERLINK l _Toc529044147 4.1、Kdump安裝 PAGEREF _Toc529044147 h - 9 - HYPERLINK l _Toc529044148 4.2、Kdump配置 PAGEREF _Toc529044148 h - 10 - HYPERLINK l _Toc529044149 4.3、安裝分析轉(zhuǎn)存儲文件所需的rp

5、m包 PAGEREF _Toc529044149 h - 11 - HYPERLINK l _Toc529044150 5、配置Rsyslog服務 PAGEREF _Toc529044150 h - 11 - HYPERLINK l _Toc529044151 5.1 服務端配置 PAGEREF _Toc529044151 h - 11 - HYPERLINK l _Toc529044152 5.2、客戶端配置 PAGEREF _Toc529044152 h - 12 - HYPERLINK l _Toc529044153 5.3、日志輪詢服務logrotate PAGEREF _Toc529

6、044153 h - 13 - - 14 -1、基本系統(tǒng)參數(shù)設(shè)置1.1、ulimit系統(tǒng)進程資源限制修改/etc/security/limits.conf文件，添加如下內(nèi)容：* softmemlockunlimited* hardmemlockunlimited* softstackunlimited* hardstackunlimited1.2、關(guān)閉selinux服務運行如下命令修改/etc/selinux/config文件，關(guān)閉selinuxsed -i s/=enable/=disabled/g /etc/selinux/configsed -i s/=enforcing/=disabl

7、ed/g /etc/selinux/config可以使用以下命令查看selinux服務狀態(tài)sestatus1.3、配置本地yum源上傳對應操作系統(tǒng)的ISO文件到/public/sourecode目錄將操作系統(tǒng)ISO文件掛載到/mnt目錄mount t iso9660 o loop /public/sourcecode/xxx.iso /mnt創(chuàng)建/public/sourcecode/yum目錄，并將安裝盤內(nèi)容拷貝到這個目錄cp rp /mnt/Packages/* /public/sourcecode/yum創(chuàng)建yum源配置文件/etc/yum.repo.d/Local.repo，內(nèi)容如下：生

8、成yum本地緩存，命令如下：yum makecache2、NIS服務配置2.1、NIS服務器端的配置NIS軟件包安裝查看系統(tǒng)中是否已經(jīng)安裝下列三個軟件：ypservNIS服務器軟件, 一般默認是不安裝的,需要安裝yp-tools提供對NIS服務器的查詢和管理軟件ypbindNIS客戶端需要使用軟件包rpm qa | grep yp安裝ypserv前需要利用rpm qa | grep portmap 命令（6.0之后的版本使用rpcbind）確認portmap(rpcbind)已經(jīng)安裝。安裝需要利用rpm ivh進行安裝，命令如下：rpm ivh ypserv-2.13-5.i386.rpm安裝

9、完成之后需要重新確認并重啟portmap（rpcbind）服務：/etc/rc.d/init.d/portmap restart*設(shè)置time和time-upd服務啟動狀態(tài)(針對RHEL6.0之前的系統(tǒng)，之后的可以略過)chkconfig list | grep timeypserv服務的啟動和運行需要time和time-upd兩個服務支持。在RHEL系統(tǒng)中，這兩個服務默認是禁用的，需要利用chkconfig命令啟動，并重啟xinetd服務設(shè)置生效。chkconfig time onchkconfig time-udp on/etc/rc.d/init.d/xinetd restart建立NI

10、S域名nisdomainname命令建立臨時域名，但重啟會失效nisdomainname 可以使用domainname命令查詢當前域名。為了使每次重啟之后域名都能生效需要將nisdomainname命令添加到rc.local文件中，添加完成之后需要查看一下是否添加成功。nisdomainname echo /usr/bin/nisdomainname /etc/rc.d/rc.localtail l /etc/rc.d/rc.local上述echo的過程最好事先which nisdomainname一下確認具體路徑。同時需要將NISDOMAINNAME=配置項添加到/etc/sysconfig

11、/network文件中，以便NIS服務器主機能夠進行正確的網(wǎng)絡(luò)設(shè)置。echo NISDOMAIN= /etc/sysconfig/networktail l /etc/sysconfig/network設(shè)置ypserv服務的配置文件ypserv.conf文件的配置（詳細方法文件中有注釋）文件作用：ypserv.conf配置文件中可以使用訪問控制列表記錄配置NIS服務器中數(shù)據(jù)庫庫的訪問控制。文件位置：/etc/ypserv.conf配置格式：主機記錄： host ip網(wǎng)絡(luò)記錄：子網(wǎng)掩碼 網(wǎng)絡(luò)地址注意：沒有設(shè)置的都將被拒絕訪問host host 06securenets安全設(shè)置文件文件作用：sec

12、ruenets文件用于對NIS客戶端主機的訪問控制，它具有比ypserv.conf配置文件更高的對主機進行訪問控制的級別和效率。文件位置：/var/yp/secruenets 如果沒有需要手動創(chuàng)建啟動NIS服務器需要啟動ypserv和yppasswdd，如果是RHEL6.0以后的版本還需要啟動rpcbind/etc/rc.d/init.d/ypserv restart/etc/rc.d/init.d/yppasswdd restart/etc/rc.d/init.d/rpcbind restart如果需要系統(tǒng)啟動的時候自動啟動，需要使用chkconfig命令手動進行設(shè)置chkconfig yp

13、serv onchkconfig yppasswdd on添加用戶，進行測試useradd sugonpasswd sugon構(gòu)建NIS數(shù)據(jù)庫生成數(shù)據(jù)庫用到兩個shell腳本，腳本的選擇根據(jù)32位還是64位/usr/lib64/yp/ypinit (64位)/usr/lib/yp/ypinit(32位)命令如下/usr/lib64/yp/ypinit h注：當NIS服務器主機中對本地系統(tǒng)用戶賬號、組賬號等信息(文件)更改后，需要使用ypinit命令重新構(gòu)建數(shù)據(jù)庫文件的內(nèi)容，否則NIS客戶端主機獲得的信息不會自動更新。2.2、NIS客戶端的配置管理NIS客戶端需要的軟件包利用rpm qa | g

14、rep yp 確認ypbind 和yp-tools兩個軟件包已經(jīng)安裝，一般都是默認已經(jīng)安裝了。建立NIS的域名在NIS客戶機中建立NIS域名的操作方法與NIS服務器中完全相同，這里使用另外一種方法建立這些設(shè)置。setup選擇Choose a Tool Authentication configuration選中 Use NIS選項，然后切換到 Next輸入NIS域名以及對應的IP地址，點擊OK完成之后，點擊Next退出。隨后，需要對ypbind重新啟動：(早期版本需要先重啟portmap) service ypbind restart設(shè)置NIS服務開機自啟動：chkconfig ypbind

15、on設(shè)置完成之后可以使用yptest命令檢測一下，如果有錯誤會爆出failed，可以根據(jù)提示進行排查，詳見2.3相關(guān)部分。2.3、NIS客戶端的屬性設(shè)置該部分相當于對前面配置的補充設(shè)置yp.conf配置文件yp.conf是ypbind服務程序的配置文件，使用 echo domain 域名 server 服務端主機名 /etc/yp.conf即可進行配置，并進行查詢，命令如下：echo domain server node1 /etc/yp.conftail l /etc/yp.conf設(shè)置nsswitch.conf文件文件位置：/etc/nsswitch.conf文件說明：nsswitch.c

16、onf文件中相關(guān)設(shè)置項不代表系統(tǒng)中的文件或命令，而是代表相關(guān)信息的查詢，具體含義如下：passwd 表示用戶賬戶信息的查詢shadow 表示用戶口令信息的查詢group 表示用戶組賬戶信息的查詢hosts表示主機名信息的查詢文件中列出的各項之后有files字段，該字段之后如果輸入nis，則表示優(yōu)先使用本地文件，然后使用NIS服務器獲取信息。具體參數(shù)可參見文件中注釋說明。使用NIS客戶端測試與NIS服務器的連接yp-tools軟件包提供了yptest、ypwhich和ypcat共3個命令工具，用于NIS客戶端測試與NIS服務器的連接。所有測試命令都通過NIS客戶端中的ypbind服務程序?qū)IS

17、服務進行查詢。yptest 基本的NIS服務器測試命令命令作用：對NIS服務器域名、主機、數(shù)據(jù)庫及其內(nèi)容進行測試，并顯示測試結(jié)果。# yptestTest 1: domainnameConfigured domainname is vbirdnisTest 2: ypbindUsed NIS server: master.vbirdnisTest 3: yp_matchWARNING: No such key in map (Map passwd.byname, key nobody)中間省略 Test 8: yp_maplisthosts.bynamegroup.bynamepasswd.b

18、yuidgroup.bygidpasswd.bynamehosts.byaddr中間省略 Test 9: yp_all中間省略1 tests failed第三步的錯誤可以忽略，在passwd.byname當中找不到nobody的字樣，這是因為早期的nobody的UID都設(shè)定再65534，但RHEL4之后將nobody設(shè)定位系統(tǒng)賬號的99，所以不會被記錄，也就出現(xiàn)這一個警告。ypwhich 命令作用：顯示NIS客戶端所使用的NIS服務器的主機名稱，當使用“-x”命令選項時會顯示NIS服務器使用的數(shù)據(jù)庫和映射文件的名稱。ypcat命令作用：添加“-x”命令會與ypwhich顯示相同的查詢信息，但當

19、使用數(shù)據(jù)庫名作為ypcat命令參數(shù)時，該命令將顯示指定數(shù)據(jù)庫的內(nèi)容。ypcat xypcat group.byname NIS客戶端用戶登陸NIS客戶端主機中測試與NIS服務器鏈接成功后，可嘗試使用NIS服務器的用戶賬戶登陸NIS客戶端，當?shù)顷懞?，屏幕會提示沒有找到用戶宿主目錄的信息，這是由于NIS客戶端本地文件系統(tǒng)中沒有在/home目錄下建立用戶宿主目錄。NIS常用命令ypppasswd： 與passwd命令相同，但需要NIS服務器端yppasswd服務必須啟動。ypchfn：與chfn相同功能，改變finger信息ypchsh：與chsh相同功能，改變用戶登陸的shell3、NFS配置3.

20、1、NFS軟件包安裝搭建NFS之前需要確認rpcbind 和nfs-utils是否已經(jīng)安裝，利用rpm q rpcbind nfs-utils命令進行查詢。3.2、編輯NFS服務器配置文件文件位置：/etc/exports/public *(rw,no_root_squash,no_subtree_check,async)3.3、啟動服務exports文件配置后，需要重新啟動rpcbind（舊版本portmap）和nfs服務。service rpcbind startservice nfs start或者確保開機自啟動利用chkconfig，成功后利用showmount命令查看showmoun

21、t e localhost3.4、在客戶端中掛載NFS服務器中的共享目錄在root模式下查看一下NFS文件服務器是否可用showmount e node1然后利用mount命令將NFS共享的目錄/public掛載到客戶端宿主目錄/public下mount t nfs inode1:/public /public掛載完成之后，可以在NFS服務器上使用showmount a 查看掛載的主機如果需要開機自啟動，則可以在/etc/rc.d/rc.local文件中將上述命令加入即可。4、配置Kdump服務Kdump是一種有效的內(nèi)存轉(zhuǎn)儲工具，啟用Kdump后，生產(chǎn)內(nèi)核將會保留一部分內(nèi)存空間，用于在內(nèi)核崩潰

22、時通過Kexec快速啟動到新的內(nèi)核，這個過程不需要重啟系統(tǒng)，因此可以轉(zhuǎn)儲崩潰的生產(chǎn)內(nèi)核的內(nèi)存鏡像。當系統(tǒng)內(nèi)存崩潰時，生成的內(nèi)存轉(zhuǎn)存儲文件有助于分析系統(tǒng)在崩潰前發(fā)生了什么，查找原因并修復錯誤，進而改進系統(tǒng)的穩(wěn)定性。4.1、Kdump安裝查看Kdump是否安裝，命令如下：rpm qa|grep “kexec-tools”若未安裝，則可以使用在安裝光盤中kexec-tools的rpm包進行安裝，命令如下：rpm ivh kexec-tools.xxx.rpm若配置本地yum源，則可以使用如下命令進行安裝：yum install y kexec-tools4.2、Kdump配置指定轉(zhuǎn)存儲文件所使用內(nèi)存

23、的大小修改/etc/default/grub文件，在GRUB_CMDLINE_LINUX行添加crashkernel=auto執(zhí)行以下命令，重新生成啟動菜單：grub2-mkconfig -o /boot/grub2/grub.cfg重啟系統(tǒng)使配置生效配置/etc/kdump.conf,取消以下三行的注釋，并將default值改為reboot#轉(zhuǎn)存儲文件路徑path /var/crash#此行設(shè)置保存內(nèi)存鏡像內(nèi)容的級別，-c表示使用makedumpfile壓縮數(shù)據(jù)，-message-level 1表示提示信息的級別（1表示只顯示進度信息）-d 31表示不復制所有可以去掉的內(nèi)存頁（包括zero

24、page, cache page, cache private, user data, free page等）core_collector makedumpfile -l -message-level 1 -d 31 #此行表示如果kdump轉(zhuǎn)儲內(nèi)存鏡像失敗后的執(zhí)行的動作，默認為掛載根文件系統(tǒng)并執(zhí)行/sbin/init進程，可以更改為：reboot, halt, poweroff, shell等。default reboot修改后/etc/kdump.conf文件內(nèi)容如下：啟動kdump服務systemctl start kdump查看kdump服務運行狀態(tài)systemctl status k

25、dump設(shè)置Kdump開機自動啟動systemctl enable kdump4.3、安裝分析轉(zhuǎn)存儲文件所需的rpm包查看系統(tǒng)內(nèi)核版本uname r安裝與內(nèi)核版本一致的kernel-debuginfo-common與kernel-debuginfo的rpm包推薦網(wǎng)站： HYPERLINK / /5、配置Rsyslog服務CentOS/RedHat 6開始系統(tǒng)日志服務默認采用Rsyslog 取代syslog。建議將集群各節(jié)點系統(tǒng)日志messages統(tǒng)一存放在管理節(jié)點的/var/log/RemoteLogs目錄，以“hostname-messages”命名，便于日志文件的統(tǒng)一管理。5.1 服務端配

26、置一般將集群的管理節(jié)點配置為Rsyslog的服務端修改Rsyslog服務啟動參數(shù)配置文件/etc/sysconfig/rsyslog，內(nèi)容如下：SYSLOGD_OPTIONS=”-c 2 -r514 -x ”修改/etc/rsyslog.conf文件，內(nèi)容如下：配置日志傳輸協(xié)議與端口可以采用UPD或TCP協(xié)議進行傳輸，默認端口號為514確認協(xié)議后，可將配置文件中對應行的注釋取消在GLOBAL DIRECTIVES行下方添加自定義日志模板$template RemoteLogs,/var/log/RemoteLogs/%HOSTNAME%-messages*.info,mail.none,authpriv.none,cron.none ?RemoteLogs& 配置完成后，會將除了郵件服務內(nèi)容、認證服務內(nèi)容與定時任務服務內(nèi)容外的信息傳送到管理節(jié)點的/var/log/RemoteLogs目錄下，并以“hostname-messages”格式命名。5.2、客戶端配置將集群其余節(jié)點配置為R