HPC高性能計(jì)算集群實(shí)施指導(dǎo)手冊

1、HPC高性能計(jì)算集群實(shí)施指導(dǎo)手冊目 錄 TOC o 1-3 h z u HYPERLINK l _Toc529044133 1、基本系統(tǒng)參數(shù)設(shè)置 PAGEREF _Toc529044133 h - 1 - HYPERLINK l _Toc529044134 1.1、ulimit系統(tǒng)進(jìn)程資源限制 PAGEREF _Toc529044134 h - 1 - HYPERLINK l _Toc529044135 1.2、關(guān)閉selinux服務(wù) PAGEREF _Toc529044135 h - 1 - HYPERLINK l _Toc529044136 1.3、配置本地yum源 PAGEREF _To

2、c529044136 h - 1 - HYPERLINK l _Toc529044137 2、NIS服務(wù)配置 PAGEREF _Toc529044137 h - 2 - HYPERLINK l _Toc529044138 2.1、NIS服務(wù)器端的配置 PAGEREF _Toc529044138 h - 2 - HYPERLINK l _Toc529044139 2.2、NIS客戶端的配置管理 PAGEREF _Toc529044139 h - 4 - HYPERLINK l _Toc529044140 2.3、NIS客戶端的屬性設(shè)置 PAGEREF _Toc529044140 h - 6 -

3、HYPERLINK l _Toc529044141 3、NFS配置 PAGEREF _Toc529044141 h - 8 - HYPERLINK l _Toc529044142 3.1、NFS軟件包安裝 PAGEREF _Toc529044142 h - 8 - HYPERLINK l _Toc529044143 3.2、編輯NFS服務(wù)器配置文件 PAGEREF _Toc529044143 h - 8 - HYPERLINK l _Toc529044144 3.3、啟動(dòng)服務(wù) PAGEREF _Toc529044144 h - 8 - HYPERLINK l _Toc529044145 3.4

4、、在客戶端中掛載NFS服務(wù)器中的共享目錄 PAGEREF _Toc529044145 h - 9 - HYPERLINK l _Toc529044146 4、配置Kdump服務(wù) PAGEREF _Toc529044146 h - 9 - HYPERLINK l _Toc529044147 4.1、Kdump安裝 PAGEREF _Toc529044147 h - 9 - HYPERLINK l _Toc529044148 4.2、Kdump配置 PAGEREF _Toc529044148 h - 10 - HYPERLINK l _Toc529044149 4.3、安裝分析轉(zhuǎn)存儲(chǔ)文件所需的rp

5、m包 PAGEREF _Toc529044149 h - 11 - HYPERLINK l _Toc529044150 5、配置Rsyslog服務(wù) PAGEREF _Toc529044150 h - 11 - HYPERLINK l _Toc529044151 5.1 服務(wù)端配置 PAGEREF _Toc529044151 h - 11 - HYPERLINK l _Toc529044152 5.2、客戶端配置 PAGEREF _Toc529044152 h - 12 - HYPERLINK l _Toc529044153 5.3、日志輪詢服務(wù)logrotate PAGEREF _Toc529

6、044153 h - 13 - - 14 -1、基本系統(tǒng)參數(shù)設(shè)置1.1、ulimit系統(tǒng)進(jìn)程資源限制修改/etc/security/limits.conf文件，添加如下內(nèi)容：* softmemlockunlimited* hardmemlockunlimited* softstackunlimited* hardstackunlimited1.2、關(guān)閉selinux服務(wù)運(yùn)行如下命令修改/etc/selinux/config文件，關(guān)閉selinuxsed -i s/=enable/=disabled/g /etc/selinux/configsed -i s/=enforcing/=disabl

7、ed/g /etc/selinux/config可以使用以下命令查看selinux服務(wù)狀態(tài)sestatus1.3、配置本地yum源上傳對應(yīng)操作系統(tǒng)的ISO文件到/public/sourecode目錄將操作系統(tǒng)ISO文件掛載到/mnt目錄mount t iso9660 o loop /public/sourcecode/xxx.iso /mnt創(chuàng)建/public/sourcecode/yum目錄，并將安裝盤內(nèi)容拷貝到這個(gè)目錄cp rp /mnt/Packages/* /public/sourcecode/yum創(chuàng)建yum源配置文件/etc/yum.repo.d/Local.repo，內(nèi)容如下：生

8、成yum本地緩存，命令如下：yum makecache2、NIS服務(wù)配置2.1、NIS服務(wù)器端的配置NIS軟件包安裝查看系統(tǒng)中是否已經(jīng)安裝下列三個(gè)軟件：ypservNIS服務(wù)器軟件, 一般默認(rèn)是不安裝的,需要安裝yp-tools提供對NIS服務(wù)器的查詢和管理軟件ypbindNIS客戶端需要使用軟件包rpm qa | grep yp安裝ypserv前需要利用rpm qa | grep portmap 命令（6.0之后的版本使用rpcbind）確認(rèn)portmap(rpcbind)已經(jīng)安裝。安裝需要利用rpm ivh進(jìn)行安裝，命令如下：rpm ivh ypserv-2.13-5.i386.rpm安裝

9、完成之后需要重新確認(rèn)并重啟portmap（rpcbind）服務(wù)：/etc/rc.d/init.d/portmap restart*設(shè)置time和time-upd服務(wù)啟動(dòng)狀態(tài)(針對RHEL6.0之前的系統(tǒng)，之后的可以略過)chkconfig list | grep timeypserv服務(wù)的啟動(dòng)和運(yùn)行需要time和time-upd兩個(gè)服務(wù)支持。在RHEL系統(tǒng)中，這兩個(gè)服務(wù)默認(rèn)是禁用的，需要利用chkconfig命令啟動(dòng)，并重啟xinetd服務(wù)設(shè)置生效。chkconfig time onchkconfig time-udp on/etc/rc.d/init.d/xinetd restart建立NI

10、S域名nisdomainname命令建立臨時(shí)域名，但重啟會(huì)失效nisdomainname 可以使用domainname命令查詢當(dāng)前域名。為了使每次重啟之后域名都能生效需要將nisdomainname命令添加到rc.local文件中，添加完成之后需要查看一下是否添加成功。nisdomainname echo /usr/bin/nisdomainname /etc/rc.d/rc.localtail l /etc/rc.d/rc.local上述echo的過程最好事先which nisdomainname一下確認(rèn)具體路徑。同時(shí)需要將NISDOMAINNAME=配置項(xiàng)添加到/etc/sysconfig

11、/network文件中，以便NIS服務(wù)器主機(jī)能夠進(jìn)行正確的網(wǎng)絡(luò)設(shè)置。echo NISDOMAIN= /etc/sysconfig/networktail l /etc/sysconfig/network設(shè)置ypserv服務(wù)的配置文件ypserv.conf文件的配置（詳細(xì)方法文件中有注釋）文件作用：ypserv.conf配置文件中可以使用訪問控制列表記錄配置NIS服務(wù)器中數(shù)據(jù)庫庫的訪問控制。文件位置：/etc/ypserv.conf配置格式：主機(jī)記錄： host ip網(wǎng)絡(luò)記錄：子網(wǎng)掩碼 網(wǎng)絡(luò)地址注意：沒有設(shè)置的都將被拒絕訪問host host 06securenets安全設(shè)置文件文件作用：sec

12、ruenets文件用于對NIS客戶端主機(jī)的訪問控制，它具有比ypserv.conf配置文件更高的對主機(jī)進(jìn)行訪問控制的級別和效率。文件位置：/var/yp/secruenets 如果沒有需要手動(dòng)創(chuàng)建啟動(dòng)NIS服務(wù)器需要啟動(dòng)ypserv和yppasswdd，如果是RHEL6.0以后的版本還需要啟動(dòng)rpcbind/etc/rc.d/init.d/ypserv restart/etc/rc.d/init.d/yppasswdd restart/etc/rc.d/init.d/rpcbind restart如果需要系統(tǒng)啟動(dòng)的時(shí)候自動(dòng)啟動(dòng)，需要使用chkconfig命令手動(dòng)進(jìn)行設(shè)置chkconfig yp

13、serv onchkconfig yppasswdd on添加用戶，進(jìn)行測試useradd sugonpasswd sugon構(gòu)建NIS數(shù)據(jù)庫生成數(shù)據(jù)庫用到兩個(gè)shell腳本，腳本的選擇根據(jù)32位還是64位/usr/lib64/yp/ypinit (64位)/usr/lib/yp/ypinit(32位)命令如下/usr/lib64/yp/ypinit h注：當(dāng)NIS服務(wù)器主機(jī)中對本地系統(tǒng)用戶賬號(hào)、組賬號(hào)等信息(文件)更改后，需要使用ypinit命令重新構(gòu)建數(shù)據(jù)庫文件的內(nèi)容，否則NIS客戶端主機(jī)獲得的信息不會(huì)自動(dòng)更新。2.2、NIS客戶端的配置管理NIS客戶端需要的軟件包利用rpm qa | g

14、rep yp 確認(rèn)ypbind 和yp-tools兩個(gè)軟件包已經(jīng)安裝，一般都是默認(rèn)已經(jīng)安裝了。建立NIS的域名在NIS客戶機(jī)中建立NIS域名的操作方法與NIS服務(wù)器中完全相同，這里使用另外一種方法建立這些設(shè)置。setup選擇Choose a Tool Authentication configuration選中 Use NIS選項(xiàng)，然后切換到 Next輸入NIS域名以及對應(yīng)的IP地址，點(diǎn)擊OK完成之后，點(diǎn)擊Next退出。隨后，需要對ypbind重新啟動(dòng)：(早期版本需要先重啟portmap) service ypbind restart設(shè)置NIS服務(wù)開機(jī)自啟動(dòng)：chkconfig ypbind

15、on設(shè)置完成之后可以使用yptest命令檢測一下，如果有錯(cuò)誤會(huì)爆出failed，可以根據(jù)提示進(jìn)行排查，詳見2.3相關(guān)部分。2.3、NIS客戶端的屬性設(shè)置該部分相當(dāng)于對前面配置的補(bǔ)充設(shè)置yp.conf配置文件yp.conf是ypbind服務(wù)程序的配置文件，使用 echo domain 域名 server 服務(wù)端主機(jī)名 /etc/yp.conf即可進(jìn)行配置，并進(jìn)行查詢，命令如下：echo domain server node1 /etc/yp.conftail l /etc/yp.conf設(shè)置nsswitch.conf文件文件位置：/etc/nsswitch.conf文件說明：nsswitch.c

16、onf文件中相關(guān)設(shè)置項(xiàng)不代表系統(tǒng)中的文件或命令，而是代表相關(guān)信息的查詢，具體含義如下：passwd 表示用戶賬戶信息的查詢shadow 表示用戶口令信息的查詢group 表示用戶組賬戶信息的查詢hosts表示主機(jī)名信息的查詢文件中列出的各項(xiàng)之后有files字段，該字段之后如果輸入nis，則表示優(yōu)先使用本地文件，然后使用NIS服務(wù)器獲取信息。具體參數(shù)可參見文件中注釋說明。使用NIS客戶端測試與NIS服務(wù)器的連接yp-tools軟件包提供了yptest、ypwhich和ypcat共3個(gè)命令工具，用于NIS客戶端測試與NIS服務(wù)器的連接。所有測試命令都通過NIS客戶端中的ypbind服務(wù)程序?qū)IS

17、服務(wù)進(jìn)行查詢。yptest 基本的NIS服務(wù)器測試命令命令作用：對NIS服務(wù)器域名、主機(jī)、數(shù)據(jù)庫及其內(nèi)容進(jìn)行測試，并顯示測試結(jié)果。# yptestTest 1: domainnameConfigured domainname is vbirdnisTest 2: ypbindUsed NIS server: master.vbirdnisTest 3: yp_matchWARNING: No such key in map (Map passwd.byname, key nobody)中間省略 Test 8: yp_maplisthosts.bynamegroup.bynamepasswd.b

18、yuidgroup.bygidpasswd.bynamehosts.byaddr中間省略 Test 9: yp_all中間省略1 tests failed第三步的錯(cuò)誤可以忽略，在passwd.byname當(dāng)中找不到nobody的字樣，這是因?yàn)樵缙诘膎obody的UID都設(shè)定再65534，但RHEL4之后將nobody設(shè)定位系統(tǒng)賬號(hào)的99，所以不會(huì)被記錄，也就出現(xiàn)這一個(gè)警告。ypwhich 命令作用：顯示NIS客戶端所使用的NIS服務(wù)器的主機(jī)名稱，當(dāng)使用“-x”命令選項(xiàng)時(shí)會(huì)顯示NIS服務(wù)器使用的數(shù)據(jù)庫和映射文件的名稱。ypcat命令作用：添加“-x”命令會(huì)與ypwhich顯示相同的查詢信息，但當(dāng)

19、使用數(shù)據(jù)庫名作為ypcat命令參數(shù)時(shí)，該命令將顯示指定數(shù)據(jù)庫的內(nèi)容。ypcat xypcat group.byname NIS客戶端用戶登陸NIS客戶端主機(jī)中測試與NIS服務(wù)器鏈接成功后，可嘗試使用NIS服務(wù)器的用戶賬戶登陸NIS客戶端，當(dāng)?shù)顷懞?，屏幕?huì)提示沒有找到用戶宿主目錄的信息，這是由于NIS客戶端本地文件系統(tǒng)中沒有在/home目錄下建立用戶宿主目錄。NIS常用命令ypppasswd： 與passwd命令相同，但需要NIS服務(wù)器端yppasswd服務(wù)必須啟動(dòng)。ypchfn：與chfn相同功能，改變finger信息ypchsh：與chsh相同功能，改變用戶登陸的shell3、NFS配置3.

20、1、NFS軟件包安裝搭建NFS之前需要確認(rèn)rpcbind 和nfs-utils是否已經(jīng)安裝，利用rpm q rpcbind nfs-utils命令進(jìn)行查詢。3.2、編輯NFS服務(wù)器配置文件文件位置：/etc/exports/public *(rw,no_root_squash,no_subtree_check,async)3.3、啟動(dòng)服務(wù)exports文件配置后，需要重新啟動(dòng)rpcbind（舊版本portmap）和nfs服務(wù)。service rpcbind startservice nfs start或者確保開機(jī)自啟動(dòng)利用chkconfig，成功后利用showmount命令查看showmoun

21、t e localhost3.4、在客戶端中掛載NFS服務(wù)器中的共享目錄在root模式下查看一下NFS文件服務(wù)器是否可用showmount e node1然后利用mount命令將NFS共享的目錄/public掛載到客戶端宿主目錄/public下mount t nfs inode1:/public /public掛載完成之后，可以在NFS服務(wù)器上使用showmount a 查看掛載的主機(jī)如果需要開機(jī)自啟動(dòng)，則可以在/etc/rc.d/rc.local文件中將上述命令加入即可。4、配置Kdump服務(wù)Kdump是一種有效的內(nèi)存轉(zhuǎn)儲(chǔ)工具，啟用Kdump后，生產(chǎn)內(nèi)核將會(huì)保留一部分內(nèi)存空間，用于在內(nèi)核崩潰

22、時(shí)通過Kexec快速啟動(dòng)到新的內(nèi)核，這個(gè)過程不需要重啟系統(tǒng)，因此可以轉(zhuǎn)儲(chǔ)崩潰的生產(chǎn)內(nèi)核的內(nèi)存鏡像。當(dāng)系統(tǒng)內(nèi)存崩潰時(shí)，生成的內(nèi)存轉(zhuǎn)存儲(chǔ)文件有助于分析系統(tǒng)在崩潰前發(fā)生了什么，查找原因并修復(fù)錯(cuò)誤，進(jìn)而改進(jìn)系統(tǒng)的穩(wěn)定性。4.1、Kdump安裝查看Kdump是否安裝，命令如下：rpm qa|grep “kexec-tools”若未安裝，則可以使用在安裝光盤中kexec-tools的rpm包進(jìn)行安裝，命令如下：rpm ivh kexec-tools.xxx.rpm若配置本地yum源，則可以使用如下命令進(jìn)行安裝：yum install y kexec-tools4.2、Kdump配置指定轉(zhuǎn)存儲(chǔ)文件所使用內(nèi)存

23、的大小修改/etc/default/grub文件，在GRUB_CMDLINE_LINUX行添加crashkernel=auto執(zhí)行以下命令，重新生成啟動(dòng)菜單：grub2-mkconfig -o /boot/grub2/grub.cfg重啟系統(tǒng)使配置生效配置/etc/kdump.conf,取消以下三行的注釋，并將default值改為reboot#轉(zhuǎn)存儲(chǔ)文件路徑path /var/crash#此行設(shè)置保存內(nèi)存鏡像內(nèi)容的級別，-c表示使用makedumpfile壓縮數(shù)據(jù)，-message-level 1表示提示信息的級別（1表示只顯示進(jìn)度信息）-d 31表示不復(fù)制所有可以去掉的內(nèi)存頁（包括zero

24、page, cache page, cache private, user data, free page等）core_collector makedumpfile -l -message-level 1 -d 31 #此行表示如果kdump轉(zhuǎn)儲(chǔ)內(nèi)存鏡像失敗后的執(zhí)行的動(dòng)作，默認(rèn)為掛載根文件系統(tǒng)并執(zhí)行/sbin/init進(jìn)程，可以更改為：reboot, halt, poweroff, shell等。default reboot修改后/etc/kdump.conf文件內(nèi)容如下：啟動(dòng)kdump服務(wù)systemctl start kdump查看kdump服務(wù)運(yùn)行狀態(tài)systemctl status k

25、dump設(shè)置Kdump開機(jī)自動(dòng)啟動(dòng)systemctl enable kdump4.3、安裝分析轉(zhuǎn)存儲(chǔ)文件所需的rpm包查看系統(tǒng)內(nèi)核版本uname r安裝與內(nèi)核版本一致的kernel-debuginfo-common與kernel-debuginfo的rpm包推薦網(wǎng)站： HYPERLINK / /5、配置Rsyslog服務(wù)CentOS/RedHat 6開始系統(tǒng)日志服務(wù)默認(rèn)采用Rsyslog 取代syslog。建議將集群各節(jié)點(diǎn)系統(tǒng)日志messages統(tǒng)一存放在管理節(jié)點(diǎn)的/var/log/RemoteLogs目錄，以“hostname-messages”命名，便于日志文件的統(tǒng)一管理。5.1 服務(wù)端配

26、置一般將集群的管理節(jié)點(diǎn)配置為Rsyslog的服務(wù)端修改Rsyslog服務(wù)啟動(dòng)參數(shù)配置文件/etc/sysconfig/rsyslog，內(nèi)容如下：SYSLOGD_OPTIONS=”-c 2 -r514 -x ”修改/etc/rsyslog.conf文件，內(nèi)容如下：配置日志傳輸協(xié)議與端口可以采用UPD或TCP協(xié)議進(jìn)行傳輸，默認(rèn)端口號(hào)為514確認(rèn)協(xié)議后，可將配置文件中對應(yīng)行的注釋取消在GLOBAL DIRECTIVES行下方添加自定義日志模板$template RemoteLogs,/var/log/RemoteLogs/%HOSTNAME%-messages*.info,mail.none,authpriv.none,cron.none ?RemoteLogs& 配置完成后，會(huì)將除了郵件服務(wù)內(nèi)容、認(rèn)證服務(wù)內(nèi)容與定時(shí)任務(wù)服務(wù)內(nèi)容外的信息傳送到管理節(jié)點(diǎn)的/var/log/RemoteLogs目錄下，并以“hostname-messages”格式命名。5.2、客戶端配置將集群其余節(jié)點(diǎn)配置為R