高性能集群并行環(huán)境安裝與配置要點(diǎn)

1、并行環(huán)境安裝與調(diào)試Red Hat Enterprise Linux 4本文講解的是基于Red Hat Enterprise Linux 4為平臺(tái)的高性能計(jì)算集群安裝與調(diào)試，假設(shè)你使用過 Red Hat En terprise Linux 4并且理解了高性能計(jì)算的原理，所以本文稿的重點(diǎn)講解如何安裝與調(diào)試，關(guān)于高性能計(jì)算的原理請(qǐng)自行 查閱相關(guān)的資料。你可以拒絕學(xué)習(xí) 但你的競爭對(duì)手不會(huì)-杰克.韋爾奇QQ 11217404MAIL： pcstart特洛伊整理，轉(zhuǎn)載請(qǐng)保留前言LINUX 集群中的每個(gè)節(jié)點(diǎn)都有自己的處理器和內(nèi)存，運(yùn)行獨(dú)立的操作系統(tǒng)，不能直接訪 問其他節(jié)點(diǎn)的處理器，內(nèi)存或其他設(shè)備。而 MPI

2、 環(huán)境卻要求這樣的訪問，這就需要內(nèi)部網(wǎng)絡(luò) 和協(xié)議的支持。首先，每個(gè)節(jié)點(diǎn)要能互訪，需進(jìn)行基本網(wǎng)絡(luò)配置；其次，由于并行計(jì)算的特 點(diǎn)，每個(gè)節(jié)點(diǎn)的計(jì)算程序是通常是相同的，只是所分配的計(jì)算區(qū)間不同。這就需要：（1）高效率的用戶身份驗(yàn)證方法，并且能執(zhí)行用戶發(fā)出的計(jì)算指令。 （ 2）每個(gè)計(jì)算節(jié)點(diǎn)能夠使用載 入同一個(gè)計(jì)算程序，并能進(jìn)行相應(yīng)初始化。對(duì)于第一個(gè)要求，可通過網(wǎng)絡(luò)信息服務(wù)（NIS）和SHELL命令服務(wù)（RSH SSH實(shí)現(xiàn)。對(duì)于第二個(gè)要求，可以使用 Linux的NFS文件系統(tǒng)實(shí)現(xiàn)， 將服務(wù)器節(jié)點(diǎn)的用戶文件讓所有計(jì)算共享。 所以NIS、NFS RSH SSH是集群的基本網(wǎng)絡(luò)服務(wù)。1網(wǎng)絡(luò)信息服務(wù)（ NIS

3、）NIS是一個(gè)簡單的客戶機(jī)/服務(wù)器數(shù)據(jù)庫系統(tǒng)，提供一個(gè)簡易網(wǎng)絡(luò)查詢服務(wù)。NIS是網(wǎng)絡(luò)信息系統(tǒng)的簡稱，包含了網(wǎng)絡(luò)用戶的信息，由數(shù)據(jù)庫與處理程序構(gòu)成，目的是為網(wǎng)絡(luò)上所有 機(jī)器提供所需信息。數(shù)據(jù)庫建立在服務(wù)器上，用于統(tǒng)一管理集群中服務(wù)器和節(jié)點(diǎn)機(jī)的用戶信 息，使得一個(gè)用戶可以登入集群中任何一臺(tái)節(jié)點(diǎn)機(jī)，而不需要管理員另外為用戶在每臺(tái)節(jié)點(diǎn) 機(jī)上設(shè)置用戶和密碼。雖然 NIS存在一定的安全隱患，但在內(nèi)部網(wǎng)絡(luò)，安全問題不大。2遠(yuǎn)程 SHELL 命令（ RSH 、 SSH ）基于 MPI 的并行計(jì)算需要在每個(gè)計(jì)算節(jié)點(diǎn)啟動(dòng)并行計(jì)算任務(wù)，用戶需要登入每個(gè)節(jié)點(diǎn)， 然后遞交計(jì)算任務(wù)。不過這通常效率比較低，那么，高效的做法

4、是，不需要登入遠(yuǎn)程機(jī)器， 就可以在遠(yuǎn)程機(jī)器上啟動(dòng)并遞交計(jì)算任務(wù)，而 RSH與 SSH提供了這樣的機(jī)制。MPI安裝于服 務(wù)器節(jié)點(diǎn)，其啟動(dòng)命令包含有在每個(gè)可供使用的節(jié)點(diǎn)機(jī)上啟動(dòng)計(jì)算的批處理命令。NIS 為節(jié)點(diǎn)機(jī)接受這樣的命令提供身份驗(yàn)證機(jī)制，但是，遠(yuǎn)程SHELL命令需要由程序來發(fā)出和響應(yīng)。RSH與 SSH就是這樣的程序。命令執(zhí)行之前，節(jié)點(diǎn)機(jī)檢查服務(wù)器是否有權(quán)限發(fā)出這樣的命令。 之后，節(jié)點(diǎn)機(jī)通過 /etc/hosts.equiv 文件對(duì)服務(wù)器 IP 做可信賴檢查，通過檢查，就命令執(zhí) 行；沒通過，則需口令才能執(zhí)行命令。對(duì)于集群來說，做的是高效率的并行計(jì)算，無口令登 入，無疑帶來了更高的計(jì)算效率。3網(wǎng)絡(luò)

5、文件系統(tǒng)（ NFS ）并行任務(wù)啟動(dòng)時(shí)，需要所有節(jié)點(diǎn)都能載入并行計(jì)算程序的執(zhí)行代碼。并行計(jì)算程序執(zhí)行代碼文件、輸入輸出數(shù)據(jù)文件等必須讓所有節(jié)點(diǎn)機(jī)共享，這可以通過NFS實(shí)現(xiàn)，用戶在任何節(jié)點(diǎn)登入，看到的是單一系統(tǒng)印象，感覺不到多臺(tái)計(jì)算機(jī)的存在。微機(jī)集群一般通過NFS來實(shí)現(xiàn)文件共享。NFS是一個(gè)可靠的協(xié)議，提供服務(wù)過程中不保留信息，客戶機(jī)出現(xiàn)問題，并 不影響服務(wù)器。雖然NFS也存在比較大的安全隱患，但在內(nèi)部網(wǎng)絡(luò)，問題就不明顯了。4 MPICH 并行環(huán)境MPICH是Linux平臺(tái)下最重要的一種 MPI實(shí)現(xiàn)，是一個(gè)與MPI規(guī)范同步發(fā)展的版本。每 當(dāng)MPI標(biāo)準(zhǔn)推出新的版本時(shí)，MPICH就會(huì)有相應(yīng)的實(shí)現(xiàn)版本。

6、MPICH是一個(gè)MPI的庫，它提供 了不同版本MPI的庫結(jié)構(gòu)，編程人員可以使用 MPICH來使用這些MPI接口，以便寫出適合自 己的基于消息傳遞的并行程序。編程人員使用 C 或者是 Fortran 語言來調(diào)用這些標(biāo)準(zhǔn)庫，實(shí) 現(xiàn)程序的并行性。MPICH使用的是MPI標(biāo)準(zhǔn)，所以它開發(fā)的程序可移植性很強(qiáng)，而且它提供 統(tǒng)一的編程接口，所以程序的可開發(fā)性很強(qiáng)。本次測(cè)試就是MPICH的基礎(chǔ)實(shí)現(xiàn)的，所以我們將介紹如何的安裝和使用 MPICH具體安裝步驟如下 （以兩節(jié)點(diǎn)集群為例 ） ：集群中各節(jié)點(diǎn)所安裝的系統(tǒng)為 Red Hat Enterprise Linux 4 U3 32bit ，在安裝操作系統(tǒng)時(shí)， 預(yù)安

7、裝所有軟件包，以免以后用到的軟件在重新安裝帶來的麻煩，在安裝服務(wù)器和節(jié)點(diǎn)機(jī)操 作系統(tǒng)時(shí)，設(shè)置服務(wù)器和節(jié)點(diǎn)機(jī)的主機(jī)名分別為：nodel,node2 ；其中nodel充當(dāng)服務(wù)器兼管理節(jié)點(diǎn)和I/O節(jié)點(diǎn)，node2充當(dāng)計(jì)算節(jié)點(diǎn)。node1 的 IP 為： eth0: eth1:node2 的 IP 為：eth0: eth1:配置完成后，可以用機(jī)群部署系統(tǒng)軟件（曙光 DCIS）把node2的系統(tǒng)鏡像分發(fā)到其它計(jì)算節(jié) 點(diǎn)上。NIS 配置在一個(gè)大型的網(wǎng)域當(dāng)中， 如果有多部 Linux 主機(jī)時(shí)，萬一要每部主機(jī)都設(shè)定相同的賬號(hào)

8、與密碼的設(shè)定，還真是啰唆。所以，適時(shí)的使用一部主要主機(jī)( master server )管理網(wǎng)域中的所有賬號(hào)，其它的主機(jī)則使用這部主要主機(jī)提供的賬號(hào)與密碼來達(dá)成讓使用者登入 的作用即可！這樣的功能有很多的服務(wù)器軟件可以達(dá)成，這里我們要介紹的則是 Network Information Services, NIS server 這個(gè)服務(wù)器軟件！NIS 服務(wù)器具體配置1安裝 NIS 服務(wù)默認(rèn)配置安裝的RedHat,其安裝程序會(huì)將NIS服務(wù)安裝在系統(tǒng)上，在 RedHat中我們只需使 用下面的命令檢查系統(tǒng)是否已經(jīng)安裝了NIS服務(wù)：rootnode1 # rpm -qa |grep yp如果系統(tǒng)顯示有如

9、下軟件包，表示 NIS 服務(wù)已經(jīng)正確安裝yp-tools-2.8-1ypserv-2.8-1ypbind-1.12-1否則表示還沒有安裝 NIS服務(wù)，在RedHat AS 4的第1張與第2張安裝光盤的/RedHat/RPMS 目錄有 NIS服務(wù)器的 RPM安裝包，該安裝包的文件名分別為ypserv-2.13-9.i386.rpm，yp-tools-2.8-7.i386.rpm， ypbind-1.17.2-8.i386.rpm 。放入光盤然后進(jìn)行裝載，并使用下面的命令安裝 :rootnode1 # mount -t iso9660 /dev/cdrom /mnt/cdromrootnode1

10、# rpm -ivh /mnt/cdrom/RedHat/RPMS/ypserv-2.13-9.i386.rpmrootnode1 # rpm -ivh /mnt/cdrom/RedHat/RPMS/yp-tools-2.8-7.i386.rpmrootnode1 # rpm -ivh /mnt/cdrom/RedHat/RPMS/ypbind-1.17.2-8.i386.rpm注意：要提供 NIS 服務(wù)，必須安裝 portmap 服務(wù)，并且 portmap 服務(wù)是運(yùn)行的，查看是否安 裝與安裝方法同上，RedHat默認(rèn)會(huì)安裝portmap服務(wù)。2配置 NIS 服務(wù)(1) 啟動(dòng) portmap

11、并設(shè)定開機(jī)時(shí)啟動(dòng)：rootnode1 # service portmap startrootnode1 # chkconfig -level 35 portmap on(2) 啟動(dòng) time 與 time-udprootnode1 # vi /etc/xinetd.d/time#將 disable = yes 改成 disable = no 即可！rootnode1 # vi /etc/xinetd.d/time-udp# 同樣的將 disable = yes 改成 disable = no 即可！ rootnode1 # service xinetd restartrootnode1 # c

12、hkconfig -level 35 xinetd onrootnode1 # netstat -utlActive Internet connections (only servers)Proto Recv-QSend-QLocalAddressForeignAddressStatetcp00*:time*:*LISTENtcp00*:sunrpc*:*LISTENudp00 *:time*:*udp00 *:sunrpc*:*目前至少也要有上面四個(gè)LISTEN的 port才行喔！分別是UDP 與 TCP 封包的啦！(3) 建立 NIS 的領(lǐng)域名稱 ( nisdomainname ) 建立

13、NIS 的領(lǐng)域名稱 ( 我這里是設(shè)定為 cluster ) ： rootnode1 # nisdomainname cluster rootnode1 # vi /etc/rc.d/rc.local# 將底下這一行加入這個(gè)檔案的最后一行：/bin/nisdomainname cluster設(shè)定好網(wǎng)絡(luò)參數(shù)：rootnode1 # vi /etc/sysconfig/network# 加入底下這一行：NISDOMAIN=cluster(3) 建立網(wǎng)絡(luò)信任群組：rootnode1 # touch /etc/netgroup(4) 啟動(dòng)ypserv 與yppasswdd,并且設(shè)定開機(jī)時(shí)啟動(dòng)：rootn

14、ode1 # service ypserv startrootnode1 # service yppasswdd startrootnode1 # chkconfig -level 35 ypserv onrootnode1 # chkconfig -level 35 yppasswdd on(5) 制作數(shù)據(jù)庫、并重新啟動(dòng) ypserv 與 yppasswd ：rootnode1 # /usr/lib/yp/ypinit -mAt this point, we have to construct a list of the hosts which will run NISservers. se

15、rver.cluster is in the list of NIS server hosts.Please continue toaddthe names for the other hosts, one per line.When you are done with thelist, type a .next host to add：node1next host to add：<=在這里按下 ctrl + d 跳出The current list of NIS servers looks like this： node1Is this correct? y/n： y yWe need

16、 a few minutes to build the databases.Building /var/yp/cluster/ypservers.Running /var/yp/Makefile.gmake1: En teri ng directory '/var/yp/cluster'Updating passwd.byname.Updating passwd.byuid.Updating group.byname.Updating group.bygid.Updating hosts.byname.Updating hosts.byaddr.Updating rpc.byn

17、ame.Updating rpc.bynumber.Updating services.byname.Updating services.byservicename.Updating netid.byname.Updating protocols.bynumber.Updating protocols.byname.Updating mail.aliases.gmake1: Leav ing directory '/var/yp/cluster' node1 has been set up as a NIS master server.，就是重新制作數(shù)據(jù)庫，Now you ca

18、n run ypinit -s node1 on all slave server.# 這個(gè)動(dòng)作是每次修改使用者數(shù)據(jù)后一定要做的動(dòng)作！rootnode1 # service ypserv restartrootnode1 # servcie yppasswdd restart# 然后并且需要重新啟動(dòng) ypserv 與 yppasswdd 喔！3管理 NIS 服務(wù)啟動(dòng) NIS 服務(wù)rootnode1 # service ypserv startrootnode1 # service yppasswdd start停止 NIS 服務(wù)rootnode1 # service ypserv stopro

19、otnode1 # service yppasswdd stop重新啟動(dòng) NIS 服務(wù)rootnode1 # service ypserv restartrootnode1 # service yppasswdd restartNIS 客戶機(jī)具體配置1安裝 NIS 服務(wù)默認(rèn)配置安裝的RedHat,其安裝程序會(huì)將NIS服務(wù)安裝在系統(tǒng)上，在 RedHat中我們只需使 用下面的命令檢查系統(tǒng)是否已經(jīng)安裝了NIS服務(wù)：rootnode1 # rpm -qa |grep yp如果系統(tǒng)顯示有如下軟件包，表示 NIS 服務(wù)已經(jīng)正確安裝yp-tools-2.8-1ypserv-2.8-1ypbind-1.12-

20、1否則表示還沒有安裝 NIS服務(wù)，在RedHat AS 4的第1張與第2張安裝光盤的/RedHat/RPMS 目錄有 NIS服務(wù)器的 RPM安裝包，該安裝包的文件名分別為ypserv-2.13-9.i386.rpm，yp-tools-2.8-7.i386.rpm， ypbind-1.17.2-8.i386.rpm 。放入光盤然后進(jìn)行裝載，并使用下面的命令安裝 :rootnode1 # mount -t iso9660 /dev/cdrom /mnt/cdromrootnode1 # rpm -ivh /mnt/cdrom/RedHat/RPMS/ypserv-2.13-9.i386.rpmro

21、otnode1 # rpm -ivh /mnt/cdrom/RedHat/RPMS/yp-tools-2.8-7.i386.rpmrootnode1 # rpm -ivh /mnt/cdrom/RedHat/RPMS/ypbind-1.17.2-8.i386.rpm注意：要提供 NIS 服務(wù)，必須安裝 portmap 服務(wù)，并且 portmap 服務(wù)是運(yùn)行的，查看是否安 裝與安裝方法同上，RedHat默認(rèn)會(huì)安裝portmap服務(wù)。2配置 NIS 服務(wù)(1) 啟動(dòng) portmap 并設(shè)定開機(jī)時(shí)啟動(dòng)：rootnode2 # service portmap startrootnode2 # chkc

22、onfig -level 35 portmap on(2) 設(shè)定 NIS Server 的 IP 對(duì)應(yīng)主機(jī)名稱：rootnode2 # vi /etc/hosts# 要有底下這一行喔！ node1 gnode1(3) 設(shè)定 NIS 的 domain 與 NIS 的主機(jī)： 建立 NIS domain name ：rootnode2 # nisdomainname cluster rootnode2 # vi /etc/rc.d/rc.local# 加入底下這一行： /bin/nisdomainname cluster rootnode2 # vi /et

23、c/sysconfig/network# 加入底下這一行： NISDOMAIN=cluster 建立 NIS 查尋的主機(jī)名稱： rootnode2 # vi /etc/yp.conf# 加入這兩行： domain cluster ypserver node1#那個(gè) cluster 是你的 NIS 的 domain ，至于 node1 則是 NIS Server 的主機(jī)名稱 (4) 修改密碼驗(yàn)證的方式：密碼文件的修改：rootnode2 # vi /etc/passwd# 在這個(gè)檔案的最后面加入這一行：+:# 注意喔！在 + 之后連續(xù)加六個(gè) : ，并且中間沒有空格符！ 查尋密碼的程序：# 因?yàn)槲?/p>

24、們有很多方式來查尋密碼，需要修改 /etc/nsswitch.conf 這個(gè)檔案才行 rootnode2 # vi /etc/nsswitch.conf# 找到相關(guān)的參數(shù)，并改成底下這樣： passwd:nis filesshadow:nis filesgroup:nis fileshosts:nis files dns# 至于 nis 則是透過 NIS 來進(jìn)行查尋# 這個(gè)檔案在設(shè)定一些信息的查尋程序！那個(gè) files 指的是本機(jī)的相關(guān)檔案，3管理 NIS 服務(wù)啟動(dòng) ypbind 與設(shè)定開機(jī)啟動(dòng)：rootnode2 # service ypbind startrootnode2 # chkco

25、nfig -level 35 ypbind on4測(cè)試 NIS 服務(wù)NIS Client 端檢驗(yàn) NIS 設(shè)定： yptest, ypwhich, ypcat在 node2 上運(yùn)行 yptest ：rootnode2 # yptestTest 1: domainnameConfigured domainname is "cluster"Test 2: ypbindUsed NIS server: node1Test 3: yp_matchWARNING: No such key in map (Map passwd.byname, key nobody) (這里報(bào)錯(cuò)，我也不

26、知為 什么)Test 4: yp_firstpc pc:$1$R0RKP5Vx$Wmu79QE1zt43v8L45Orsk1:500:501:/home/pc:/bin/bashTest 5: yp_nextTest 6: yp_masternode1Test 7: yp_order1156259277Test 8: yp_maplistprotocols.bynumbergroup.bygidservices.bynamepasswd.bynameypservers rpc.bynumberservices.byservicenamemail.aliasespasswd.byuidhosts

27、.bynameprotocols.bynamerpc.bynamenetid.bynamegroup.bynamehosts.byaddrTest 9: yp_allpc pc:$1$R0RKP5Vx$Wmu79QE1zt43v8L45Orsk1:500:501:/home/pc:/bin/bash1 tests failed#如果你看到以上信息，說明客戶端可以與服務(wù)器端正常工作。在 node2 上運(yùn)行 ypwhich ：rootnode2 # ypwhichnode1rootnode2 #如果你看到以上信息，說明客戶端可以與服務(wù)器端正常工作。在 node2 上運(yùn)行上運(yùn)行 ypcat ：roo

28、tnode2 # ypcat passwd pc:$1$R0RKP5Vx$Wmu79QE1zt43v8L45Orsk1:500:501:/home/pc:/bin/bashrootnode2 # #如果你看到以上信息，說明客戶端可以與服務(wù)器端正常工作。NIS服務(wù)的配置也很簡單吧！其中 nodel為NIS服務(wù)器端，其它節(jié)點(diǎn)為 NIS客戶端，以上的NIS服務(wù)器端配置在nodel上進(jìn)行，NIS客戶端配置在其它節(jié)點(diǎn)（如,node2,node3）上進(jìn)行。在 這里有一個(gè)特別說明的地方大家一定要注意，當(dāng)你配置NIS服務(wù)成功后，不管你用哪個(gè)普通用戶（如本例中的 pc）rsh 到任何一個(gè)節(jié)點(diǎn)，都應(yīng)是不用輸入用戶

29、名與密碼的，不用在做其它配置！至此 NIS 服務(wù)配置完成！RSH配置在高性能計(jì)算集群中，每個(gè)節(jié)點(diǎn)都需要分擔(dān)一定的任務(wù)，而這些任務(wù)都是由執(zhí)行任務(wù)的主機(jī) 發(fā)起的，剩余的節(jié)點(diǎn)通過遠(yuǎn)程的通信協(xié)議來完成任務(wù)的接收和執(zhí)行。當(dāng)前用于遠(yuǎn)程通信的協(xié) 議很多，其中比較出名的是 SSH(Secure Shell)和RSH RSH是通過網(wǎng)絡(luò)將要執(zhí)行的命令分發(fā) 給目的機(jī)，目的機(jī)在接收命令后根據(jù)用戶的情況和當(dāng)前的環(huán)境判斷是否執(zhí)行發(fā)送來的命令。SSH是 RSH的一種改進(jìn)，RSH存在一種很大的缺陷那就是安全問題。RSH在發(fā)送命令時(shí)使用的 是明文的方式，這樣一來命令在網(wǎng)絡(luò)中傳輸很容易被截獲，并且會(huì)被一些不法份子給竄改。出于這樣

30、的原因，出現(xiàn)了現(xiàn)在比較流行的SSH它是通過SSL的加密方式來發(fā)送數(shù)據(jù)，這樣就避免了數(shù)據(jù)被偷竊和竄改的可能。RSH服務(wù)具體配置1安裝 RSH 服務(wù)默認(rèn)配置安裝的RedHat，其安裝程序會(huì)將RSH服務(wù)安裝在系統(tǒng)上，在 RedHat中我們只需使用下 面的命令檢查系統(tǒng)是否已經(jīng)安裝了NFS服務(wù)：rootnode1 # rpm -qa |grep rsh如果系統(tǒng)顯示如下內(nèi)容，表示 NFS服務(wù)已經(jīng)正確安裝rsh-0.17-25.3rsh-server-0.17-25.3否則表示還沒有安裝 RSH服務(wù)，在RedHat AS 4的第2張與第4張安裝光盤的/RedHat/RPMS目錄 分別有RSH服務(wù)客戶端與RS

31、H服務(wù)器端的RPM安裝包，該安裝包的文件名分別為 rsh-0.17-25.3 .i386.rpm 與 rsh-server-0.17-25.3.i386.rpm 。放入光盤然后進(jìn)行裝載，并使用下面的命令安裝 :mount -t iso9660 /dev/cdrom /mnt/cdromrpm -ivh /mnt/cdrom/RedHat/RPMS/rsh-0.17-25.3.i386.rpm（第 2 張）rpm -ivh /mnt/cdrom/RedHat/RPMS/rsh-server-0.17-25.3 .i386.rpm （第 4 張） 以上設(shè)置必須得在每一個(gè)節(jié)點(diǎn)上運(yùn)行。2配置 RSH

32、服務(wù)編輯/etc/hosts.equiv （若不存在，請(qǐng)自行建立）如下：node1node2gnode1gnode2編輯/etc/hosts （若不存在，請(qǐng)自行建立）如下： localhost node1 node2 gnode1 gnode2編輯/root/.rhosts （若不存在，請(qǐng)自行建立,其中root為當(dāng)前用戶目錄下）如下:node1 node2gnode1gnode2編輯/etc/securetty文件，在末尾處新起一行加入：rexecrloginrsh 以上設(shè)置必須得在每一個(gè)節(jié)點(diǎn)

33、上運(yùn)行。3 .管理RSHK務(wù)啟動(dòng)RSHK務(wù)/etc/rc.d/init.d/rsh start/etc/rc.d/init.d/rlogin start停止RSH服務(wù)/etc/rc.d/init.d/rsh stop/etc/rc.d/init.d/rlogin stop重新啟動(dòng)RSH服務(wù)/etc/rc.d/init.d/rsh restart/etc/rc.d/init.d/rlogin restart自動(dòng)啟動(dòng)RSH服務(wù)chkconfig - level 35 rexec onchkconfig - level 35 rlogin onchkconfig - level 35 rsh on以

34、上設(shè)置必須得在每一個(gè)節(jié)點(diǎn)上運(yùn)行。4測(cè)試 RSH 服務(wù)首先，在RSHK務(wù)器端保證RSHK務(wù)啟動(dòng),運(yùn)行如下命令：rootnode1 # rsh node2如果你能看到以下信息，說明 RSHK務(wù)配置成功，并且不用密碼可以登陸其它節(jié)點(diǎn)。connect to address : Connection refusedTrying krb4 rlogin.connect to address : Connection refusedtrying normal rlogin (/usr/bin/rlogin)Last login: Fri Aug 25 17:11:

35、38 from node1You have mail.rootnode2 #我想大家都看明白了吧，每個(gè)節(jié)點(diǎn)既是RSHK務(wù)器，又可充當(dāng)RSH客戶機(jī)，最后要達(dá)到的效果是在任何一節(jié)點(diǎn) rsh 到任何一節(jié)點(diǎn)上，都能成功并且不需要輸入用戶名與密碼。至此RSHI艮務(wù)配置完成!SSH配置在高性能計(jì)算集群中，每個(gè)節(jié)點(diǎn)都需要分擔(dān)一定的任務(wù)，而這些任務(wù)都是由執(zhí)行任務(wù)的主機(jī) 發(fā)起的，剩余的節(jié)點(diǎn)通過遠(yuǎn)程的通信協(xié)議來完成任務(wù)的接收和執(zhí)行。當(dāng)前用于遠(yuǎn)程通信的協(xié) 議很多，其中比較出名的是 SSH(Secure Shell)和RSH RSH是通過網(wǎng)絡(luò)將要執(zhí)行的命令分發(fā) 給目的機(jī)，目的機(jī)在接收命令后根據(jù)用戶的情況和當(dāng)前的環(huán)境判

36、斷是否執(zhí)行發(fā)送來的命令。SSH是 RSH的一種改進(jìn)，RSH存在一種很大的缺陷那就是安全問題。RSH在發(fā)送命令時(shí)使用的 是明文的方式，這樣一來命令在網(wǎng)絡(luò)中傳輸很容易被截獲，并且會(huì)被一些不法份子給竄改。出于這樣的原因，出現(xiàn)了現(xiàn)在比較流行的 SSH它是通過SSL的加密方式來發(fā)送數(shù)據(jù)，這樣 就避免了數(shù)據(jù)被偷竊和竄改的可能。SSH服務(wù)器具體配置1.安裝SSH服務(wù)：默認(rèn)配置安裝的RedHat，其安裝程序會(huì)將RSH服務(wù)安裝在系統(tǒng)上，在 RedHat中我們只需使用下 面的命令檢查系統(tǒng)是否已經(jīng)安裝了SSH服務(wù)：rootnode1 # rpm -qa |grep ssh如果系統(tǒng)顯示如下內(nèi)容，表示 SSH服務(wù)已經(jīng)正

37、確安裝openssh-clients-3.9p1-8.RHEL4.9openssh-askpass-3.9p1-8.RHEL4.9openssh-server-3.9p1-8.RHEL4.9openssh-askpass-gnome-3.9p1-8.RHEL4.9openssh-3.9p1-8.RHEL4.9否則表示還沒有安裝 SSH服務(wù)，在RedHat AS 4的第2張與第4張安裝光盤的/RedHat/RPMS目錄分別有SSH服務(wù)客戶端與SSH服務(wù)器端的RP吸裝包，放入光盤然后進(jìn)行裝載，并使用下面的命 令安裝:mount -t iso9660 /dev/cdrom /mnt/cdromrpm

38、 -ivh /mnt/cdrom/RedHat/RPMS/openssh-clients-3.9p1-8.RHEL4.9.i386.rpmrpm -ivh /mnt/cdrom/RedHat/RPMS/openssh-askpass-3.9p1-8.RHEL4.9.i386.rpmrpm -ivh /mnt/cdrom/RedHat/RPMS/openssh-server-3.9p1-8.RHEL4.9 .i386.rpmrpm -ivh /mnt/cdrom/RedHat/RPMS/openssh-askpass-gnome-3.9p1-8.RHEL4.9 .i386.rpmrpm -ivh

39、 /mnt/cdrom/RedHat/RPMS/openssh-3.9p1-8.RHEL4.9 .i386.rpm2 .配置SSH服務(wù)在nodel生成SSH秘鑰對(duì)：rootnode1 # ssh-keygen -t rsa一路回車即可查看是否有 .ssh 文件夾：root no del # Is - a進(jìn)入 .ssh 目錄rootnode1 # cd .sshrootnode1 .ssh#生成 authorized_keys 文件：rootnode1 .ssh# cp id_rsa.pub authorized_keys 建立本身的信任連接：root no del .ssh# ssh node

40、l按提示輸入yes （三個(gè)字母要打全）生成.ssh文件夾拷貝nodel上的.ssh文件夾覆蓋本地的 提示處輸入 yes 回車設(shè)置node2（ node2的root目錄下）rootnode2 #ssh-keygen -t rsarootnode2 #rcp node1:/root/.ssh/* /root/.ssh rootnode2 #ssh node1確認(rèn)兩臺(tái)機(jī)器的信任連接已建立對(duì)每個(gè)節(jié)點(diǎn)執(zhí)行：#ssh node01#ssh node02在提示處輸入yes回車，最后確定無需輸入密碼并且沒有任何提示信息即可登陸（"Last login:時(shí)間日期 "提示信息除外）3 .管理S

41、SH服務(wù)啟動(dòng)SSH服務(wù)/etc/rc.d/init.d/sshd start停止ssH服務(wù)/etc/rc.d/init.d/sshd stop重新啟動(dòng)SSH服務(wù)/etc/rc.d/init.d/sshd restart自動(dòng)啟動(dòng)SSH服務(wù)chkconfig -level 35 sshd on以上設(shè)置必須得在每一個(gè)節(jié)點(diǎn)上運(yùn)行。4 .測(cè)試SSH月服務(wù)：首先，在ssH服務(wù)器端保證RSH服務(wù)啟動(dòng),運(yùn)行如下命令： rootnode1 # ssh node2如果你能看到以下信息，說明 SSHI艮務(wù)配置成功，并且不用密碼可以登陸其它節(jié)點(diǎn)。Last login: Sat Aug 26 19:39:21 2006

42、 from node1rootnode2 #我想大家都看明白了吧，每個(gè)節(jié)點(diǎn)既是SSH服務(wù)器，又可充當(dāng)SSH客戶機(jī)，最后要達(dá)到的效果是在任何一節(jié)點(diǎn) ssh 到任何一節(jié)點(diǎn)上，都能成功并且不需要輸入用戶名與密碼。至此SSHI艮務(wù)配置完成!NFS 配置和/home文件讓節(jié)點(diǎn)機(jī)共享/home是普通用戶登錄目錄,更體現(xiàn)集群的單一系統(tǒng)印象。編輯文件NFS文件輸出表文件/etc/exports ，輸出/usr/local其中/usr/local用于安裝MPI并行環(huán)境和存放其他公用程序。通過這樣的機(jī)制， 可以統(tǒng)一集群中的應(yīng)用程序目錄及用戶目錄， 雖然NFS可以在網(wǎng)絡(luò)中進(jìn)行文件共享。但是 NFS協(xié)議本身并沒有提供

43、數(shù)據(jù)傳輸?shù)墓δ?，它必須借助于過程調(diào)用（RPC協(xié)議來實(shí)現(xiàn)數(shù)據(jù)的傳輸。RPC定義了一種進(jìn)程間通過網(wǎng)絡(luò)進(jìn)行交互通信的機(jī)制，它允許客戶端進(jìn)程通過遠(yuǎn)程服務(wù)器上的服務(wù)進(jìn)程請(qǐng)求服務(wù)，而不需要了解底層 通信協(xié)議的細(xì)節(jié)。NFS服務(wù)器具體配置1.安裝NFS服務(wù)默認(rèn)配置安裝的RedHat，其安裝程序會(huì)將NFS服務(wù)安裝在系統(tǒng)上，在 RedHat中我們只需使用下面的命令檢查系統(tǒng)是否已經(jīng)安裝了NFS服務(wù)：rootnode1 root# rpm -qa |grep nfs如果系統(tǒng)顯示如下內(nèi)容，表示NFS服務(wù)已經(jīng)正確安裝nfs-utils-1.0.6-46否則表示還沒有安裝 NFS服務(wù)，在RedHat AS 4的第2張安裝光

44、盤的/RedHat/RPMS 目錄有NFS服務(wù)器的RPM安裝包，該安裝包的文件名為nfs-utils-1.0.6-46.i386.rpm。放入光盤然后進(jìn)行裝載，并使用下面的命令安裝 :mount -t iso9660 /dev/cdrom /mnt/cdromrpm -ivh /mnt/cdrom/RedHat/RPMS/nfs-utils-1.0.6-46.i386.rpm2 .配置NFS服務(wù)編輯 /etc/exports 文件內(nèi)容如下： /home * (rw,sync,no_root_squash ) /usr/local * (rw,sync,no_root_squash )3管理 N

45、FS 服務(wù)啟動(dòng)NFS服務(wù)/etc/rc.d/init.d/nfs start停止NFS服務(wù)/etc/rc.d/init.d/nfs stop重新啟動(dòng)NFS服務(wù)/etc/rc.d/init.d/nfs restart自動(dòng)啟動(dòng)NFS服務(wù)chkconfig - level 35 nfs on4測(cè)試 NFS 服務(wù)NFS服務(wù)器的共享使用和相關(guān)首先，在服務(wù)器端保證NFS服務(wù)啟動(dòng)，使用下面的命令來查看 的配置信息showmount -e 服務(wù)器 IP也可以輸入：showmount -a 服務(wù)器 IP 查看 nfs 共享在客戶端的加載情形。NFS 客戶機(jī)具體配置編輯/etc/fstab文件,使節(jié)點(diǎn)機(jī)啟動(dòng)時(shí)自動(dòng)

46、掛載 NFS服務(wù)器輸出的文件目,在該文件中加入: node1:/home /home nfs defaults 0 0node1:/usr/local /usr/local nfs defaults 0 0可用mount命令，測(cè)試是否能掛載NFS服務(wù)器上的輸出文件目錄mount -t nfs node1:/home /home若正確，進(jìn)入節(jié)點(diǎn)機(jī) /home 目錄，可看到服務(wù)器上的 /home 目錄 。這個(gè)NFS也比較簡單了，我們的目地是以 nodel充當(dāng)NFS的服務(wù)器端，其它節(jié)點(diǎn)充當(dāng) NFS的 客戶端，因此以上的服務(wù)器端配置需要在 node1 上進(jìn)行，客戶機(jī)的配置需要在所有其它節(jié)點(diǎn) 機(jī)上進(jìn)行，

47、以達(dá)到所以節(jié)點(diǎn)機(jī)啟動(dòng)時(shí)能自動(dòng)掛載nodel上的/home與/usr/local目錄，并且對(duì)這些目錄有讀寫的權(quán)限！至此NFS服務(wù)配置完成！MPICH1配置我們要讓我們的集群發(fā)揮它的效能就必須讓它能夠執(zhí)行并行程序，而我們要執(zhí)行并行程序就必須使用并行運(yùn)算軟件，MPICH是MPI的一種實(shí)現(xiàn)，下面就介紹安裝的方法。（本次使用的mpich-1.2.7.tar 版本的）MPICH1具體配置1安裝 MPICH1從 /mpi/mpich/index.htm 下載 MPICH1 安裝包，這里我們下載到 /root/mpichl目錄里，并安裝到 nodel上。ro

48、otnode1 mpich1# tar zxvf mpich-1.2.7.tar#解壓 mpich-1.2.7.tarrootnode1 mpich1# cd mpich-1.2.7#進(jìn)入到mpich-1.2.7.tar目錄里rootnode1 mpich-1.2.7# mkdir /usr/local/mpich-1.2.7#建立安裝目錄 /usr/local/mpich-1.2.7rootnode1 mpich-1.2.7./configure -prefix=/usr/local/mpich-1.2.7| tee configure.log#配置mpich-1.2.7的安裝目錄rootn

49、ode1 mpich-1.2.7make | tee make.log#建筑 mpich-1.2.7rootnode1 mpich-1.2.7make install | tee install.log#安裝 mpich-1.2.72配置 MPICH1編輯/etc/profile,在文件的最后新起一行，新建以下一行如下:PATH=/usr/local/mpich-1.2.7/bin:$PATH#增加 mpich1 的環(huán)境變量rootnode1 mpich-1.2.7#source /etc/profile #使環(huán)境變量立即生效環(huán)境變量設(shè)置完成后，我們需要測(cè)試環(huán)境變量設(shè)置是否成功，用如下命令：

50、rootnode1 mpich-1.2.7# which mpirun /usr/local/mpich-1.2.7/bin/mpirun 如果顯示以上信息，表示設(shè)置環(huán)境變量已成功。3測(cè)試 MPICH13.1 單節(jié)點(diǎn)測(cè)試rootnode1 mpich-1.2.7cd /usr/local/mpich-1.2.7/examples#進(jìn)到 /usr/local/mpich-1.2.7/examplesrootnode1 mpich-1.2.7make#Make下生成算例，如cpi等執(zhí)行如下命令 :rootnodel mpich-1.2.7mpirun- np 4 cpi如果你看到如下信息，表示安裝

51、成功 :Process 1 on node1Process 2 on node1Process 3 on node1Process 0 on node1pi is approximately 3.1416009869231249, Error is 0.0000083333333318 wall clock time = 0.0000003.2 多節(jié)點(diǎn)測(cè)試rootnode1 mpich-1.2.7 vi /usr/local/mpich-1.2.7/share/machines.LINUX#編輯 machines.LINUX 文件，內(nèi)容如下：# Change this file to cont

52、ain the machines that you want to use# to run MPI jobs on. The format is one host name per line, with either#hostname# or#hostname:n# where n is the number of processors in an SMP. The hostname should# be the same as the result from the command "hostname"nodel在這里，要加上所有的計(jì)算節(jié)點(diǎn)，本機(jī)為nodel，要加入nod

53、e2、node3等node2rootnode1 mpich-1.2.7 cd /usr/local/mpich-1.2.7/examples#回到 /usr/local/mpich-1.2.7/examplesrootnode1 examples# mpirun -np 8 cpi -machinefile#執(zhí)行mpiru n -np 8 cpi -mach in efile，如看到以下信息，說明配置正確！Process 2 on node1Process 6 on node1Process 4 on node1Process 0 on node1Process 1 on node2Proce

54、ss 7 on node2Process 5 on node2Process 3 on node2pi is approximately 3.1416009869231249, Error is 0.0000083333333318wall clock time = 0.003906如果你能看到以上信息，說明 MPICH1 配置成功，至此 MPICH1 服務(wù)配置完成！MPICH2 配置我們要讓我們的集群發(fā)揮它的效能就必須讓它能夠執(zhí)行并行程序，而我們要執(zhí)行并行程序就必須使用并行運(yùn)算軟件， MPICH 是 MPI 的一種實(shí)現(xiàn)，下面就介紹安裝的方法。 （本次使用的 mpich2-1.0.4p1.tar 版本的） 當(dāng)前的最新版本。MPICH2具體配置1安裝 MPICH2從 /mpi/mpich/index.htm 下載 MPICH2 安裝包，這里我們下載到/root/mpich2目錄里，并安裝到 nodel上。rootnode1 mpich2# tar xfz mpich2-1.0.4p1.tar#解壓 mpich2-1.0.4.tar.gzrootnode1 mpich2#