Centos5.0建立pc集群總結(jié).doc

Centos5.0建立pc集群總結(jié)1 湖南大學(xué)物理與微電子科學(xué)學(xué)院（1） Samuel 2007,10,21（1）注：本人工作，引用請注明出處準(zhǔn)備工作：設(shè)置IP，更改主機(jī)名為node01,node02,node03,node04.本說明首先建立一個集群然后講述vasp和matlab的并行安裝。其中包括nis和nfs的配置問題和linux上網(wǎng)問題的解決。第一章 安裝mpich2一、創(chuàng)建SSH信任連接（在root目錄下）1、更改/etc/hosts文件（ipv6去掉）#vi /etc/hosts 打開hosts文件，更改如下：127.0.0.1 localhost.localdomain localhostnode01的IP scc-mnode01的IP node01node02的IP node02node03的IP node03node04的IP node042、在node01生成SSH秘鑰對（root用戶或者一般用戶，建議一般用戶，在一般用戶下步驟同下）.#ssh-keygen -t rsa 一路回車即可產(chǎn)生.ssh文件,#ls -a 查看是否有.ssh文件夾3、進(jìn)入.ssh目錄#cd .ssh4、生成authorized_keys文件#cp id_rsa.pub authorized_keys 5、退出到root目錄#cd .6、建立本身的信任連接#ssh node01 按提示輸入yes（三個字母要打全）7、設(shè)置node02（node02的root目錄下）#ssh-keygen -t rsa 生成.ssh文件夾#scp node01的IP：/root/.ssh/* /root/.ssh 拷貝node01上的.ssh文件夾覆蓋本地的#scp node01的IP：/etc/hosts /etc/hosts 拷貝node01上的hosts文件覆蓋本地的#ssh node01 提示處輸入yes回車設(shè)置node03,node04的方法與node02相同8、確認(rèn)四臺機(jī)器的信任連接已建立對每個節(jié)點(diǎn)執(zhí)行：#ssh node01#ssh node02#ssh node03#ssh node04在提示處輸入yes回車，最后確定無需輸入密碼并且沒有任何提示信息即可登陸（Last login:時間日期提示信息除外）二、安裝MPICH2(在節(jié)點(diǎn)root目錄下)1、解壓縮#tar -zxvf mpich2-1.0.1.tar.gz或者 #gunzip -c mpich2-1.0.1.tar.gz|tar xf mpich2-1.0.1.tar 或tar zxvf mpich2-1.0.1.tar.gz2、創(chuàng)建安裝目錄#mkdir /opt/mpich23、進(jìn)入mpich2解壓目錄#cd mpich2-1.0.14、設(shè)置安裝目錄#./configure -prefix=/opt/mpich25、編譯#make6、安裝#make install7、退出到root目錄#cd .8、通過編輯.bashrc文件修改環(huán)境變量#vi .bashrc修改后的.bashrc文件如下：# .bashrc# User specific aliases and functions alias rm=rm -ialias cp=cp -ialias mv=mv -iPATH=$PATH:/opt/mpich2/bin 新增加的 或者export PATH=/opt/mpich2/bin:$PATH#Source global definitionsif -f /etc/bashrc ; then. /etc/bashrcfi注明：一般用戶vi .bashrc加入export PATH=/opt/mpich2/bin:$PATH，然后. .bashrc更新環(huán)境9、測試環(huán)境變量設(shè)置#which mpd#which mpicc#which mpiexec#which mpirun10、修改/etc/mpd.conf文件，內(nèi)容為secretword=myword#vi /etc/mpd.conf設(shè)置文件讀取權(quán)限和修改時間#touch /etc/mpd.conf#chmod 600 /etc/mpd.conf11、創(chuàng)建主機(jī)名稱集合文件/root/mpd.hosts#vi mpd.hosts文件內(nèi)容如下：node01node02node03node04三、測試1、本地測試#mpd & 啟動#mpdtrace 觀看啟動機(jī)器#mpdallexit 退出2、通過mpd.hosts運(yùn)行集群系統(tǒng)#mpdboot -n number -f mpd.hosts number為要起動的機(jī)器個數(shù)#mpdtrace #mpdallexit3、測試運(yùn)行MPICH的例子程序#mpdboot -n 4 -f mpd.hosts 啟動4臺機(jī)器#mpiexec -n number /usr/MPICH-install/examples/cpi number為使用的進(jìn)程數(shù)#mpdallexit4、如果測試不能通過，請進(jìn)行第四步四、問題解決1、通過mpdcheck獲得一寫幫助信息#mpdcheck -pc2、查錯#mpdcheck -l3、通過mpd.hosts 第三章 NIS使用NIS概述: NIS，是Network Information Services的簡寫，意為網(wǎng)絡(luò)信息服務(wù) ；其最初是由Sun Microsystems組織開發(fā)， 主要目標(biāo)是用于UNIX系統(tǒng)的集中管理。 目前，它基本上已經(jīng)成為了業(yè)界標(biāo)準(zhǔn)； 所有主流的類 UNIX 系統(tǒng) (Solaris,HP-UX,AIX,Linux,NetBSD,OpenBSD,FreeBSD等等) 都支持 NIS。NIS原來的名稱為黃頁(Yellow Pages)，但由于商標(biāo)的問題，Sun將其改名為現(xiàn)在的名字。NIS是一個基于 RPC 的客戶機(jī)/服務(wù)器系統(tǒng)， 它允許在一個 NIS 域中的一組機(jī)器共享一系列配置文件。 這樣， 系統(tǒng)管理員就可以配置只包含最基本配置數(shù)據(jù)的 NIS 客戶機(jī)系統(tǒng)， 并在單點(diǎn)上（主NIS服務(wù)器）增加、刪除或修改配置數(shù)據(jù)。在 NIS 環(huán)境中， 有三種類型的主機(jī)： 主服務(wù)器(master)， 從服務(wù)器(slave)， 和客戶機(jī)(client)。服務(wù)器的作用是充當(dāng)主機(jī)配置信息的中央數(shù)據(jù)庫，保存著用戶帳號、組帳號等配置信息的權(quán)威副本，而從服務(wù)器則是保存這些信息的冗余副本。 客戶機(jī)將使用這些信息。配置示例：本例中網(wǎng)絡(luò)模型如下：server 192.168.0.16 NIS主服務(wù)器Linux192.168.0.228 NIS從服務(wù)器client 192.168.0.128 NIS客戶端一、服務(wù)端的設(shè)定1、設(shè)定NIS域名#nisdomainname benet#vi /etc/sysconfig/network 添加：NISDOMAIN=benet#vi /etc/rc.local添加：/sbin/nisdomainname benet2、默認(rèn)情況下，如果是RHEL4沒有安裝ypserv包，此軟件在第一張光盤上，安裝上即可查看是否已經(jīng)安裝ypserv# rpm -qa |grep ypypbind-1.17.2-3yp-tools-2.8-7掛載第一張光盤并安裝ypserv# mount /dev/cdrom /media/cdrom# rpm -ivh /media/cdrom/RedHat/RPMS/ypserv-2.13-5.i386.rpm warning: /media/cdrom/RedHat/RPMS/ypserv-2.13-5.i386.rpm: V3 DSA signature: NOKEY, key ID db42a60ePreparing. # 100% 1:ypserv # 100%3、主配置文件/etc/ypserv.conf此部分配置比較簡單，大部分保持默認(rèn)即可，最后一段來定義訪問安全性。但一般情況下，管理員應(yīng)該使用securenets文件，未必用ypserv.conf定義安全性。 這部分語法如下： Host : Domain : Map : Security 主機(jī)名稱/IP : NIS域名稱 : 可用資料庫名稱 : 安全限制字段如下:host :授權(quán)或禁止訪問的計算機(jī)，它由地址/掩碼對確定.例如 192.168.1.0/255.255.255.0 . *表示所有主機(jī)；map :該字段表示訪問的NIS映射表項名稱。例如：passwd.byuid。*表示映射表中所有的字段都可用；security :授權(quán)訪問類型none :允許訪問，不加強(qiáng)安全性；port :允許特權(quán)端口訪問；只接收源端口小于1024的連接；deny :禁止訪問； 如本實(shí)驗(yàn)中，我們應(yīng)該在主配置文件尾設(shè)置如下項：127.0.0.0/255.255.255.0 : * : * : none192.168.0.0/255.255.255.0 : * : * : none* : * : * : deny4、編輯 /etc/yp.conf 文件 NIS服務(wù)器同時也是它們自己的NIS客戶端，所以你需要編輯NIS客戶端配置文件/etc/yp.conf，將其記錄域的NIS服務(wù)器同時也是主機(jī)。# vi /etc/yp.conf添加：ypserver 127.0.0.15、啟動rpc、ypserv、yppasswdd等進(jìn)程# service portmap startStarting portmap: OK # rpcinfo -p localhost program vers proto port 100000 2 tcp 111 portmapper 100000 2 udp 111 portmapper 100024 1 udp 32768 status 100024 1 tcp 32768 status# service ypserv startStarting YP server services: OK # rpcinfo -u localhost ypservprogram 100004 version 1 ready and waitingprogram 100004 version 2 ready and waiting#service yppasswdd startStarting YP passwd service: OK # rpcinfo -u localhost yppasswddprogram 100009 version 1 ready and waiting# rpcinfo -p localhost program vers proto port 100000 2 tcp 111 portmapper 100000 2 udp 111 portmapper 100024 1 udp 32768 status 100024 1 tcp 32768 status 100004 2 udp 613 ypserv 100004 1 udp 613 ypserv 100004 2 tcp 616 ypserv 100004 1 tcp 616 ypserv 100009 1 udp 628 yppasswdd Centos5.0建立pc集群總結(jié)3(2007-11-20 16:04) 標(biāo)簽： - 分類： Linux cluster 二、客戶端的設(shè)定1、設(shè)定NIS域名#nisdomainname benet#vi /etc/sysconfig/network 添加：NISDOMAIN=benet#vi /etc/rc.local添加：/sbin/nisdomainname benet2、查看是否已經(jīng)安裝相應(yīng)的rpm包ypbind和yptools，RHEL4默認(rèn)已經(jīng)安裝# rpm -qa |grep ypypbind-1.17.2-3yp-tools-2.8-73、設(shè)置主配置文件/etc/yp.conf#vi /etc/yp.conf添加如下行：domain benet server 192.168.0.16其語法格式為：domain NISDOMAIN server HOSTNAME其中NISDOMAIN為你的NIS域名，HOSTNAME為你的NIS服務(wù)器名字，推薦使用IP；或者你也可以設(shè)置/etc/hosts文件，使用客戶端能解析NIS Server的主機(jī)名稱，此處則可以寫作服務(wù)器的主機(jī)名；4、設(shè)置/etc/nsswitch.conf文件找到如下項:passwd: filesshadow: filesgroup: files#hosts: db files ldap nis dnshosts: files dns將其修改為:passwd: files nisshadow: files nisgroup: files nis#hosts: db files ldap nis dnshosts: files nis dns5、查看客戶端portmap進(jìn)程的啟動狀況，確定無誤后啟動其ypbind進(jìn)程：# service portmap statusportmap (pid 1774) is running.# service ypbind startShutting down NIS services: OK Binding to the NIS domain: OK Listening for an NIS domain server.將ypbind設(shè)置為開機(jī)自動啟動#chkconfig -level 2345 ypbind on6、測試客戶端的連接# ypcat passwdredhat:$1$btyeQR8Z$TR0OkRrcrXYmgxY.MEN2R.:500:501:/home/redhat:/bin/bash# ypmatch redhat passwdredhat:$1$btyeQR8Z$TR0OkRrcrXYmgxY.MEN2R.:500:501:/home/redhat:/bin/bash# ypwhich -xUse ethers for map ethers.bynameUse aliases for map mail.aliasesUse services for map services.bynameUse protocols for map protocols.bynumberUse hosts for map hosts.bynameUse networks for map networks.byaddrUse group for map group.bynameStarting NFS mountd:Use passwd for map passwd.byname# ypcat hosts192.168.0.16 server127.0.0.1 localhost.localdomain localhost7、配置客戶端在啟動時登錄到NIS域# vi /etc/sysconfig/authconfig找到如下行：USENIS=no修改為：USENIS=yes8、在服務(wù)器添加測試用戶#userdd nisuser#passwd nisuer并使用如下命令重建maps數(shù)據(jù)庫,其使用方法見服務(wù)端設(shè)定部分# /usr/lib/yp/ypinit -m三、重新啟動客戶端來測試結(jié)果1、客戶端登錄：# ssh -l nisuser 192.168.0.128nisuser192.168.0.128s password: Last login: Wed Jul 11 17:59:14 2007 from serverCould not chdir to home directory /home/nisuser: No such file or directory-bash-3.00$ 2、在服務(wù)端輸出/home目錄，以使得客戶端漫游配置文件：# vi /etc/exports /home 192.168.0.0/24(rw,no_root_squash,async)啟動nfs服務(wù):# service nfs startStarting NFS services: OK Starting NFS quotas: OK Starting NFS daemon: OK 設(shè)置其開機(jī)自動啟動# chkconfig -level 2345 nfs on3、客戶端的設(shè)定以root用戶登錄客戶端，掛載服務(wù)端的/home目錄至本機(jī)的/home目錄,而后測試使用nisuser用戶登錄# ssh -l nisuser 192.168.0.128nisuser192.168.0.128s password: nisuserclient $ ls -a. . .bash_logout .bash_profile .bashrc .emacs .gtkrc .kdenisuserclient $ ls /homelost+found nisuser redhat注：應(yīng)該以root用戶身份編輯/etc/fstab文件，使其開機(jī)能自動掛載192.168.0.16:/home /home ext3 defaults 0 04、在客戶端使用yppasswd命令修改個人密碼nisuserclient $ yppasswd Changing NIS account information for nisuser on server.Please enter old password: -此處要輸入舊密碼Changing NIS password for nisuser on server.Please enter new password: -新密碼Please retype new password: -確認(rèn)新密碼The NIS password has been changed on server. -修改的確認(rèn)信息四、添加一臺從服務(wù)器1、編輯/etc/hosts文件，添加如下兩行（非必要步驟）192.168.0.16server192.168.0.228Linux2、參照主服務(wù)器設(shè)定的第二步，安裝ypserv包3、編輯主配置文件/etc/ypserv.conf，添加如下行：127.0.0.0/255.255.255.0 : * : * : none192.168.0.0/255.255.255.0 : * : * : none* : * : * : deny4、編輯主服務(wù)器上的 Centos5.0建立pc集群總結(jié)4(2007-11-20 16:07) 標(biāo)簽： - 分類： Linux cluster 第四章 vasp并行安裝采用mpif90來編譯vasp 這里假設(shè)把libgoto_p4_512-r0.94.so放在/usr/local/lib目錄中。 a)進(jìn)入vasp.4.lib目錄中，把makefile.linux_ifc_P4拷貝成makefile。 鍵入make命令，開始編譯得到libdmy.a b)進(jìn)入vasp.4.6目錄中，把makefile.linux_ifc_P4拷貝成makefile 把第50行的FC=ifc前加上注釋號，也就是# 第80行至82行的CPP有關(guān)內(nèi)容加上注釋號，改成下面的 #CPP=$(CPP_)-DHOST=LinuxIFC #-Dkind8-DNGXhalf-DCACHE_SIZE=12000-DPGF90-Davoidalloc #-DRPROMU_DGEMV-DRACCMU_DGEMV 把第136行的BLAS BLAS=/opt/libs/libgoto/libgoto_p4_512-r0.6.so 該成如下的內(nèi)容： BLAS=/usr/local/lib/libgoto_p4_512-r0.94.so 把第166行和167行有關(guān)FFT3D的行前加上注釋號，如下面的 #FFT3D=fft3dfurth.offt3dlib.o #FFT3D=fftw3d.offt3dlib.o/opt/libs/fftw-3.0.1/lib/libfftw3.a 把202行和203行的FC等改為如下的內(nèi)容： FC=mpif90 FCL=$(FC) 把212行有關(guān)CPP的行前的注釋號去掉，改成如下的內(nèi)容： CPP=$(CPP_)-DMPI-DHOST=LinuxIFC-DIFC -Dkind8-DNGZhalf-DCACHE_SIZE=4000-DPGF90-Davoidalloc -DMPI_BLOCK=500 -DRPROMU_DGEMV-DRACCMU_DGEMV 把226和227行有關(guān)SCA的行，加上注釋號，改成如下的 #SCA=$(SCA_)/libscalapack.a #$(BLACS)/LIB/blacsF77init_MPI-LINUX-0.a$(BLACS)/LIB/blacs_MPI-LINUX-0.a$(BLACS)/LIB/blacsF77init_MPI-LINUX-0.a 表示不用scalapack庫。 把239和243行有關(guān)FFT3D的行，改成如下的內(nèi)容： #FFT:fftmpi.owithfft3dlibofJuergenFurthmueller FFT3D=fftmpi.offtmpi_map.offt3dlib.o #fftw.3.0.1isslighlyfasterandshouldbeusedifavailable #FFT3D=fftmpiw.offtmpi_map.offt3dlib.o/opt/libs/fftw-3.0.1/lib/libfftw3.a 把這些都修改后，保存。注明：這是ifc8.0的編譯器的問題。解決的辦法：:你先到你安裝的ifc8.0的安裝目錄中，找到lib目錄，里面有個libsvml.a的庫文件。:1、比如你的ifc8.1裝在/opt/intel_fc8的目錄下。:則在.bash_profile文件中加入下面的：:exportLD_LIBRARY_PATH=/opt/intel_fc8/lib:$LD_LIBRARY_PATH:/usr/local/lib:/usr/lib:/lib:2、source.bash_profile:3、在vasp的makefile中，對BLAS或LAPACK后面加上-lvml。:比如:BLAS=.-lsvml:其中的.是你用libgoto庫的路徑。使用ifc8.0還是有問題，計算過程中，最好使用ifc9.0以上，問題可以全部解決BLAS=.-lsvml。附件中有寫好的makefile，可以直接用。第五章 matlab740安裝首先下載Mathworks.Matlab