GPFS安裝實施和維護

20232023.10伊迪艾電腦科技〔中國〕伊迪艾電腦科技GPFS安裝實施和維護AIX下GPFS安裝配置及維護鄒旭目錄1.概述 31.1IBMGPFS功能介紹 31.2GPFS體系架構(gòu)介紹 3?磁盤 3?網(wǎng)絡(luò)共享磁盤〔NSD〕 4?GPFS文件設(shè)備 4?連接模式：如下列圖 41.3GPFS的優(yōu)勢 52.GPFS安裝配置步驟 52.1GPFS安裝準備 52.2GPFS軟件的安裝 6A.GPFS軟件放在目錄 6B.升級包 6C.通過SMIT安裝命令進行安裝和升級 6D.成功的安裝完GPFS之后 7E.添加/etc/environment的執(zhí)行路徑 73.創(chuàng)立GPFS心跳地址 74.配置GPFS集群 84.1配置節(jié)點文件 84.2建立GPFS集群 84.3確認查看GPFS集群 94.4激活GPFS授權(quán) 95配置GPFS的共享盤 105.1建立NSD〔NetworkSharedDisk〕文件 105.2生成NSD盤 105.3確認結(jié)果 115.4啟動GPFS系統(tǒng) 116配置GPFS的共享文件系統(tǒng) 116.1建立GPFS文件系統(tǒng) 116.2確認文件系統(tǒng) 126.3裝載文件系統(tǒng) 136.4建立目錄 137配置GPFS的屬性 137.1配置GPFS選項屬性 13實施結(jié)果 158.GPFS管理和維護 168.1主機應用的啟動順序 168.2GPFS的啟動和關(guān)閉 16節(jié)點狀態(tài) 168.3GPFS的文件系統(tǒng)管理 178.4GPFS的集群管理 178.5GPFS的磁盤管理 178.6GPFS的日志和安裝路徑 18其他有用的GPFS操作 181.新增一個節(jié)點 182.更換硬盤 183.停掉節(jié)點 194.修改inode數(shù)量 195.去除GPFS 191.概述1.1IBMGPFS功能介紹GPFS(GeneralParallelFileSystem)是IBM公司第一個共享文件系統(tǒng)，起源于IBMSP系統(tǒng)上使用的虛擬共享磁盤技術(shù)(VSD)。作為這項技術(shù)的核心，GPFS是一個并行的磁盤文件系統(tǒng)，它保證在資源組內(nèi)的所有節(jié)點可以并行訪問整個文件系統(tǒng)。而且針對此文件系統(tǒng)的效勞操作，可以同時平安地在使用此文件系統(tǒng)的多個節(jié)點上實現(xiàn)。GPFS允許客戶共享文件，而這些文件可能分布在不同節(jié)點的不同硬盤上。它提供了許多標準的UNIX文件系統(tǒng)接口，允許應用不需修改或者重新編輯就可以在其上運行。GPFS也支持UNIX文件系統(tǒng)的工具，即：用戶可以像使用普通文件系統(tǒng)一樣使用基于GPFS的文件系統(tǒng)，唯一不同的在于管理GPFS文件系統(tǒng)的命令。GPFS提供的文件系統(tǒng)操作效勞可以支持并行應用和串行應用，它允許任何節(jié)點〔這些節(jié)點屬于同一個節(jié)點組〕上的并行應用同時訪問同一個文件者不同的文件。1.2GPFS體系架構(gòu)介紹GPFS文件系統(tǒng)根本上由三層架構(gòu)組成：磁盤，網(wǎng)絡(luò)共享磁盤〔NSD〕，GPFS文件設(shè)備，如下列圖所示。?磁盤GPFS文件系統(tǒng)最底層的是物理磁盤設(shè)備。原那么上可以采用系統(tǒng)上任何塊設(shè)備，包括磁盤，磁盤分區(qū)，邏輯卷。從物理連接上來看，GPFS支持使用所有方式連接的磁盤。包括本地IDE磁盤，本地SCSI磁盤，光纖SAN磁盤，iSCSI磁盤，等等。?網(wǎng)絡(luò)共享磁盤〔NSD〕NSD是由磁盤映射出來的虛擬設(shè)備，NSD與磁盤是一一對應的關(guān)系。NSD被標記了不同性來區(qū)分其用途，我們可以將磁盤標記為4種用途：DescOnly：只存儲GPFS文件系統(tǒng)描述信息的磁盤。DataOnly：只存儲文件系統(tǒng)中的數(shù)據(jù)信息。Metadataonly:只存儲文件系統(tǒng)中的目錄結(jié)構(gòu)inode信息。Metaanddata:存儲所有信息〔默認〕。?GPFS文件設(shè)備GPFS設(shè)備是一個可被系統(tǒng)掛載的文件設(shè)備，由NSD創(chuàng)立而成，可以并行的同時掛載在多個節(jié)點上。?連接模式：如下列圖將存儲LUN/disk配置映射到GPFS集群節(jié)點–依據(jù)系統(tǒng)需求的不同，disk連接拓撲可能會有差異SAN存儲模式是將所有節(jié)點直接映射到所有節(jié)點NSD模式只需由作為NSDServer的節(jié)點鏈接disk混合模式可以是局部節(jié)點直接連接存儲，局部做為NSDClient，它們通過NSDServer，通過IP網(wǎng)絡(luò)進行IO訪問(NetworkBlockIO)1.3GPFS的優(yōu)勢?高性能GPFS允許在同一節(jié)點內(nèi)的多進程或者應用使用標準文件系統(tǒng)調(diào)用，同時訪問〔并發(fā)，讀寫〕同一個文件。通過將節(jié)點內(nèi)讀寫操作分布到多個磁盤上，大大增加了文件系統(tǒng)的帶寬，通過整個系統(tǒng)的負載均衡防止了某個磁盤過大的讀寫。?跨平臺設(shè)計GPFS支持在一個集群內(nèi)參加異構(gòu)的平臺。支持異構(gòu)的硬件環(huán)境：Systemp,Systemx。支持異構(gòu)的操作系統(tǒng)：AIX,Linux。?數(shù)據(jù)一致性GPFS通過一套復雜的信令管理機制提供數(shù)據(jù)一致性。通過這套機制允許任意節(jié)點通過各自獨立的路徑到達同一個文件。即使節(jié)點無法正常工作，GPFS也可以找到其它的路徑。?數(shù)據(jù)平安性GPFS是一種日志文件系統(tǒng)，為不同節(jié)點建立各自獨立的日志。日志中記錄metadata的分布，一旦節(jié)點發(fā)生故障后，可以保證快速恢復數(shù)據(jù)。GPFS的fail-over功能通過規(guī)劃，將數(shù)據(jù)分布到不同failuregroup內(nèi)到達高可用性，減少單點故障的影響。為了保證數(shù)據(jù)可用性，GPFS在多個failuregroup內(nèi)為每個數(shù)據(jù)實例做備份，即使創(chuàng)立文件系統(tǒng)時沒有要求復制，GPFS也會自動在不同的failuregroup內(nèi)復制恢復日志。?系統(tǒng)可擴展性通過GPFS，系統(tǒng)資源可以動態(tài)調(diào)整，可以在文件系統(tǒng)掛載情況下添加或者刪除硬盤。系統(tǒng)處于相對空閑時，用戶可以在已配置的硬盤上重新均衡文件系統(tǒng)以提高吞吐量。可以在不重新啟動GPFS效勞情況下添加新節(jié)點。?管理簡單GPFS自動在各個節(jié)點間同步配置文件和文件系統(tǒng)信息，而且在同一個節(jié)點內(nèi)，對GPFS的管理可以在任一個節(jié)點上進行。2.GPFS安裝配置步驟2.1GPFS安裝準備安裝GPFS之前必須配置：-存儲到IBMP系列主機-并且安裝多路徑軟件包中存儲的高可用-訪問配置修改所有機器的/etc/hosts,將以下行參加，使得機器之間互相能解析主機名。/etc/hosts#gpfsstart1gpfs11gpfs210.66.5.51App110.66.5.52App210.66.5.53App310.66.5.54App4#gpfsend-建立主機的信任關(guān)系〔使用.rhosts)修改所有效勞器的/.rhosts,將2個NSD效勞器主機名參加/.rhostsgpfs1rootgpfs2root2.2GPFS軟件的安裝A.GPFS軟件放在目錄：/tmp/gpfsinsB.升級包放到：/tmp/gpfsins/up下并用解壓命令解壓：gzip-d-cGPFS-3.5.0.26-power-AIX.tar.gz|tar-xvf-輸出：#gzip-d-cGPFS-3.5.0.26-power-AIX.tar.gz|tar-vxf-xchangelog,2518bytes,5mediablocks.xREADME,3832bytes,8mediablocks.xU860137.gpfs.docs.data.bff,926720bytes,1810mediablocks.xU869521.gpfs.msg.en_US.bff,202328bytes,394mediablocks.xU869771.gpfs.base.bff,50028544bytes,97712mediablocks.xU869772.gpfs.gnr.bff,98106368bytes,191614mediablocks.#lsU860137.gpfs.docs.data.bffU869771.gpfs.base.bffchangelogC.通過SMIT安裝命令進行安裝和升級#smittyinstallp進入軟件安裝菜單輸出：#lslpp-lgpfs*FilesetLevelStateDescriptionPath:/usr/lib/objreposgpfs.base3.5.0.3COMMITTEDGPFSFileManagergpfs.gnr3.5.0.3COMMITTEDGPFSNativeRAIDgpfs.msg.en_US3.5.0.3COMMITTEDGPFSServerMessages-U.S.EnglishPath:/etc/objreposgpfs.base3.5.0.3COMMITTEDGPFSFileManagerPath:/usr/share/lib/objreposgpfs.docs.data3.5.0.3COMMITTEDGPFSServerManpagesandDocumentation#smittyupdate_all進入軟件升級菜單輸出#lslpp-lgpfs*FilesetLevelStateDescriptionPath:/usr/lib/objreposgpfs.base3.5.0.26COMMITTEDGPFSFileManagergpfs.gnr3.5.0.22COMMITTEDGPFSNativeRAIDgpfs.msg.en_US3.5.0.22COMMITTEDGPFSServerMessages-U.S.EnglishPath:/etc/objreposgpfs.base3.5.0.26COMMITTEDGPFSFileManagerPath:/usr/share/lib/objreposgpfs.docs.data3.5.0.4COMMITTEDGPFSServerManpagesandDocumentationD.成功的安裝完GPFS之后，運行命令#lslpp-l|grepgpfs*列出如下所示輸出：同上E.添加/etc/environment的執(zhí)行路徑：/usr/lpp/mmfs/bin修改MM*路徑編輯每臺機器/etc/environment文件，在PATH字段參加mmfs路徑PATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:/usr/bin/X11:/sbin:/usr/java5/jre/bin:/usr/java5/bin:/usr/lpp/mmfs:/usr/lpp/mmfs/sbin:/usr/lpp/mmfs/bin3.創(chuàng)立GPFS心跳地址注：假設(shè)條件允許，那么GPFS心跳地址可單獨設(shè)置在任一網(wǎng)卡接口上。[root@Lpar1:/]smittytcpip*HOSTNAME[gpfs1]*InternetADDRESS(dotteddecimal)[10.10.10.1]NetworkMASK(dotteddecimal)[255.255.255.0]*NetworkINTERFACEen3NAMESERVERInternetADDRESS(dotteddecimal)[]DOMAINName[]DefaultGatewayAddress(dotteddecimalorsymbolicname)[]Cost[]DoActiveDeadGatewayDetection?NoYourCABLETypeN/ASTARTNowno[root@Lpar2:/]smittytcpip*HOSTNAME[gpfs2]*InternetADDRESS(dotteddecimal)[10.10.10.2]NetworkMASK(dotteddecimal)[255.255.255.0]*NetworkINTERFACEen3NAMESERVERInternetADDRESS(dotteddecimal)[]DOMAINName[]DefaultGatewayAddress(dotteddecimalorsymbolicname)[]Cost[]DoActiveDeadGatewayDetection?NoYourCABLETypeN/ASTARTNowno[root@Lpar2:/]cat/etc/hosts#192.168.1.140LPAR1#192.168.1.141LPAR210.10.10.1LPAR110.10.10.2LPAR2注：可將hosts中其它IP暫時注釋，只保存GPFS心跳地址，因為創(chuàng)立GPFS集群時會解析到其它地址，待mmcrcluster這步后再恢復正常4.配置GPFS集群4.1配置節(jié)點文件vi/tmp/gpfs/nodefilegpfs1:quorumgpfs2:quorum或：[root@Lpar2:/]mkdir/usr/lpp/mmfs[root@Lpar2:/]vi/usr/lpp/mmfs/nodefilegpfs1:manager-quorumgpfs2:manager-quorum盡量用第一種方法，后面的采用多個Tiebreakerquorum盤才能生效注：1、一個集群中至少需要一個仲裁〔quorum〕節(jié)點，當一個集群中的仲裁節(jié)點少于一半，GPFS將無法啟動。2、一個集群中，建議至少要有個一主一備的配置信息效勞器。4.2建立GPFS集群〔這一步必須重啟兩臺效勞器才能執(zhí)行此命令〕主管理者gpfs1同時將其作為quorum和manager節(jié)點。先確保清理干凈原先GPFS集群#mmdelnode-f#mmcrcluster-Cedin-N/usr/lpp/mmfs/nodefile-pgpfs1-sgpfs2#mmcrcluster-Cedin-Ubgbc-N/tmp/gpfs/nodefile-pgpfs1-sgpfs2#mmcrcluster-Cedin-N/usr/lpp/mmfs/nodefile-pgpfs1-sgpfs2MonOct1904:47:00CST2023:6027-1664mmcrcluster:Processingnodegpfs1MonOct1904:47:02CST2023:6027-1664mmcrcluster:Processingnodegpfs2mmcrcluster:Commandsuccessfullycompletedmmcrcluster:6027-1254Warning:NotallnodeshaveproperGPFSlicensedesignations.Usethemmchlicensecommandtodesignatelicensesasneeded.mmcrcluster:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.其中參數(shù)含義-Cbgbcrun設(shè)定集群名稱-Ubgbc定義域名-N/tmp/gpfs/nodefile指定節(jié)點文件名-pgpfs1指定主NSD效勞器為gpfs1-sgpfs2指定備NSD效勞器為gpfs24.3確認查看GPFS集群(顯示)#mmlscluster===============================================================================|Warning:||ThisclustercontainsnodesthatdonothaveaproperGPFSlicense||designation.ThisviolatesthetermsoftheGPFSlicensingagreement.||UsethemmchlicensecommandandassigntheappropriateGPFSlicenses||toeachofthenodesinthecluster.FormoreinformationaboutGPFS||licensedesignation,seetheConcepts,Planning,andInstallationGuide.|===============================================================================GPFSclusterinformation========================GPFSclustername:edin.gpfs1GPFSUIDdomain:edin.gpfs1Remoteshellcommand:/usr/bin/rshRemotefilecopycommand:/usr/bin/rcpGPFSclusterconfigurationservers:Primaryserver:gpfs1Secondaryserver:gpfs2NodeDaemonnodenameIPaddressAdminnodenameDesignation1gpfs1192.168.0.62gpfs1quorum-manager2gpfs2192.168.0.63gpfs2quorum-manager4.4激活GPFS授權(quán)#mmchlicenseserver--accept-Ngpfs1,gpfs2ThefollowingnodeswillbedesignatedaspossessingGPFSserverlicenses:gpfs1gpfs2mmchlicense:Commandsuccessfullycompletedmmchlicense:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.激活后將看不到關(guān)于License的警告信息#mmlsclusterGPFSclusterinformation========================GPFSclustername:edin.gpfs1GPFSUIDdomain:edin.gpfs1Remoteshellcommand:/usr/bin/rshRemotefilecopycommand:/usr/bin/rcpGPFSclusterconfigurationservers:Primaryserver:gpfs1Secondaryserver:gpfs2NodeDaemonnodenameIPaddressAdminnodenameDesignation1gpfs1192.168.0.62gpfs1quorum-manager2gpfs2192.168.0.63gpfs2quorum-manager5配置GPFS的共享盤5.1建立NSD〔NetworkSharedDisk〕文件:#vinsdfilehdisk1:gpfs1:gpfs2:dataAndMetadata::cddisk1hdisk2:gpfs1:gpfs2:dataAndMetadata::cddisk2hdisk3:gpfs1:gpfs2:dataAndMetadata::cddisk35.2生成NSD盤#mmcrnsd-F/usr/lpp/mmfs/nsdfilemmcrnsd:Processingdiskhdisk1mmcrnsd:Processingdiskhdisk2mmcrnsd:Processingdiskhdisk3mmcrnsd:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.此時，該文件作了轉(zhuǎn)換catnsdfile#catnsdfile#hdisk1:gpfs1:gpfs2:dataAndMetadata::cddisk1cddisk1:::dataAndMetadata:-1::system#hdisk2:gpfs1:gpfs2:dataAndMetadata::cddisk2cddisk2:::dataAndMetadata:-1::system#hdisk3:gpfs1:gpfs2:dataAndMetadata::cddisk3cddisk3:::dataAndMetadata:-1::system5.3確認結(jié)果lspv|grepgpfshdisk100f64935c14a9e3dcddisk1hdisk2nonecddisk2hdisk3nonecddisk35.4啟動GPFS系統(tǒng)mmstartup-aThuJun1615:52:12BEIST2023:6027-1642mmstartup:StartingGPFS...bfts1:6027-2114TheGPFSsubsystemisalreadyactive.bfts2:6027-2114TheGPFSsubsystemisalreadyactive.確認狀態(tài)#mmgetstate-aNodenumberNodenameGPFSstate1gpfs1active2gpfs2activeroot@LPAR1:/]#mmgetstate–aL–s-a所有節(jié)點-L列出仲裁數(shù)-s增加匯總信息6配置GPFS的共享文件系統(tǒng)6.1建立GPFS文件系統(tǒng)#mmcrfs/sharesharelv-F/usr/lpp/mmfs/nsdfile-Ayes-B64K-n30-vnoGPFS:6027-531Thefollowingdisksofsharelvwillbeformattedonnodegpfs1:cddisk1:size209715200KBcddisk2:size209715200KBcddisk3:size2097152KBGPFS:6027-540Formattingfilesystem...GPFS:6027-535Disksuptosize1.7TBcanbeaddedtostoragepoolsystem.CreatingInodeFileCreatingAllocationMapsCreatingLogFilesClearingInodeAllocationMapClearingBlockAllocationMapFormattingAllocationMapforstoragepoolsystemGPFS:6027-572Completedcreationoffilesystem/dev/sharelv.mmcrfs:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.參數(shù)含義如下：/share文件系統(tǒng)mount點名sharelv指定文件系統(tǒng)lv名-F指定NSD的文件名-A自動mount選項為yes-B塊大小為1024K-v校驗建立磁盤是否已有文件系統(tǒng)為否6.2確認文件系統(tǒng)#mmlsfssharelvflagvaluedescription-f2048Minimumfragmentsizeinbytes-i512Inodesizeinbytes-I8192Indirectblocksizeinbytes-m1Defaultnumberofmetadatareplicas-M2Maximumnumberofmetadatareplicas-r1Defaultnumberofdatareplicas-R2Maximumnumberofdatareplicas-jclusterBlockallocationtype-Dnfs4Filelockingsemanticsineffect-kallACLsemanticsineffect-n30Estimatednumberofnodesthatwillmountfilesystem-B65536Blocksize-QnoneQuotasenforcednoneDefaultquotasenabled--filesetdfnoFilesetdfenabled?-V13.23(3.5.0.7)Filesystemversion--create-timeMonOct1905:58:262023Filesystemcreationtime-uyesSupportforlargeLUNs?-znoIsDMAPIenabled?-L4194304Logfilesize-EyesExactmtimemountoption-SnoSuppressatimemountoption-KwhenpossibleStrictreplicaallocationoption--fasteayesFastexternalattributesenabled?--inode-limit412032Maximumnumberofinodes-PsystemDiskstoragepoolsinfilesystem-dcddisk1;cddisk2;cddisk3Disksinfilesystem--perfileset-quotanoPer-filesetquotaenforcement-AyesAutomaticmountoption-ononeAdditionalmountoptions-T/shareDefaultmountpoint--mount-priority0Mountpriority大多數(shù)選項可用mmchfs來修改6.3裝載文件系統(tǒng)#mount/dev/sharelv#df-gFilesystemGBblocksFree%UsedIused%IusedMountedon/dev/hd40.250.0675%1035640%//dev/hd22.620.0599%5180475%/usr/dev/hd9var0.560.2360%895814%/var/dev/hd32.001.6617%631%/tmp/dev/hd10.060.061%51%/home/dev/hd11admin0.120.121%51%/admin/proc-----/proc/dev/hd10opt0.380.1561%1042023%/opt/dev/livedump0.250.251%41%/var/adm/ras/livedump/dev/sharelv402.00401.481%40361%/share6.4建立目錄[App1][root][/]>mkdir/share/user1work[App1][root][/]>chownuser1:bea/share/user1work[App1][root][/]>chmod700/share/user1work[App1][root][/]>mkdir/share/user1temp[App1][root][/]>chownuser1:bea/share/user1temp[App1][root][/]>chmod750/share/user1temp同樣在另3臺機器建立其他目錄并修改相應所有者即權(quán)限，即work目錄只有所有者可操作，temp目錄可讀可進入。7配置GPFS的屬性7.1配置GPFS選項屬性a.在節(jié)點開機后自動啟動GPFS#mmchconfigautoload=yesmmchconfig:Commandsuccessfullycompletedmmchconfig:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.b.采用多個Tiebreakerquorum盤？？？？#mmchconfigTiebreakerdisk="cddisk1;cddisk2;cddisk3"mmchconfig:6027-1377Attention:Unknownattributespecified:Tiebreakerdisk.PresstheENTERkeytocontinue.mmchconfig:6027-1573Commandcompleted:Nochangesmadec.更改pagepool大小#mmchconfigpagepool=512mmmchconfig:Commandsuccessfullycompletedmmchconfig:6027-1371Propagatingtheclusterconfigurationdatatoallaffectednodes.Thisisanasynchronousprocess.d.顯示GPFS屬性〔注意下面的區(qū)別〕#mmlsconfigConfigurationdataforclusteredin.gpfs1:myNodeConfigNumber1clusterNameedin.gpfs1autoloadyesdmapiFileHandleSize32pagepool512madminModecentralFilesystemsinclusteredin.gpfs1:/dev/sharelv#mmlsconfigConfigurationdataforclusteritas.bfts1:clusterNameitas.bfts1clusterIdclusterTypelcautoloadyesminReleaseLeveldmapiFileHandleSize32pagepool512mtiebreakerDisksitasgpfs1;itasgpfs2;itasgpfs3Filesystemsinclusteritas.bfts1:/dev/gpfs_itas至此GPFS的安裝配置完成#mmgetstate-aNodenumberNodenameGPFSstate1gpfs1active2gpfs2active實施結(jié)果最終，通過userid的不同，在gpfs1的共享目錄/share下，user1只能讀寫自己文件夾的文件，對其它用戶的temp目錄可讀，對其它用戶的work目錄不能讀寫。[App1][/share]>ls-latrdrwx2user1bea2048Jun2817:21user1workdrwxr--x--2user1bea2048Jun2817:21user1tempdrwx2502bea2048Jun2817:22user2workdrwxr--x2502bea2048Jun2817:22user2tempdrwx2503bea2048Jun2817:22user3workdrwxr-x--2503bea2048Jun2817:22user3tempdrwxr2504bea2048Jun2817:22user4workdrwxr-x2504bea2048Jun2817:23user4temp[App1][user1][/share]>cduser2workksh:user2temp:Permissiondenied.[App1][user1][/share]>cduser2temp[App1][user1][/share]>>aThefileaccesspermissionsdonotallowthespecifiedaction.ksh[2]:a:0403-005Cannotcreatethespecifiedfile.[App1][user1][/share]>cd/user1temp[App1][user1][/share/user1temp]>>a[App1][user1][/share/user1temp]>ls-l-rw-r1user1bea0Aug1318:47a[App1][user1][/share/xhtemp]>rma[App1][user1][/share/xhtemp]>ls-l[App1][/share]>ls-latrdrwxr2user1bea2048Jun2817:21user1workdrwxr2user1bea2048Jun2817:21user1tempdrwxr2502bea2048Jun2817:22user2workdrwxr2502bea2048Jun2817:22user2tempdrwxr2503bea2048Jun2817:22user3workdrwxr2503bea2048Jun2817:22user3tempdrwxr2504bea2048Jun2817:22user4workdrwxr2504bea2048Jun2817:23user4temp同樣，在其它3臺機器也有類似我們希望的結(jié)果。8.GPFS管理和維護8.1主機應用的啟動順序啟動GPFSmmstartup–adf–g/gpfs1啟動HACMPsmittyclstart啟動ORACLE數(shù)據(jù)庫#su–oracle$>sqlplus“/assysdba〞SQL>startup8.2GPFS的啟動和關(guān)閉GPFS的啟動mmstartup–aroot@LPAR1:/]#mmstartupLPAR1//單節(jié)點啟動root@LPAR1:/]#mmstartup-NLPAR1,LPAR2//多節(jié)點啟動root@LPAR1:/]#mmstartup–a//多有節(jié)點啟動GPFS的關(guān)閉mmshutdown–aroot@LPAR1:/]#mmshutdownLPAR1//關(guān)閉單節(jié)點root@LPAR1:/]#mmshutdownLPAR1，LPAR2//關(guān)閉多節(jié)點root@LPAR1:/]#mmshutdown-a//關(guān)閉所有節(jié)點單個節(jié)點gpfs的啟動和關(guān)閉mmstartup/mmshutdown節(jié)點狀態(tài)root@LPAR1:/]#mmgetstate–aL–s-a所有節(jié)點-L列出仲裁數(shù)-s增加匯總信息GPFS的進程監(jiān)控ps–ef|grepmmfsdmmgetstate-a8.3GPFS的文件系統(tǒng)管理Mount文件系統(tǒng)mount/dev/gpfs1Umount文件系統(tǒng)umount/dev/gpfs1刪除文件系統(tǒng)mmdelfsmmdelfsgpfs1mmchfsmmlsfsmmlsfsgpfs1mmdfmmdfgpfs18.4GPFS的集群管理創(chuàng)立gpfsclustermmcrcluster觀察gpfscluster配置信息mmlsclustermmlsconfig增加節(jié)點到clustermmaddnodenodename刪除節(jié)點從clustermmdelnodenodename注：不能是configserver和NSDserver顯示節(jié)點信息mmlsnode-a改變cluster配置信息mmchcluster改變primary和secondaryconfigserver到其他節(jié)點mmchcluster-pnodenamemmchconfigmmchconfigtiebreakerDisks="nsdName;nsdName;nsdName"8.5GPFS的磁盤管理mmcrnsdmmlsnsdmmadddiskmmdeldiskmmchdiskmmchdiskfs1change-d"gpfs2nsd:::dataOnly"mmchnsdmmchnsd"gpfs47nsd:nodename1:nodename2"mmlsdiskm