構(gòu)建高可用、高性能的 GPFS 集群

1、構(gòu)建高可用、高性能的GPFS集群王榮,技術(shù)支持工程師，IBM科技產(chǎn)品（深圳）有限公司2007年12月27日本文通過一個(gè)實(shí)際的生產(chǎn)系統(tǒng)案例，主要介紹了搭建高可用并行文件系統(tǒng)集群 （GPFS）的設(shè)計(jì)思路和設(shè)計(jì)過程中的問題解決。本文也通過案例介紹了 GPFS并 行文件系統(tǒng)的一些基本框架和原理，GPFS系統(tǒng)的可靠性分析方法，以及如何最 大可能的提高GPFS系統(tǒng)的性能與可靠性。GPFS （General Parallel File System）并行文件系統(tǒng)集群GPFS系統(tǒng)介紹GPFS （General Parallel File System）是IBM公司第一個(gè)共享文件系統(tǒng)，起 源于IBM SP系統(tǒng)上

2、使用的虛擬共享磁盤技術(shù)（VSD ）。作為這項(xiàng)技術(shù)的核心， GPFS是一個(gè)并行的磁盤文件系統(tǒng)，它保證在資源組內(nèi)的所有節(jié)點(diǎn)可以并行訪問 整個(gè)文件系統(tǒng)。而且針對此文件系統(tǒng)的服務(wù)操作，可以同時(shí)安全地在使用此文件 系統(tǒng)的多個(gè)節(jié)點(diǎn)上實(shí)現(xiàn)。GPFS允許客戶共享文件，而這些文件可能分布在不 同節(jié)點(diǎn)的不同硬盤上。它提供了許多標(biāo)準(zhǔn)的UNIX文件系統(tǒng)接口，允許應(yīng)用不需 修改或者重新編輯就可以在其上運(yùn)行。GPFS也支持UNIX文件系統(tǒng)的工具，即: 用戶可以像使用普通文件系統(tǒng)一樣使用基于GPFS的文件系統(tǒng)，唯一不同的在于 管理GPFS文件系統(tǒng)的命令。GPFS提供的文件系統(tǒng)操作服務(wù)可以支持并行應(yīng)用 和串行應(yīng)用，它允許任何

3、節(jié)點(diǎn)（這些節(jié)點(diǎn)屬于同一個(gè)節(jié)點(diǎn)組）上的并行應(yīng)用同時(shí) 訪問同一個(gè)文件或者不同的文件。GPFS基本結(jié)構(gòu)GPFS文件系統(tǒng)基本上由三層架構(gòu)組成：磁盤，網(wǎng)絡(luò)共享磁盤（NSD），GPFS文 件設(shè)備，如下圖所示。圖1 GPFS基本結(jié)構(gòu)Server 1Server N將G F F S磁盤設(shè)備掛載到集群中節(jié)點(diǎn)的文件系，充中Network Share Disk ( NSD JServer 1Server N將G F F S磁盤設(shè)備掛載到集群中節(jié)點(diǎn)的文件系，充中Network Share Disk ( NSD JMeta data onlyDiskiDisk2.Disk35秘.磁盤GPFS文件系統(tǒng)最底層的是物理磁盤設(shè)

4、備。原則上可以采用系統(tǒng)上任何塊 設(shè)備，包括磁盤，磁盤分區(qū)，邏輯卷。從物理連接上來看，GPFS支持使 用所有方式連接的磁盤。包括本地IDE磁盤，本地SCSI磁盤，光纖SAN 磁盤，iSCSI磁盤，等等。網(wǎng)絡(luò)共享磁盤（NSD）NSD是由磁盤映射出來的虛擬設(shè)備，NSD與磁盤是一一對應(yīng)的關(guān)系。NSD 被標(biāo)記了不同屬性來區(qū)分其用途，我們可以將磁盤標(biāo)記為4種用途：Desc Only：只存儲(chǔ)GPFS文件系統(tǒng)描述信息的磁盤。Data Only：只存儲(chǔ)文件系統(tǒng)中的數(shù)據(jù)信息。Meta data only:只存儲(chǔ)文件系統(tǒng)中的目錄結(jié)構(gòu)inode信息。Meta and data:存儲(chǔ)所有信息（默認(rèn)）。GPFS文件設(shè)備G

5、PFS設(shè)備是一個(gè)可被系統(tǒng)掛載的文件設(shè)備，由NSD創(chuàng)建而成，可以并行 的同時(shí)掛載在多個(gè)節(jié)點(diǎn)上。GPFS系統(tǒng)優(yōu)勢高性能GPFS允許在同一節(jié)點(diǎn)內(nèi)的多進(jìn)程或者應(yīng)用使用標(biāo)準(zhǔn)文件系統(tǒng)調(diào)用，同時(shí) 訪問（并發(fā)，讀寫）同一個(gè)文件。通過將節(jié)點(diǎn)內(nèi)讀寫操作分布到多個(gè)磁盤 上，大大增加了文件系統(tǒng)的帶寬，通過整個(gè)系統(tǒng)的負(fù)載均衡避免了某個(gè)磁 盤過大的讀寫?？缙脚_(tái)設(shè)計(jì)GPFS支持在一個(gè)集群內(nèi)加入異構(gòu)的平臺(tái)。支持異構(gòu)的硬件環(huán)境：System p, System x。支持異構(gòu)的操作系統(tǒng)：AIX, Linux。數(shù)據(jù)一致性GPFS通過一套復(fù)雜的信令管理機(jī)制提供數(shù)據(jù)一致性。通過這套機(jī)制允許 任意節(jié)點(diǎn)通過各自獨(dú)立的路徑到達(dá)同一個(gè)文件。即

6、使節(jié)點(diǎn)無法正常工作， GPFS也可以找到其它的路徑。數(shù)據(jù)安全性GPFS是一種日志文件系統(tǒng)，為不同節(jié)點(diǎn)建立各自獨(dú)立的日志。日志中記 錄metadata的分布，一旦節(jié)點(diǎn)發(fā)生故障后，可以保證快速恢復(fù)數(shù)據(jù)。GPFS的fail-over功能通過規(guī)劃，將數(shù)據(jù)分布到不同failure group 內(nèi)達(dá)到高可用性，減少單點(diǎn)故障的影響。為了保證數(shù)據(jù)可用性，GPFS在 多個(gè)failure group內(nèi)為每個(gè)數(shù)據(jù)實(shí)例做備份，即使創(chuàng)建文件系統(tǒng)時(shí)沒 有要求復(fù)制，GPFS也會(huì)自動(dòng)在不同的failure group內(nèi)復(fù)制恢復(fù)日志。系統(tǒng)可擴(kuò)展性通過GPFS，系統(tǒng)資源可以動(dòng)態(tài)調(diào)整，可以在文件系統(tǒng)掛載情況下添加或 者刪除硬盤。系

7、統(tǒng)處于相對空閑時(shí)，用戶可以在已配置的硬盤上重新均衡 文件系統(tǒng)以提高吞吐量?？梢栽诓恢匦聠?dòng)GPFS服務(wù)情況下添加新節(jié) 點(diǎn)。管理簡單GPFS自動(dòng)在各個(gè)節(jié)點(diǎn)間同步配置文件和文件系統(tǒng)信息，而且在同一個(gè)節(jié) 點(diǎn)內(nèi)，對GPFS的管理可以在任一個(gè)節(jié)點(diǎn)上進(jìn)行。GPFS可用性機(jī)制GPFS的數(shù)據(jù)完整性一方面是由以上提到的數(shù)據(jù)安全機(jī)制來保證，另外也通過一 套可用性判斷機(jī)制來完全保證數(shù)據(jù)完整性與系統(tǒng)安全。GPFS提供三套不同的 quorum機(jī)制來判斷系統(tǒng)當(dāng)前的狀態(tài)，其中File Descriptor Quorum是系統(tǒng)內(nèi) 置的，不能做配置，另外兩種node quorum和tiebreaker quorum方式只能二

8、者選其一，使用那種方式要基于我們的系統(tǒng)環(huán)境與可靠性分析。. File system Descriptor Quorum，F(xiàn)ile system Descriptor 顧名思義 即描述文件系統(tǒng)信息的數(shù)據(jù)。我們在幾個(gè)不同的failure-group的磁盤 上創(chuàng)建GPFS文件系統(tǒng)時(shí)，會(huì)把文件系統(tǒng)的配置信息（簡寫為FD）的拷 貝寫到多個(gè)磁盤上，以實(shí)現(xiàn)冗余備份。FD quorum的機(jī)制即通過判斷含有 FD磁盤的在線情況來判斷當(dāng)前系統(tǒng)是否正常，當(dāng)超過半數(shù)的含有FD的 磁盤掉線時(shí)，就判斷為系統(tǒng)故障，將會(huì)自動(dòng)關(guān)閉文件系統(tǒng)。.Node Quorum是通過主機(jī)狀態(tài)的來判斷系統(tǒng)可用性的機(jī)制。GPFS文件系 統(tǒng)集群中

9、，可以設(shè)置多個(gè)主機(jī)節(jié)點(diǎn)為Quorum nodeo Node Quorum的機(jī)制 是通過判斷Quorum node的狀態(tài)來判斷系統(tǒng)是否正常，當(dāng)超過半數(shù)的 Quorum node在線時(shí)，判斷系統(tǒng)為正常，反之，將關(guān)閉文件系統(tǒng)。.Tiebreaker quorum是通過磁盤的狀態(tài)來判斷系統(tǒng)的可用性。我們可以設(shè) 置系統(tǒng)通過監(jiān)視指定的一些磁盤作為Tiebreaker Disk。當(dāng)超過半數(shù)的 Tiebreaker Disk掉線時(shí)，則判斷系統(tǒng)故障，將自動(dòng)關(guān)閉文件系統(tǒng)。 Tiebreaker最多只能配置兩個(gè)用來監(jiān)控磁盤狀態(tài)的quorum主機(jī)，當(dāng)2 臺(tái)quorum主機(jī)都宕機(jī)的話，GPFS系統(tǒng)也將會(huì)關(guān)閉。其優(yōu)勢在于

10、節(jié)點(diǎn)數(shù) 較少時(shí)可用性較高，但節(jié)點(diǎn)數(shù)較多的情況建議采用Node quorum模式。根據(jù)以上三種判斷機(jī)制，GPFS自動(dòng)判斷系統(tǒng)的狀態(tài)，當(dāng)異常發(fā)生時(shí)自動(dòng)關(guān)閉系 統(tǒng)以保護(hù)系統(tǒng)和數(shù)據(jù)的完整性。GPFS可靠性分析與如何設(shè)計(jì)基于上面闡述的GPFS可用性機(jī)制，我們可以看出GPFS是通過上述的三種 quorum機(jī)制來檢查資源是否超過半數(shù)狀態(tài)正常來判斷系統(tǒng)狀態(tài)好壞。我們在設(shè) 計(jì)GPFS文件系統(tǒng)集群的時(shí)候需要注意最好保證各種資源數(shù)都為2N+1個(gè)（N是 指數(shù)量），也即數(shù)量為奇數(shù)，來獲得系統(tǒng)最大的可用性。Filesystem Descriptor （FD）Quorum的設(shè)計(jì)。我們在一般的生產(chǎn)系統(tǒng) 中都會(huì)使用兩組不同的f

11、ailure group的磁盤來創(chuàng)建一個(gè)文件系統(tǒng)，以 實(shí)現(xiàn)數(shù)據(jù)的冗余保護(hù)，但是丟失一個(gè)failure group的磁盤實(shí)際不影響 數(shù)據(jù)的完整性，但是由于FD quorum 2N+1的機(jī)制，文件系統(tǒng)仍將會(huì)關(guān)閉， 所以我們在創(chuàng)建一個(gè)GPFS文件系統(tǒng)時(shí)，可以通過增加一個(gè)很小的本地的 磁盤作為第三個(gè)failure groupo以實(shí)現(xiàn)2N+1的冗余設(shè)計(jì)。本地的磁盤 可以設(shè)置為只保存GPFS文件系統(tǒng)信息（FD），實(shí)際不參與數(shù)據(jù)讀寫。（同 一個(gè)failure group的磁盤是指有可能同時(shí)壞掉的磁盤，比如來自同一 個(gè)存儲(chǔ)的磁盤或連在同一個(gè)適配器上的磁盤）Node Quorum如果采用了 2N+1個(gè)Quoru

12、m Node，那么這個(gè)系統(tǒng)就能容忍 N個(gè)主機(jī)節(jié)點(diǎn)的離線，所以如果主機(jī)節(jié)點(diǎn)小于5個(gè)采用此種方法都不是 很經(jīng)濟(jì)，此時(shí)建議采用Tiebreaker quorum機(jī)制。 Tiebreaker quorum只能配置兩個(gè)quorum主機(jī)，但是只要tiebreaker 磁盤在線，只有一個(gè)quorum主機(jī)狀態(tài)正常，系統(tǒng)也能正常工作，同時(shí)也 意味著必須有一臺(tái)quorum主機(jī)在線。如果是主機(jī)節(jié)點(diǎn)數(shù)較多的情況，采 用此種機(jī)制其可靠性不如Node quorum o回頁首實(shí)例方案需求描述: 測試系統(tǒng)需要構(gòu)建一個(gè)高性能且高可靠的文件系統(tǒng)平臺(tái)。其基本要求如下:文件系統(tǒng)讀寫帶寬至少達(dá)到720MByte/s。工作負(fù)荷每天超過1

13、6小時(shí)或兩個(gè)輪班。由4臺(tái)主服務(wù)器和2臺(tái)存儲(chǔ)提供服務(wù)。至少2TB的空間，存放的文件大小一般在600MB左右，文件傳輸80% 采用 samba 或 NFS，20% 采用 TFTP?；仨撌讓?shí)例方案分析：性能考慮，系統(tǒng)讀寫帶寬要達(dá)到720MByte/s，均分到4臺(tái)服務(wù)器就是 180MByte/s。如此高的帶寬采用普通的服務(wù)器內(nèi)置磁盤無法滿足要求。所 以我們在磁盤存儲(chǔ)這一層采用了 DS4700存儲(chǔ)的解決方案?？紤]到該應(yīng)用對磁盤空間的需求很大，如果4臺(tái)服務(wù)器分配獨(dú)立的磁盤 空間，則需要目前4倍的磁盤空間，并且大大增加后期的維護(hù)工作與費(fèi) 用。為了節(jié)省存儲(chǔ)的成本，我們決定采用GPFS并行文件系統(tǒng)的方案，共 享

14、磁盤空間。同時(shí)GPFS其優(yōu)異的“并行”的特點(diǎn)，又保證性能能夠滿足 要求。可靠性考慮，此系統(tǒng)為生產(chǎn)系統(tǒng)，而且負(fù)荷較大，對可靠性有非常高的 要求。所以本方案中所有的組件都將采用雙機(jī)冗余或多節(jié)點(diǎn)冗余，以保證 無單點(diǎn)故障。Quorum機(jī)制的選擇，本方案預(yù)算只有4臺(tái)主服務(wù)器，如果采用Node quorum的方式，整個(gè)系統(tǒng)可用性只能支持一臺(tái)主機(jī)離線，可用性非常差。 如果采用Break Tie Disk的方式，整個(gè)系統(tǒng)可用性支持被指定為quorum 的兩臺(tái)主機(jī)，任意一臺(tái)離線，以及其他2臺(tái)主機(jī)的任意離線。我們可以 看到采用Break Tie Disk的方式有較高的可用性。但是由于采用Break Tie Dis

15、k模式對兩臺(tái)設(shè)置為quorum的主機(jī)可用性要求較高，而且靈活 性較差。從FD quorum的角度來看，我們只有2個(gè)存儲(chǔ)，也即2個(gè) Failure Group。任意一個(gè)存儲(chǔ)的宕機(jī)也將會(huì)導(dǎo)致文件系統(tǒng)的關(guān)閉。我們 必須增加第三個(gè)Failure Group的磁盤來提高可用性。我們考慮從某一 臺(tái)服務(wù)器本地拿出一個(gè)磁盤作為第三個(gè)Failure Group的磁盤。我們最后采用的方案是，增加一臺(tái)配置較低，但可用性較高的服務(wù)器，并使用 這第五臺(tái)服務(wù)器上的一個(gè)Raid 1磁盤作為第三個(gè)Failure Group磁盤?？偣? 個(gè)節(jié)點(diǎn)采用Node Quorum方式?？梢灾С秩我鈨膳_(tái)的服務(wù)器同時(shí)離線，任意一 臺(tái)存儲(chǔ)的離

16、線。本項(xiàng)目的解決方案通過以上的原理與可靠性分析，我們最終的設(shè)計(jì)方案如下。硬件結(jié)構(gòu)硬件結(jié)構(gòu)分三層，如下圖（圖2）所示。存儲(chǔ)層：采用2臺(tái)DS4700存儲(chǔ)，保證數(shù)據(jù)的完全的冗余備份。每臺(tái) DS4700有兩個(gè)控制器，保證了控制器的冗余以及鏈路的冗余。SAN存儲(chǔ)網(wǎng)絡(luò)層：兩臺(tái)SAN交換機(jī)，保證SAN存儲(chǔ)鏈路設(shè)備的完全冗 余。服務(wù)器層：增加一臺(tái)配置較低的服務(wù)器，對性能沒有要求，但需要是 可靠性較高的配置，一共5臺(tái)服務(wù)器以實(shí)現(xiàn)2N+1的冗余。從新增加的 服務(wù)器中劃分出一個(gè)磁盤（比如lv），設(shè)置為Desc Only的磁盤，以實(shí) 現(xiàn)磁盤組的2N+1的冗余。每臺(tái)服務(wù)器都有2個(gè)HBA卡，以及多個(gè)網(wǎng)卡， 以保證鏈路冗余

17、。圖2硬件框架圖Serve Serve 二Disks以太屈絡(luò)以太屈絡(luò)光纖存儲(chǔ)幽絡(luò)冗余備份的光纖存儲(chǔ)屈絡(luò)本GPFS方案系統(tǒng)邏輯結(jié)構(gòu)GPFS的邏輯結(jié)構(gòu)如下圖（圖3 ）所示。也基本分為三層。GPFS邏輯磁盤設(shè)備，由物理磁盤創(chuàng)建而成，按保存數(shù)據(jù)類型分為， meta-data，data， meta-data and data， Desc only 4 種。兩個(gè)存儲(chǔ)節(jié) 點(diǎn)分別是Failure Goupl和Failure Group2。用來存放數(shù)據(jù)文件。而 Disk5只用來保存GPFS文件系統(tǒng)描述信息。GPFS文件系統(tǒng)設(shè)備，通過組合邏輯磁盤設(shè)備創(chuàng)建GPFS文件系統(tǒng)設(shè)備。 此設(shè)備在Linux操作系統(tǒng)中相當(dāng)于一

18、個(gè)格式化好的硬盤分區(qū)，可以將其 掛載到文件系統(tǒng)中。服務(wù)器端的文件系統(tǒng)，GPFS的文件系統(tǒng)設(shè)備在所有集群的系統(tǒng)內(nèi)都是可 以看到的，用戶可以按需GPFS文件系統(tǒng)掛載到各主機(jī)節(jié)點(diǎn)上。圖3 GPFS邏輯結(jié)構(gòu)Meta and dataDiski Disk2Failure Gnoupl ，Meta and dataDiski Disk2Failure Gnoupl ，解決方案的性能分析 要實(shí)現(xiàn)720MByte/s的吞吐量，就要求從服務(wù)輸出端，到磁盤存儲(chǔ)系統(tǒng)，所有通 道都要滿足大于720MByte/s的帶寬。以下我們逐個(gè)分析所有路徑中設(shè)備的性 能。存儲(chǔ)設(shè)備，存儲(chǔ)設(shè)備采用的是兩臺(tái)DS4700，每臺(tái)DS4700

19、最高支持8個(gè) 4Gbps光纖出口，磁盤數(shù)最高支持112個(gè)。本方案中，一共采用了 4個(gè) 4Gbps的光纖出口，帶寬總共達(dá)到了 2000MByte/s。光纖存儲(chǔ)交換機(jī)，屬于交換設(shè)備，在理論上點(diǎn)到點(diǎn)通信相互不影響，不 存在瓶頸。服務(wù)器，每臺(tái)服務(wù)器都有2個(gè)HBA卡與SAN存儲(chǔ)網(wǎng)絡(luò)直連，帶寬達(dá)到 1000MByte/s。4臺(tái)服務(wù)器的總帶寬達(dá)到了 4000MByte/s。我們可以看到，整個(gè)通道中帶寬都大于應(yīng)用需求，保證了在物理帶寬上不存在任 何瓶頸。解決方案的可靠性分析 本方案的在設(shè)計(jì)上保證了無任何單點(diǎn)故障，也即任何一臺(tái)設(shè)備故障都不會(huì)引起系 統(tǒng)的可用性。下面我們就各個(gè)層面的可靠性做一個(gè)分析。存儲(chǔ)設(shè)備，存儲(chǔ)

20、設(shè)備我們采用了兩臺(tái)DS4700相互冗余備份，任意一臺(tái) 故障都不會(huì)導(dǎo)致系統(tǒng)關(guān)閉，同時(shí)存儲(chǔ)內(nèi)部采用了 RAID5磁盤冗余保護(hù)技 術(shù)，任意一個(gè)磁盤的損壞也不會(huì)導(dǎo)致存儲(chǔ)本身的關(guān)閉。任意單個(gè)存儲(chǔ)可停 機(jī)維護(hù)或在線更換。 SAN光纖鏈路，所有的存儲(chǔ)與主機(jī)間光纖鏈路都是雙路冗余，任意一個(gè) 鏈路的中斷都不影響存儲(chǔ)與主機(jī)間的通信。光纖通道交換機(jī)也是采用雙機(jī) 備份方案。任意一臺(tái)光纖通道交換機(jī)故障都不會(huì)影響設(shè)備間的通信。服務(wù)器，每臺(tái)服務(wù)器都是通過2條光纖線路與兩臺(tái)交換設(shè)備鏈接，同時(shí) 服務(wù)器本身采用的2N+1的冗余方案，本方案一共五臺(tái)服務(wù)器，也即任意 兩臺(tái)服務(wù)器的宕機(jī)不影響整個(gè)系統(tǒng)的可用性。本系統(tǒng)中所有設(shè)備都是冗余配

21、置，也即任意單個(gè)設(shè)備都能在線更換，整個(gè)系統(tǒng)所 有的資源都能實(shí)現(xiàn)按需的動(dòng)態(tài)的擴(kuò)展與收縮，真正實(shí)現(xiàn)了無宕機(jī)(down time) 的高可用性。保障了系統(tǒng)的7x24小時(shí)的無故障運(yùn)行?？偨Y(jié)與方案優(yōu)勢分析采用GPFS并行文件系統(tǒng)集群這一方案滿足了生產(chǎn)部的測試服務(wù)器要求，成功的 解決了高性能與高可靠的技術(shù)難題。總結(jié)來說采用GPFS方案有以下優(yōu)勢。成本上的節(jié)約，采用GPFS文件系統(tǒng)的方案，節(jié)省了 3倍的存儲(chǔ)空間需 求。通過采用GPFS自身的數(shù)據(jù)冗余的功能，從而減免了一些存儲(chǔ)產(chǎn)品數(shù) 據(jù)冗余的費(fèi)用?？蓴U(kuò)展的高性能文件系統(tǒng)，GPFS是并行的可擴(kuò)展的高性能系統(tǒng)，當(dāng)應(yīng)用 對服務(wù)器集群壓力增大時(shí)，可以根據(jù)需要增加服務(wù)器

22、數(shù)量提高性能。真正 實(shí)現(xiàn)了動(dòng)態(tài)的按需擴(kuò)展，以及對前期工程的投資保護(hù)。高可擴(kuò)展的可用性，GPFS集群系統(tǒng)其先進(jìn)的架構(gòu)體系加上合理的部署， 隨著服務(wù)器數(shù)量、存儲(chǔ)數(shù)量、光纖鏈路的數(shù)量增加能不斷提高整個(gè)系統(tǒng)的 可靠性，以滿足各種安全生產(chǎn)的可用性需求。非常高的靈活性和可管理性。GPFS可以按照對磁盤性能和空間的需求， 動(dòng)態(tài)的添加刪除磁盤。集群服務(wù)器節(jié)點(diǎn)也可以實(shí)現(xiàn)動(dòng)態(tài)的增加刪減，給集 群管理帶來極高的靈活性。同時(shí)任意節(jié)點(diǎn)都可以對集群進(jìn)行管理和配置， 更改會(huì)自動(dòng)同步到其他節(jié)點(diǎn)?；仨撌捉Y(jié)束語 目前，新的版本GPFS3.2已經(jīng)發(fā)布。在擴(kuò)展性和管理特性上都有比較多的增強(qiáng)， 但其高可用機(jī)制與原理仍然與GPFS 3.1（即本文所介紹的內(nèi)容）保持一致。參考資料學(xué)習(xí)GPFS library： IBM集群系統(tǒng)信息中心，擁有GPFS完整的資源。GPFS on AIX Clusters: High Performance File System Administration Simplified：使用GPFS構(gòu)建高性能文件系統(tǒng)的紅皮書，向您介紹如何設(shè) 計(jì)，安裝和實(shí)施GPFS系統(tǒng)。AIX and UN