lustre集群文件系統(tǒng)及性能介紹

LUSTRE集群介紹

匯報(bào)內(nèi)容lustre集群基本情況

一、Lustre系統(tǒng)的體系結(jié)構(gòu)

二、lustre的優(yōu)缺點(diǎn)

三、性能測(cè)試結(jié)果

一、lustre體系結(jié)構(gòu)

一、lustre體系結(jié)構(gòu)元數(shù)據(jù)存儲(chǔ)與管理

MDS負(fù)責(zé)管理元數(shù)據(jù)，提供一個(gè)全局的命名空間，Client可以通過MDS讀取到保存于MDT之上的元數(shù)據(jù)。在Lustre中MDS可以有2個(gè)，采用了Active-Standby的容錯(cuò)機(jī)制，當(dāng)其中一個(gè)MDS不能正常工作時(shí)，另外一個(gè)后備MDS可以啟動(dòng)服務(wù)。文件數(shù)據(jù)存儲(chǔ)與管理 OSS負(fù)載提供I/O服務(wù)，接受并服務(wù)來自網(wǎng)絡(luò)的請(qǐng)求。通過OSS，可以訪問到保存在OST上的文件數(shù)據(jù)。一個(gè)OSS對(duì)應(yīng)2到8個(gè)OST。OST上的文件數(shù)據(jù)是以分條的形式保存的，文件的分條可以在一個(gè)OSS之中，也可以保存在多個(gè)OSS中。Lustre的特色之一是其數(shù)據(jù)是基于對(duì)象的職能存儲(chǔ)的，跟傳統(tǒng)的基于塊的存儲(chǔ)方式有所不同。Lustre系統(tǒng)訪問入口

Lustre通過Client端來訪問系統(tǒng)，Client為掛載了Lustre文件系統(tǒng)的任意節(jié)點(diǎn)。Client提供了Linux下VFS（虛擬文件系統(tǒng)）與Lustre系統(tǒng)之間的接口，通過Client，用戶可訪問操作Lustre系統(tǒng)中的文件。

一、lustre體系結(jié)構(gòu)lustre訪問機(jī)制ClientMDSOSS目錄操作，文件開打/關(guān)閉，元數(shù)據(jù)，并發(fā)操作文件內(nèi)容，IO及文件鎖恢復(fù)，文件狀態(tài)和文件創(chuàng)建二、lustre的優(yōu)缺點(diǎn)lustre優(yōu)點(diǎn)提供數(shù)據(jù)共享和并行訪問能力；擴(kuò)展性強(qiáng)：可以在線擴(kuò)充系統(tǒng)總存儲(chǔ)容量及通過增加節(jié)點(diǎn)數(shù)擴(kuò)充網(wǎng)絡(luò)訪問帶寬；適用范圍廣：在I/O級(jí)和數(shù)據(jù)吞吐率方面能滿足全行內(nèi)系統(tǒng)均衡靈活的上傳、下載文件；穩(wěn)定性強(qiáng)：可以對(duì)lustre管理下的元數(shù)據(jù)和目標(biāo)數(shù)據(jù)提供故障切換技術(shù)，實(shí)現(xiàn)高可靠性訪問；

二、lustre的優(yōu)缺點(diǎn)lustre優(yōu)點(diǎn)lustre采用分布式的鎖管理機(jī)制來實(shí)現(xiàn)并發(fā)控制，元數(shù)據(jù)和文件數(shù)據(jù)的通訊鏈路分開管理；提供多網(wǎng)絡(luò)協(xié)議訪問，例如以太網(wǎng)絡(luò)和IB網(wǎng)絡(luò)等協(xié)議訪問；

二、lustre的優(yōu)缺點(diǎn)Lustre缺點(diǎn)1、需要并且只能在linux部署lustre內(nèi)核，軟件部署與linux操作系統(tǒng)綁定的比較緊密；2、節(jié)點(diǎn)間故障切換要依賴于第三方的心跳技術(shù)，如linux自帶的heartbeat軟件包3、目前只能寫一份數(shù)據(jù)，無法依靠lustre實(shí)現(xiàn)數(shù)據(jù)鏡像。三、性能測(cè)試結(jié)果測(cè)試內(nèi)容：本次測(cè)試的內(nèi)容包括性能測(cè)試和故障切換性能測(cè)試主要測(cè)試集群文件系統(tǒng)的I/O讀寫性能效率故障切換主要測(cè)試集群文件系統(tǒng)在網(wǎng)絡(luò)或系統(tǒng)失效情況下的切換機(jī)制。測(cè)試目標(biāo)：

測(cè)試指標(biāo)包括以下內(nèi)容：不同文件系統(tǒng)下的tibco消息中間件存儲(chǔ)性能及系統(tǒng)命令工具的磁盤讀寫性能，系統(tǒng)CPU、內(nèi)存、IO等待數(shù)據(jù)、I/Oidle比率等；模擬lustre故障切換三、性能測(cè)試結(jié)果測(cè)試環(huán)境：三、性能測(cè)試結(jié)果在tibco消息中間件下性能測(cè)試數(shù)據(jù)：測(cè)試類型測(cè)試指標(biāo)文件系統(tǒng)類型本地磁盤文件系統(tǒng)(筆/秒)

磁盤陣列LVM管理下的文件系統(tǒng)(筆/秒)Lustre文件系統(tǒng)

(筆/秒)單進(jìn)程

（多線程）

單隊(duì)列

2K數(shù)據(jù)包30個(gè)線程8724/87207132/71323810/380850個(gè)線程8928/88887794/77944733/4733100個(gè)線程9179/91798009/80095905/5905多進(jìn)程

（多線程）

單隊(duì)列

2K數(shù)據(jù)包10個(gè)進(jìn)程

30個(gè)線程7000/70008340/83405940/5940三、性能測(cè)試結(jié)果響應(yīng)時(shí)間性能測(cè)試數(shù)據(jù)：：測(cè)試類型測(cè)試指標(biāo)文件系統(tǒng)類型本地磁盤文件系統(tǒng)

磁盤陣列LVM管理下的文件系統(tǒng)Lustre文件系統(tǒng)單進(jìn)程

（多線程）

單隊(duì)列

30個(gè)線程0.115/0.1150.140/0.1400.262/0.26250個(gè)線程0.112/0.1130.128/0.1280.228/0.228100個(gè)線程0.109/0.1090.125/0.1250.169/0.169多進(jìn)程

（多線程）

單隊(duì)列10個(gè)進(jìn)程

30個(gè)線程0.143/0.1430.120/0.1200.168/0.168三、性能測(cè)試結(jié)果讀寫吞吐量性能測(cè)試數(shù)據(jù)：測(cè)試工具測(cè)試指標(biāo)文件系統(tǒng)類型本地磁盤文件系統(tǒng)

磁盤陣列LVM管理下的文件系統(tǒng)Lustre文件系統(tǒng)IOR讀操作302MB/s510MB/s183MB/s寫操作1.6GB/s1.49GB/s433MB/sdd系統(tǒng)命令讀操作2.1GB/s1.8GB/s1.8GB/s寫操作613MB/s615MB/s274MB/sIOZONE(多進(jìn)程)讀操作216MB/s250MB/s204MB/s寫操作1.6GB/s285M/s646MB/s三、性能測(cè)試結(jié)果lustre故障切換：手工卸載、掛載lustre元數(shù)據(jù)、目標(biāo)數(shù)據(jù)文件系統(tǒng)測(cè)試結(jié)果：正常（重新掛載后客戶端數(shù)據(jù)訪問正常）模擬lustre元數(shù)據(jù)服務(wù)器故障測(cè)試結(jié)果：正常（借助第三方心跳檢測(cè)heartbeat軟件，元數(shù)據(jù)備份服務(wù)器正常接管，客戶端數(shù)據(jù)訪問正常）模擬lustre目標(biāo)數(shù)據(jù)服務(wù)器故障測(cè)試結(jié)果：正常（借助第三方心跳檢測(cè)heartbeat軟件，目標(biāo)數(shù)據(jù)備份服務(wù)器正常接