一種ｌｉｎｕｘ集群文件系統(tǒng)研究

1、一種集群文件系統(tǒng)研究摘要本文首先提出了基于bysfs集群技術(shù)的效勞器群建立方案，然后對(duì)幾個(gè)相關(guān)的關(guān)鍵技術(shù)進(jìn)展了研究，最后對(duì)本研究進(jìn)展了總結(jié)。關(guān)鍵詞linux集群并行文件系統(tǒng)目前，對(duì)分布式/并行文件系統(tǒng)的研究可以分為三類：商業(yè)用處的并行文件系統(tǒng)、公開的分布式并行文件系統(tǒng)、供研究的并行文件系統(tǒng)。由于技術(shù)需要，筆者提出了一種基于linux的并行文件系統(tǒng)構(gòu)造bysfs。與其它系統(tǒng)相比,bysfs具有如下優(yōu)勢(shì)：(1)具有更高的可用性；(2)具有更好的可擴(kuò)展性；(3)提供分布式的元數(shù)據(jù)管理；(4)提供了元數(shù)據(jù)的訪問(wèn)速度；(5)配置簡(jiǎn)單。一、基于bysfs的效勞器群建立方案1.bysfs系統(tǒng)構(gòu)造說(shuō)明在筆者研

2、究的高可用并行文件系統(tǒng)中，每個(gè)效勞器既是etadataserver，又是idserver，它們一起構(gòu)成一個(gè)邏輯環(huán)，形成對(duì)外效勞的server池，server與server之間可以平衡負(fù)載，并且互相容錯(cuò)。當(dāng)有新的server要參加或者分開時(shí)，整個(gè)系統(tǒng)無(wú)需進(jìn)展重新配置，系統(tǒng)可以自動(dòng)適應(yīng)這種動(dòng)態(tài)變化。而且由于數(shù)據(jù)在其它節(jié)點(diǎn)均有備份，因此可以實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)遷移與恢復(fù)。2.系統(tǒng)模塊劃分整個(gè)系統(tǒng)主要分為如下幾個(gè)功能模塊:1訪問(wèn)接口模塊：提供了并行文件系統(tǒng)的訪問(wèn)接口，以三種方式提供：用戶層的庫(kù)lib.a、并行程序訪問(wèn)接口ri-i、系統(tǒng)底層接口(vfs)。2jb管理模塊：每個(gè)懇求將對(duì)應(yīng)一個(gè)jb，由jbanag

3、er去完成。3狀態(tài)機(jī)處理模塊：每種類型的懇求對(duì)于一種狀態(tài)機(jī)，一個(gè)懇求需要多個(gè)操作，由狀態(tài)機(jī)決定下一步該轉(zhuǎn)向那一步操作。4數(shù)據(jù)流管理模塊：負(fù)責(zé)管理i/數(shù)據(jù)塊的傳輸。5bi：基于消息的網(wǎng)絡(luò)傳輸模塊。6dhash：高可用的分布式存儲(chǔ)子系統(tǒng)。提供key/value對(duì)的存儲(chǔ)方式。7hrd：分布式查找協(xié)議?？梢钥焖俨檎邑?fù)責(zé)某個(gè)key的server。二、關(guān)鍵技術(shù)研究1.數(shù)據(jù)存取方式本系統(tǒng)中，不管是文件數(shù)據(jù)還是元數(shù)據(jù)都是通過(guò)handle值來(lái)存取的。每個(gè)handle對(duì)應(yīng)一個(gè)key值，每個(gè)key對(duì)應(yīng)一個(gè)相應(yīng)的數(shù)據(jù)塊，運(yùn)用dhash提供的put(key,blk)存儲(chǔ)到berkeleydb中。當(dāng)客戶端要存儲(chǔ)k6對(duì)應(yīng)的

4、數(shù)據(jù)塊時(shí)，首先去查本地的glbalkeyrangetable，查出該key值k由節(jié)點(diǎn)nde3負(fù)責(zé)，于是將懇求發(fā)到nde3。nde3送到懇求后，調(diào)用get或put接口來(lái)存取數(shù)據(jù)，由下層的dhash來(lái)提供數(shù)據(jù)的高可用性。2.ida算法ida算法是一種信息分散算法。它的功能是能將一個(gè)長(zhǎng)度為l的文件f，分成n個(gè)分片filin，每個(gè)分片的長(zhǎng)度為l/,在fi中任取個(gè)分片都能重組成原來(lái)的文件f。這種分片和分片重組在計(jì)算效率上是很高的。在空間上，可以看出n個(gè)分片fi的總和是原來(lái)文件的n/倍，n/大于但可以趨近于1，所以數(shù)據(jù)冗余不會(huì)占用太多空間。3.文件系統(tǒng)接口的實(shí)現(xiàn)人們對(duì)任何數(shù)據(jù)的訪問(wèn)都是通過(guò)handle進(jìn)展

5、的，而且handle被存放在塊中，記錄了各個(gè)對(duì)象之間的邏輯關(guān)系。人們只要知道文件系統(tǒng)超級(jí)塊handle值，就可以順藤摸瓜地找到該文件系統(tǒng)中的任何對(duì)象。4.動(dòng)態(tài)可擴(kuò)展性的實(shí)現(xiàn)要實(shí)現(xiàn)系統(tǒng)動(dòng)態(tài)可擴(kuò)展性，系統(tǒng)必須可以自動(dòng)處理節(jié)點(diǎn)的任意參加和分開的事件，保證系統(tǒng)的穩(wěn)定，而不用人為地重新進(jìn)展配置。(1)節(jié)點(diǎn)參加當(dāng)新節(jié)點(diǎn)參加時(shí)，會(huì)依次出現(xiàn)以下結(jié)果：(1)由自己的ndeip哈希出在keyspae中的位子psha-1(ndeip)；(2)對(duì)外組播自己參加的消息；(3)接收自己負(fù)責(zé)的keyrange【k2,k2)；(4)客戶端收到節(jié)點(diǎn)參加的消息后，更新自己的glbalkeyrangetable。(2)節(jié)點(diǎn)分開節(jié)點(diǎn)

6、正常分開時(shí)，需要向其它節(jié)點(diǎn)發(fā)送組播消息，通知客戶端更新glbalkeyrangetable，釋放自己所管理的那局部keyrange【k2,k2)。(3)節(jié)點(diǎn)失效節(jié)點(diǎn)的突然實(shí)現(xiàn)屬于無(wú)通知的節(jié)點(diǎn)分開行為，如何及時(shí)的檢測(cè)到?jīng)]個(gè)節(jié)點(diǎn)的失效，如何快速的到達(dá)新的穩(wěn)定狀態(tài)將是本系統(tǒng)的關(guān)鍵。筆者初步采取的是用ping的方式對(duì)各個(gè)節(jié)點(diǎn)進(jìn)展周期性檢測(cè)，其間隔時(shí)間有待研究。(4)進(jìn)展故障屏蔽當(dāng)有節(jié)點(diǎn)參加或分開時(shí)，系統(tǒng)會(huì)有一段時(shí)間處于不穩(wěn)定狀態(tài)，客戶端假如訪問(wèn)已失效節(jié)點(diǎn)就會(huì)無(wú)響應(yīng)，筆者為每個(gè)操作設(shè)置超時(shí)時(shí)間，假如在該時(shí)間內(nèi)仍無(wú)響應(yīng)，客戶端就向該節(jié)點(diǎn)的前續(xù)節(jié)點(diǎn)重發(fā)懇求。三、總結(jié)本系統(tǒng)大大降低了硬件系統(tǒng)損壞對(duì)集群的影響；一次寫入，永不改變，大大降低了程序的復(fù)雜度；同時(shí)增大了blk的長(zhǎng)度，效率更高；且具有高冗余和高性能的特性，為數(shù)據(jù)中心的開展奠定了基矗參考文獻(xiàn):yifengzhu,hngjiang,xiaqin,danfeng.iprvedreadperfraneinast-effetive,fault-tlerantparal