開(kāi)源分布式文件系統(tǒng)比較

1、開(kāi)源分布式文件系統(tǒng)比較經(jīng)過(guò)安裝部署和測(cè)試，把我使用中碰到的一些問(wèn)題總結(jié)一下，希望對(duì)大家有所幫助，我也有一些問(wèn)題沒(méi)有搞懂，希望和大家一起交流，共同進(jìn)步。第一：CEPH網(wǎng)上搜索了一些資料，說(shuō)ceph性能最高，C+編寫的代碼，支持Fuse,并且沒(méi)有單點(diǎn)故障依賴，于是下載安裝，由于ceph使用btrfs文件系統(tǒng)，而btrfs文件系統(tǒng)需要Linux2.6.34以上的內(nèi)核才支持，顯然我使用的RHEL5的內(nèi)核還不支持btrfs文件系統(tǒng)，于是下載最新的內(nèi)核進(jìn)行升級(jí)，搞了2天沒(méi)有升級(jí)成功，編譯一次都要耗費(fèi)1個(gè)多小時(shí)才能完成，最后發(fā)現(xiàn)最新版的ubuntu系統(tǒng)支持btrfs文件系統(tǒng)，于是安裝ubuntu的虛擬機(jī)，b

2、trfs文件系統(tǒng)搞定了，但是啟動(dòng)ceph的相關(guān)進(jìn)程出錯(cuò)，無(wú)法啟動(dòng)成功。所以談不上對(duì)其進(jìn)行過(guò)測(cè)試。CEPH中使用了一個(gè)比較先進(jìn)的算法crush算法，據(jù)翻譯出來(lái)，為分布式基于對(duì)象的存儲(chǔ)系統(tǒng)設(shè)計(jì)了一個(gè)可升級(jí)的偽隨機(jī)的數(shù)據(jù)分布函數(shù)，它能夠有效地管理數(shù)據(jù)對(duì)象和存儲(chǔ)設(shè)備，而不需要通過(guò)一個(gè)中心目錄。由于大系統(tǒng)都是動(dòng)態(tài)的，CRUSH被設(shè)計(jì)成為一個(gè)當(dāng)把不需要的數(shù)據(jù)遷移最小化時(shí)，能方便的增加或移除存儲(chǔ)設(shè)備。這個(gè)算法提供了一個(gè)大范圍的不同種類的數(shù)據(jù)復(fù)制和可靠性機(jī)制，以及根據(jù)用戶自定義的策略來(lái)分配數(shù)據(jù)，這種策略迫使數(shù)據(jù)復(fù)制從故障領(lǐng)域分離出來(lái)。另外CEPH使用的文件系統(tǒng)為btrfs,這個(gè)文件系統(tǒng)具有很多先進(jìn)的特性，為下

3、一代Linux使用的文件系統(tǒng)。BTRFS最終可能會(huì)給ZFS等帶來(lái)更多威脅，它具有在線碎片整理功能（只有固態(tài)盤有這項(xiàng)功能）、Copy-On-Write技術(shù)、數(shù)據(jù)壓縮、鏡像、數(shù)據(jù)條帶和快照等等。另外，BTRFS在數(shù)據(jù)存儲(chǔ)方面比ext更完善。它包括一些邏輯卷管理和RAID硬件功能，可以對(duì)內(nèi)部元數(shù)據(jù)和用戶數(shù)據(jù)進(jìn)行檢驗(yàn)和，同時(shí)內(nèi)嵌了快照功能。ext4也可以實(shí)現(xiàn)以上一些功能，但是需要與文件系統(tǒng)和邏輯卷管理器進(jìn)行通信。這么多先進(jìn)的功能，可惜現(xiàn)在還無(wú)法消受啊。第二：glusterfs網(wǎng)上說(shuō)glusterfs比較不錯(cuò)，穩(wěn)定，適合大型應(yīng)用，關(guān)鍵是沒(méi)有單點(diǎn)故障依賴，C語(yǔ)言的代碼，支持FUSE,于是下載安裝研究。安裝

4、配置還算簡(jiǎn)單，啟動(dòng)后進(jìn)行測(cè)試。開(kāi)始感覺(jué)確實(shí)不錯(cuò)，很爽。后來(lái)用壓力測(cè)試工具對(duì)其吞吐量進(jìn)行測(cè)試，發(fā)現(xiàn)性能不能滿足我們的生產(chǎn)需求，不知道是哪里的配置問(wèn)題，我們測(cè)試的都是大文件的讀操作和大文件的寫操作，吞吐量在5MB/秒左右，顯然不能滿足要求。但是沒(méi)有找到具體的瓶頸，畢竟程序是別人寫的，要查瓶頸也不容易。關(guān)于glusterfs的詳細(xì)的資料，可以看這位弟兄的文章，他做的比較深入。第三：moosefs這個(gè)網(wǎng)上說(shuō)性能不錯(cuò)，有單點(diǎn)故障依賴，C代碼編寫，支持FUSE,下載試試吧。安裝配置還算簡(jiǎn)單。很快就搭建好環(huán)境了，于是進(jìn)行測(cè)試。測(cè)試性能還不錯(cuò)。吞吐量在15MB/秒以上。第四：mogilefs網(wǎng)上說(shuō)這個(gè)是性能最

5、高的，不過(guò)是perl編寫的代碼，對(duì)外提供API來(lái)進(jìn)行使用，搭建相對(duì)比較復(fù)雜一點(diǎn)，因?yàn)樾枰惭b很多依賴的第三方perl包，另外還要安裝Mysql數(shù)據(jù)庫(kù)來(lái)支持。安裝完畢后，服務(wù)器端起來(lái)了，客戶端有JAVA,PHP,PERL,RUBY等開(kāi)發(fā)的，我需要的是要支持FUSE的，但是這個(gè)分布式的文件系統(tǒng)，對(duì)FUSE的支持需要安裝一個(gè)PERL與C通信的模塊，這個(gè)模塊死活編譯不過(guò)去，最后無(wú)法測(cè)試成功，無(wú)奈只能有時(shí)間了繼續(xù)研究。第五：fastDFS網(wǎng)上說(shuō)是國(guó)人在mogileFS的基礎(chǔ)上進(jìn)行改進(jìn)的key-value型文件系統(tǒng)，同樣不支持FUSE,提供比mogileFS更好的性能”，這不是扯蛋嗎？Mogilefs是p

6、erl寫的，如果fastDFS是在mogilefs的基礎(chǔ)上改進(jìn)的話，應(yīng)該也是perl寫的，但是下載了fastDFS的代碼后，人家都是C的代碼，怎么可能是在mogilefs的基礎(chǔ)上改進(jìn)呢？看了一下fastDFS具體的結(jié)構(gòu)，準(zhǔn)確的說(shuō)應(yīng)該是借鑒了MogileFS的思路”，而不能說(shuō)在MogileFS的基礎(chǔ)上改進(jìn)”。我安裝了一下，安裝還算簡(jiǎn)單，不支持fuse,上傳文件后會(huì)生成一個(gè)http的下載地址，通過(guò)http的方式進(jìn)行下載。這種方式顯然不適合我想要的生產(chǎn)環(huán)境。下面是一個(gè)網(wǎng)友寫的FastFDS和MogileFS的對(duì)比文章，感覺(jué)比較客觀真實(shí)，所以在這里給大家轉(zhuǎn)帖一下。FastDFS設(shè)計(jì)時(shí)借鑒了Mogile

7、FS的一些思路。FastDFS是一個(gè)完善的分布式文件存儲(chǔ)系統(tǒng)，通過(guò)客戶端API對(duì)文件進(jìn)行讀寫?？梢哉f(shuō)，MogileFS的所有功能特性FastDFS者B具備，MogileFS網(wǎng)址：另外，相對(duì)于MogileFS,FastDFS具有如下特點(diǎn)和優(yōu)勢(shì)：1. FastDFS完善程度較高，不需要二次開(kāi)發(fā)即可直接使用；2. 和MogileFS相比，F(xiàn)astDFS裁減了跟蹤用的數(shù)據(jù)庫(kù)，只有兩個(gè)角色：tracker和storage：FastDFS的架構(gòu)既簡(jiǎn)化了系統(tǒng)，同時(shí)也消除了性能瓶頸；3. 在系統(tǒng)中增加任何角色的服務(wù)器都很容易：增加tracker服務(wù)器時(shí)，只需要修改storage和client的配置文件（增加一

8、行tracker配置）；增加storage服務(wù)器時(shí)，通常不需要修改任何配置文件，系統(tǒng)會(huì)自動(dòng)將該卷中已有文件復(fù)制到該服務(wù)器；4. FastDFS比MogileFS更高效。表現(xiàn)在如下幾個(gè)方面：1）參見(jiàn)上面的第2點(diǎn)，F(xiàn)astDFS和MogileFS相比，沒(méi)有文件索引數(shù)據(jù)庫(kù)，F(xiàn)astDFS整體性能更高；2）從采用的開(kāi)發(fā)語(yǔ)言上看，F(xiàn)astDFS比MogileFS更底層、更高效。FastDFS用C語(yǔ)言編寫，代碼量不到2萬(wàn)行，沒(méi)有依賴其他開(kāi)源軟件或程序包，安裝和部署特別簡(jiǎn)潔；而MogileFS用perl編寫；3） FastDFS直接使用socket通信方式，相對(duì)于MogileFS的HTTP方式，效率更高。并且FastDFS使用sendfile傳輸文件，采用了內(nèi)存零拷貝，系統(tǒng)開(kāi)銷更小，文件傳輸效率更高。5. FastDFS有著詳細(xì)的設(shè)計(jì)和使用文檔，而MogileFS的文檔相對(duì)比較缺乏。6. FastDFS的日志記錄非常詳細(xì)，系統(tǒng)運(yùn)行時(shí)發(fā)生的任何錯(cuò)誤信息都會(huì)記錄到日志文件中，當(dāng)出現(xiàn)問(wèn)題時(shí)方便管理員定位錯(cuò)誤所在。7. FastDFS還對(duì)文件附加屬性（即metadata,如文件大小、圖片寬度、高度等）進(jìn)行存取，應(yīng)用不需要使用數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)這些信息。8.