分布式文件系統(tǒng)moosefs

1、分布式文件系統(tǒng)moosefs高可用、可擴(kuò)展的海量級分布式文件系統(tǒng)什么是分布式文件系統(tǒng) 數(shù)據(jù)/文件分散存儲到不同的物理設(shè)備 文件/數(shù)據(jù)被分塊 文件讀寫并行處理 較低的單位成本分布式文件系統(tǒng)的優(yōu)點 高可用：存儲服務(wù)器down 掉一些，服務(wù)依然是可用的 讀寫性能提高：文件分塊存儲在不同的物理設(shè)備，對單個設(shè)備來說，其磁盤I/O得以降低 容量在線可擴(kuò)充：增加物理設(shè)備（服務(wù)器）就實現(xiàn)不停原服務(wù)而自動擴(kuò)展了容量。相對于物理的raid,沒有所謂的木桶效應(yīng)傳統(tǒng)共享文件系統(tǒng)的缺陷 無高可用性：共享文件系統(tǒng)在一個物理設(shè)備，一旦出現(xiàn)故障，服務(wù)完全不可用 讀寫性能隨訪問量的增加而降低：訪問頻繁，磁盤I/O增大 不易實現(xiàn)

2、在線擴(kuò)容：一般情況下需要停機(jī)停服務(wù)傳統(tǒng)共享文件系統(tǒng)的種類 NFS(network file system) Samba ftp 其他分布式文件系統(tǒng)的種類 Hadoop FastDFS MooseFS PNFS（Parallel NFS ） PVFS，PVFS2 Lustre 其他為什么選Moosefs 實施起來簡單。MFS的安裝、部署、配置相對于其他幾種工具來說，要簡單和容易得多?？纯磍ustre 700多頁的pdf文檔，讓人頭昏吧 不停服務(wù)擴(kuò)容。MFS框架做好后，隨時增加服務(wù)器擴(kuò)充容量；擴(kuò)充和減少容量皆不會影響現(xiàn)有的服務(wù) 恢復(fù)服務(wù)容易。除了MFS本身具備高可用特性外，手動恢復(fù)服務(wù)也是非?？旖?/p>

3、的 我在實驗過程中得到作者的幫助，這讓我很是感激。 Moosefs體系結(jié)構(gòu)圖MooseFS分布式文件系統(tǒng)的組成 元數(shù)據(jù)服務(wù)器（Master） 數(shù)據(jù)存儲服務(wù)器（chunkservers） 客戶端（clients）元數(shù)據(jù)服務(wù)器（master） 分布式文件系統(tǒng)MooseFS的主控端：控制個數(shù)據(jù)存儲服務(wù)器 目前只有一個master,存在單點故障 客戶端的訪問接口就是master 支持各種linux/unix數(shù)據(jù)存儲服務(wù)器（chunkserver） 數(shù)據(jù)實際存儲的地方 由多個物理服務(wù)器組成 在數(shù)據(jù)存儲目錄，看不見實際的數(shù)據(jù)（只有帶編號的目錄及文件） 建議使用2-3個副本 支持各種linux/unixMo

4、osefs客戶端 掛接分布式文件系統(tǒng) 一般是應(yīng)用服務(wù)器 客戶端可以是linux,freebsd等各種類unix 數(shù)個客戶端 Freebsd的fusefs_kmod可能會有性能問題安裝moosefs 元數(shù)據(jù)服務(wù)器(master)安裝：配置、編譯、安裝。 數(shù)據(jù)存儲服務(wù)器(chunkserver)安裝：與元數(shù)據(jù)服務(wù)器相同 客戶端安裝：根據(jù)客戶端的平臺不同，安裝稍有差異（個操作系統(tǒng)的fuse不同）MooseFs客戶端是linux時的安裝 安裝FUSE 設(shè)置環(huán)境變量 export KG_CONFIG_PATH=/usr/local/lib/pkgconfig:$PKG_CONFIG_PATH 配置 ./

5、configure enable-mfsmount . 編譯安裝 make;make installmoosefs客戶端是freebsd時的安裝 安裝內(nèi)核模塊 fusefs-kmod :SysinstallConfigurePackagesKldfusefs-kmod-0.3.9.p1_2 加載內(nèi)核模塊fusefs-kmod: kldload /usr/local/modules/fuse.ko 安裝pkg-config： 1、cd /usr/ports/devel/pkg-config 2、make install cleanmoosefs客戶端是freebsd時的安裝（續(xù)） 安裝MFS客戶

6、端 1、解包 tar zxvf mfs-1.5.12.tar.gz 2、切換目錄 cd mfs-1.5.12 3、創(chuàng)建用戶 pw useradd mfs s /sbin/nologin 4、配置 ./configure -prefix=/usr/local/mfs -with-default-user=mfs -with-default-group=mfs -enable-mfsmount 5、編譯安裝 make ; make install配置元數(shù)據(jù)服務(wù)器master默認(rèn)配置文件mfsmaster.cfg(不需要修改即可使用) # WORKING_USER = mfs # WORKING_G

7、ROUP = mfs # LOCK_FILE = /var/run/mfs/mfsmaster.pid # DATA_PATH = /usr/local/mfs/var/mfs # SYSLOG_IDENT = mfsmaster # BACK_LOGS = 50 # REPLICATIONS_DELAY_INIT = 300 # REPLICATIONS_DELAY_DISCONNECT = 3600 # MATOCS_LISTEN_HOST = * # MATOCS_LISTEN_PORT = 9420 # MATOCU_LISTEN_HOST = * # MATOCU_LISTEN_PO

8、RT = 9421 # CHUNKS_LOOP_TIME = 300 # CHUNKS_DEL_LIMIT = 100 # CHUNKS_REP_LIMIT = 15數(shù)據(jù)存儲服務(wù)器chunkserver配置 2個配置文件：主配置文件mfschunkserver.cfg及共享磁盤配置文件mfshdd.cfg數(shù)據(jù)存儲服務(wù)器chunkserver配置(續(xù))Mfschunkserver.cfg#WORKING_USER = mfs#WORKING_GROUP = mfs# DATA_PATH = /usr/local/mfs/var/mfs# LOCK_FILE = /var/run/mfs/mfsc

9、hunkserver.pid# SYSLOG_IDENT = mfschunkserver# BACK_LOGS = 50# MASTER_RECONNECTION_DELAY = 30MASTER_HOST = 9MASTER_PORT = 9420# MASTER_TIMEOUT = 60# CSSERV_LISTEN_HOST = *# CSSERV_LISTEN_PORT = 9422# CSSERV_TIMEOUT = 60# CSTOCS_TIMEOUT = 60# HDD_CONF_FILENAME = /usr/local/mfs/etc/mfshdd.c

10、fg 數(shù)據(jù)存儲服務(wù)器chunkserver配置(續(xù)) 共享磁盤配置文件mfshdd.cfg /data1 /data2Moosefs分布式文件系統(tǒng)啟/停 元數(shù)據(jù)服務(wù)器啟動：mfsmaster start（mfsmaster -s） 數(shù)據(jù)存儲服務(wù)器啟動：mfschunkserver start(mfschunkserver -s) 客戶端啟動：mfsmount掛接moosefs的元數(shù)據(jù)服務(wù)器掛接和使用moosefs Mfsmount h ip (客戶機(jī)操作) 默認(rèn)的掛接點是/mnt/mfs.可以用選項-w 改變掛接點 在客戶端執(zhí)行l(wèi)s mkdir cp等操作測試MooseFS客戶端常用工具查看掛接情況rootmysql-bk # df -hFilesystem Size Used Avail Capacity Mounted on/dev/ad4s1a 26G 570M 24G 2% /devfs 1.0K 1.0K 0B 100% /dev/dev/ad4s1g 356G 157G 170G 48% /data/dev/ad4s1f 17G 215M 15G 1% /home/dev/ad4s1d 28G 1.1G 25G 4% /usr/dev/ad4s1e 24G 362M 21G