第7章 常見(jiàn)的分布式存儲(chǔ)

1、第7章常見(jiàn)的分布式存儲(chǔ)北京西普陽(yáng)光教育科技股份有限公司授課講師：顧軍林目 錄Contents01 HDFS分布式存儲(chǔ)02 實(shí)驗(yàn)24：HDFS搭建和使用06 實(shí)驗(yàn)26：Lustre搭建和使用07 MooseFS分布式存儲(chǔ)03GlusterFS分布式存儲(chǔ)08實(shí)驗(yàn)27：MooseFS搭建和使用04 實(shí)驗(yàn)25:GlusterFS搭建和使用09Ceph分布式存儲(chǔ)05 Lustre分布式存儲(chǔ)10實(shí)驗(yàn)28：Ceph搭建和使用01HDFS分布式存儲(chǔ)HDFS簡(jiǎn)介HDFS（Hadoop Distributed File System）是Hadoop項(xiàng)目的核心子項(xiàng)目，是分布式計(jì)算中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)，是基于流數(shù)據(jù)模

2、式訪問(wèn)和處理超大文件的需求而開(kāi)發(fā)的，可以運(yùn)行于廉價(jià)的商用服務(wù)器上。它所具有的高容錯(cuò)、高可靠性、高可擴(kuò)展性、高獲得性、高吞吐率等特征為海量數(shù)據(jù)提供了不怕故障的存儲(chǔ)，為超大數(shù)據(jù)集（ Large Data Set）的應(yīng)用處理帶來(lái)了很多便利。HDFS優(yōu)點(diǎn)：高容錯(cuò)性，適合批處理，可構(gòu)建在廉價(jià)機(jī)器上。HDFS缺點(diǎn)：低延遲數(shù)據(jù)訪問(wèn)，小文件存取。HDFS 架構(gòu)HDFS 架構(gòu)HDFS包含3種節(jié)點(diǎn)，NameNode(NN)，Secondary NameNode(SNN)， DataNode(DN)。以下分別介紹各個(gè)節(jié)點(diǎn)的功能:(1) NN節(jié)點(diǎn)功能接收客戶端的讀寫(xiě)請(qǐng)求，NN中保存文件的Metadata數(shù)據(jù)(元數(shù)據(jù)是

3、最重要的,元數(shù)據(jù)丟失的話，Datenode也就丟失)包括除文件內(nèi)容外的文件信息。（2） SNN節(jié)點(diǎn)功能它的主要工作是幫助NN合并Edits Log,減少NN啟動(dòng)時(shí)間,另一方面合并會(huì)有大量的IO操作,但是NN最主要的作用是接收用戶的讀寫(xiě)服務(wù)的,所以大量的資源不能用來(lái)進(jìn)行合并操作。（3）存儲(chǔ)數(shù)據(jù)，啟動(dòng)DN線程的時(shí)候向NN匯報(bào)Block信息；通過(guò)向NN發(fā)送心跳保持與其聯(lián)系(3秒1次),如果NN10分鐘沒(méi)有收到DN心跳,則認(rèn)為其Lost,并Copy其上的Block到其他HDFS如何讀數(shù)據(jù)HDFS如何寫(xiě)數(shù)據(jù)BCli e吐D五 dPdPih 醞歸1 士土亡霆丘氣 一 3 :： 聽(tīng) i t e.2, : c

4、 屯t e 一7 : G:mol ete貫:T可 喊r臼 血6 ：: C l 呻c li eot皿C1i ent吐n-nn4 :Wri t e P紐丘5 :Ack_ P ，歸斗斗二p i.pel ine O 王55D江t-吐 3Dat 3N吐吐 3N 吐02HDFS搭建和使用【實(shí)驗(yàn)24】：HDFS搭建和使用一、實(shí)驗(yàn)?zāi)康?了解HDFS架構(gòu)原理及其組件功能。 通過(guò)實(shí)驗(yàn)掌握HDFS文件系統(tǒng)的安裝、配置和集群管理。 熟練掌握常見(jiàn)的HDFS運(yùn)行管理命令行的使用。二、實(shí)驗(yàn)內(nèi)容實(shí)驗(yàn)架構(gòu)圖【實(shí)驗(yàn)24】：HDFS搭建和使用二、實(shí)驗(yàn)內(nèi)容如上圖所示， 在 node-1 、 node-2 、 node-3 上部署 H

5、DFS 文件系統(tǒng)， 其中NameNode部署在node-1節(jié)點(diǎn)上，Secondarynamenode部署在node-2節(jié)點(diǎn)上，單節(jié)點(diǎn)DataNode部署在node-3節(jié)點(diǎn)上，啟動(dòng)集群，進(jìn)行集群的維護(hù)，進(jìn)行簡(jiǎn)單的文件上傳、查看操作。三、實(shí)驗(yàn)步驟詳細(xì)操作步驟見(jiàn)本書(shū)提供的操作視頻。03GlusterFS分布式存儲(chǔ)GlusterFS架構(gòu)HDFS 架構(gòu)04GlusterFS搭建和使用【實(shí)驗(yàn)25】：GlusterFS搭建和使用一、實(shí)驗(yàn)?zāi)康?了解GlusterFS架構(gòu)原理及其組件功能。 通過(guò)實(shí)驗(yàn)掌握GlusterFS文件系統(tǒng)的安裝、配置和集群管理。 熟練掌握GlusterFS文件的掛載。二、實(shí)驗(yàn)內(nèi)容Glus

6、terFS實(shí)驗(yàn)流程圖三、實(shí)驗(yàn)步驟詳細(xì)操作步驟見(jiàn)本書(shū)提供的操作視頻。05Lustre分布式存儲(chǔ)HDFS 架構(gòu)HDFS 架構(gòu)Lustre集群組件包含了MDS（元數(shù)據(jù)服務(wù)器）、MDT（元數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)）、OSS（ 對(duì)象存儲(chǔ)服務(wù)器）、OST（對(duì)象存儲(chǔ)節(jié)點(diǎn)）、Client（客戶端），以及連接這些組件的高速網(wǎng)絡(luò)，如圖所示。（1） MDS（元數(shù)據(jù)服務(wù)器）提供元數(shù)據(jù)服務(wù)。MDS負(fù)責(zé)管理元數(shù)據(jù)，提供一個(gè)全局的命名空間，Client可以通過(guò)MDS讀取到保存于MDT之上的元數(shù)據(jù)。在Lustre中MDS可以有2個(gè)，采用了Active-Standby的容錯(cuò)機(jī)制，當(dāng)其中一個(gè)MDS不能正常工作時(shí)，另外一個(gè)后備MDS可以啟動(dòng)服

7、務(wù)。（2） MGS（管理服務(wù)器）提供Lustre文件系統(tǒng)的配置信息。（3） OSS（對(duì)象存儲(chǔ)服務(wù)器）Expose塊設(shè)備并提供數(shù)據(jù)。接受并服務(wù)來(lái)自網(wǎng)絡(luò)的請(qǐng)求。（4） MDS/MGS和OSS/OST的集合有時(shí)稱為L(zhǎng)ustre服務(wù)前端（Lustreserver Fronts）， 而Fsfilt和Ldiskfs則被稱為L(zhǎng)ustre服務(wù)后端（Luster Server Backends）。06Lustre搭建和使用【實(shí)驗(yàn)26】：Lustre搭建和使用一、實(shí)驗(yàn)?zāi)康?了解Lustre架構(gòu)原理及其組件功能。 實(shí)驗(yàn)掌握Lustre文件系統(tǒng)的安裝、配置和集群管理。 熟練掌握Lustre文件的掛載。二、實(shí)驗(yàn)內(nèi)容【實(shí)

8、驗(yàn)26】：Lustre搭建和使用二、實(shí)驗(yàn)內(nèi)容在3個(gè)節(jié)點(diǎn)node-1、node-2、node-3分別留有sdb空白硬盤(pán)，大小為20Gb,其中node-1節(jié)點(diǎn)為MDS索引服務(wù)器， node-2、node-3為OSD 底層提供存儲(chǔ)的服務(wù)器， node-4為測(cè)試客戶端，通過(guò)安裝、配置相關(guān)服務(wù)，啟動(dòng)集群，在node-4上面掛載實(shí)現(xiàn)Lustre文件系統(tǒng)，各機(jī)器名、網(wǎng)絡(luò)配置、角色分配如下：節(jié)點(diǎn)號(hào)主機(jī)名網(wǎng)絡(luò)IP 地址/掩碼角色1node-1192.168.1.102/24MDT MDS 2node-2192.168.1.103/24OST（sdb 20GB） 3node-3192.168.1.104/24OS

9、T（sdb 20GB） 4node-4192.168.1.105/24測(cè)試 Client 三、實(shí)驗(yàn)步驟詳細(xì)操作步驟見(jiàn)本書(shū)提供的操作視頻。07MooseFS分布式存儲(chǔ)MooseFS架構(gòu)MooseFS架構(gòu)MFS整體架構(gòu)的四種角色：（1） Master（元數(shù)據(jù)服務(wù)器）：這個(gè)組件的角色是管理整個(gè)MFS文件系統(tǒng)的主服務(wù)器， 除了分發(fā)用戶請(qǐng)求外，還用來(lái)存儲(chǔ)整個(gè)文件系統(tǒng)中的每個(gè)數(shù)據(jù)文件的Metadata信息， Metadata（元數(shù)據(jù)）信息包括文件（也可以是目錄、Socket、管道、設(shè)備等）的大小、屬性、文件位置路徑等，以及文件空間的回收和恢復(fù)，控制多Chunk Server節(jié)點(diǎn)的數(shù)據(jù)拷貝。（2） Meta

10、logger（元數(shù)據(jù)日志服務(wù)器）：這個(gè)組件的作用是備份管理服務(wù)器Master的變化的Metadata信息日志文件，文件類型為Changelog_Ml.*.MFS，以便于在主服務(wù)器出現(xiàn)問(wèn)題的時(shí)候，可以經(jīng)過(guò)簡(jiǎn)單的操作即可讓新主服務(wù)器進(jìn)行工作。（3） Chunk（數(shù)據(jù)存儲(chǔ)服務(wù)器）：這個(gè)組件就是真正存放數(shù)據(jù)文件實(shí)體的服務(wù)器了，這個(gè)角色可以有多臺(tái)不同的物理服務(wù)器或不同的磁盤(pán)及分區(qū)來(lái)充當(dāng)，當(dāng)配置數(shù)據(jù)的副本多于一份時(shí)，劇寫(xiě)入到一個(gè)數(shù)據(jù)服務(wù)器后，會(huì)根據(jù)算法在其他數(shù)據(jù)服務(wù)器上進(jìn)行同步備份。MooseFS寫(xiě)數(shù)據(jù)MooseFS讀數(shù)據(jù)08MooseFS搭建和使用【實(shí)驗(yàn)27】：MooseFS搭建和使用一、實(shí)驗(yàn)?zāi)康?了解

11、MooseFS架構(gòu)原理及其組件功能。 通過(guò)實(shí)驗(yàn)掌握MooseFS文件系統(tǒng)的安裝、配置和集群管理。 熟練掌握MooseFS文件的掛載。二、實(shí)驗(yàn)內(nèi)容【實(shí)驗(yàn)27】：MooseFS搭建和使用二、實(shí)驗(yàn)內(nèi)容在vmvare中模擬4臺(tái)虛擬機(jī)，其總node-1當(dāng)著master元數(shù)據(jù)主服務(wù)器、 web監(jiān)控服務(wù)，node-2 當(dāng)著mater 備份服務(wù)器，node-3當(dāng)著 存儲(chǔ)服務(wù)器，node-4當(dāng)著測(cè)試客戶端，通過(guò)配置相關(guān)服務(wù)，構(gòu)件moosefs集群，將node-3的存儲(chǔ)空間提供給集群文件系統(tǒng)使用，最后通過(guò)客戶端node-4測(cè)試文件系統(tǒng)的可行性。各機(jī)器，實(shí)驗(yàn)機(jī)器名、網(wǎng)絡(luò)配置、角色分配如下：節(jié)點(diǎn)號(hào)主機(jī)名網(wǎng)絡(luò) ip 地

12、址/掩碼角色1node-1192.168.1.102/24Matser2node-2192.168.1.103/24metalogger3node-3192.168.1.104/24chunker4node-4192.168.1.101/24client三、實(shí)驗(yàn)步驟詳細(xì)操作步驟見(jiàn)本書(shū)提供的操作視頻。09Ceph分布式存儲(chǔ)Ceph架構(gòu)Ceph架構(gòu)Ceph是一個(gè)開(kāi)源的分布式文件系統(tǒng)。因?yàn)樗€支持塊存儲(chǔ)、對(duì)象存儲(chǔ)，所以很自然的被用做云計(jì)算框架openstack或cloudstack整個(gè)存儲(chǔ)后端。當(dāng)然也可以單獨(dú)作為存儲(chǔ)， 例如部署一套集群作為對(duì)象存儲(chǔ)、SAN存儲(chǔ)、NAS存儲(chǔ)等。國(guó)內(nèi)外很多公司實(shí)踐證明，

13、 ceph塊存儲(chǔ)和對(duì)象存儲(chǔ)是完成可靠的。rados集群中分為以下角色:mdss、osds、mons.osd對(duì)象存儲(chǔ)設(shè)備，可以理解為一塊硬盤(pán)+osd 管理進(jìn)程，負(fù)責(zé)接受客戶端的讀寫(xiě)、osd間數(shù)據(jù)檢驗(yàn)(srub)、數(shù)據(jù)恢復(fù)(recovery)、心跳檢測(cè)等。Mons主要解決分布式系統(tǒng)的狀態(tài)一致性問(wèn)題，維護(hù)集群內(nèi)節(jié)點(diǎn)關(guān)系圖(mon-map、osd-map、mds-map、pg-map)的一致性，包括osd的添加、刪除的狀態(tài)更新。Mds元數(shù)據(jù)服務(wù)器，在文件存儲(chǔ)時(shí)是必須配置。需要注意的是，mds服務(wù)器并不存放數(shù)據(jù)，僅僅只是管理元數(shù)據(jù)的進(jìn)程。Ceph文件系統(tǒng)的inode等元數(shù)據(jù)真正存在rados集群（默認(rèn)在

14、metadata pool）。10Ceph搭建和使用【實(shí)驗(yàn)28】：Ceph搭建和使用一、實(shí)驗(yàn)?zāi)康?了解ceph及其組件功能。 通過(guò)實(shí)驗(yàn)掌握ceph的安裝、配置和集群管理。 熟練掌握ceph載。二、實(shí)驗(yàn)內(nèi)容【實(shí)驗(yàn)28】：Ceph搭建和使用二、實(shí)驗(yàn)內(nèi)容在node-1 上部署ceph-deploy 、通過(guò)ceph-deploy 統(tǒng)一在node-1 、node-2 、node-3上部屬ceph集群，node-1當(dāng)著admin、mon節(jié)點(diǎn)，node-2和node-3部署osd存儲(chǔ)服務(wù)，客戶端部署在node-3上面，通過(guò)創(chuàng)建的集群，分配rdb后隱射到客戶端使用。各機(jī)器，實(shí)驗(yàn)機(jī)器名、網(wǎng)絡(luò)配置、角色分配如下：節(jié)點(diǎn)號(hào)主機(jī)名網(wǎng)絡(luò)ip 地址/掩碼角色1node-1192.168.200.104/24admin mon osd2node-2192.168.200.105/24osd3node-3192.168.200.106/24osd 和ceph-client三、實(shí)驗(yàn)步驟詳細(xì)操作步驟見(jiàn)本