分布式存儲(chǔ)基礎(chǔ)、Ceph、cinder及華為軟件定義的存儲(chǔ)方案

1、塊存儲(chǔ)與分布式存儲(chǔ)塊存儲(chǔ)，簡(jiǎn)單來(lái)說(shuō)就是提供了塊設(shè)備存儲(chǔ)的接口。通過(guò)向內(nèi)核注冊(cè)塊設(shè)備信息,在Linux中通過(guò)lsblk可以得到當(dāng)前主機(jī)上塊設(shè)備信息列表。本文包括了單機(jī)塊存儲(chǔ)介紹、分布式存儲(chǔ)技術(shù)Ceph介紹，云中的塊存儲(chǔ)Cinder，以及華為軟件定義的存儲(chǔ)解決方案。單機(jī)塊存儲(chǔ)一個(gè)硬盤(pán)是一個(gè)塊設(shè)備，內(nèi)核檢測(cè)到硬盤(pán)然后在/dev/下會(huì)看到/dev/sda/。因?yàn)樾枰靡粋€(gè)硬盤(pán)來(lái)得到不同的分區(qū)來(lái)做不同的事，通過(guò)fdisk工具得到/dev/sda1, /dev/sda2等，這種方式通過(guò)直接寫(xiě)入分區(qū)表來(lái)規(guī)定和切分硬盤(pán),是最死板的分區(qū)方式。分布式塊存儲(chǔ)在面對(duì)極具彈性的存儲(chǔ)需求和性能要求下，單機(jī)或者獨(dú)立的SA

2、N越來(lái)越不能滿足企業(yè)的需要。如同數(shù)據(jù)庫(kù)系統(tǒng)一樣，塊存儲(chǔ)在scale up的瓶頸下也面臨著scale out的需要。分布式塊存儲(chǔ)系統(tǒng)具有以下特性： 分布式塊存儲(chǔ)可以為任何物理機(jī)或者虛擬機(jī)提供持久化的塊存儲(chǔ)設(shè)備; 分布式塊存儲(chǔ)系統(tǒng)管理塊設(shè)備的創(chuàng)建、刪除和attach/detach;分布式塊存儲(chǔ)支持強(qiáng)大的快照功能，快照可以用來(lái)恢復(fù)或者創(chuàng)建新的塊設(shè)備;分布式存儲(chǔ)系統(tǒng)能夠提供不同IO性能要求的塊設(shè)備?，F(xiàn)下主流的分布式塊存儲(chǔ)有Ceph、AMS ESB、阿里云磁盤(pán)與sheepdog等。1 Ceph1.1 Ceph概述Ceph目前是OpenStack支持的開(kāi)源塊存儲(chǔ)實(shí)現(xiàn)系統(tǒng)(即Cinder項(xiàng)目backend

3、driver之一) 。Ceph是一種統(tǒng)一的、分布式的存儲(chǔ)系統(tǒng)。“統(tǒng)一的”意味著Ceph可以一套存儲(chǔ)系統(tǒng)同時(shí)提供對(duì)象存儲(chǔ)、塊存儲(chǔ)和文件系統(tǒng)存儲(chǔ)三種功能，以便在滿足不同應(yīng)用需求的前提下簡(jiǎn)化部署和運(yùn)維?！胺植际健痹贑eph系統(tǒng)中則意味著真正的無(wú)中心結(jié)構(gòu)和沒(méi)有理論上限的系統(tǒng)規(guī)?？蓴U(kuò)展性。Ceph具有很好的性能、可靠性和可擴(kuò)展性。其核心設(shè)計(jì)思想，概括為八個(gè)字“無(wú)需查表，算算就好”。1.2 Ceph系統(tǒng)的層次結(jié)構(gòu)自下向上，可以將Ceph系統(tǒng)分為四個(gè)層次：基礎(chǔ)存儲(chǔ)系統(tǒng)RADOS（Reliable, Autonomic, Distributed Object Store，即可靠的、自動(dòng)化的、分布式的對(duì)象存儲(chǔ)）

4、； 基礎(chǔ)庫(kù)LIBRADOS；高層應(yīng)用接口：包括了三個(gè)部分：RADOS GW（RADOS Gateway）、 RBD（Reliable Block Device）和Ceph FS（Ceph File System）。RADOS由兩個(gè)組件組成：一種是數(shù)量很多、負(fù)責(zé)完成數(shù)據(jù)存儲(chǔ)和維護(hù)功能的OSD（ Object Storage Device）。另一種則是若干個(gè)負(fù)責(zé)完成系統(tǒng)狀態(tài)檢測(cè)和維護(hù)的Monitor。OSD和monitor之間相互傳輸節(jié)點(diǎn)狀態(tài)信息，共同得出系統(tǒng)的總體工作狀態(tài)，并形成一個(gè)全局系統(tǒng)狀態(tài)記錄數(shù)據(jù)結(jié)構(gòu)，即所謂的cluster map。這個(gè)數(shù)據(jù)結(jié)構(gòu)與RADOS提供的特定算法相配合，便實(shí)現(xiàn)Ce

5、ph“無(wú)需查表，算算就好”的核心機(jī)制以及若干優(yōu)秀特性。OSD可以被抽象為兩個(gè)組成部分，即系統(tǒng)部分和守護(hù)進(jìn)程（OSD deamon）部分。OSD的系統(tǒng)部分本質(zhì)上就是一臺(tái)安裝了操作系統(tǒng)和文件系統(tǒng)的計(jì)算機(jī)，其硬件部分至少包括一個(gè)單核的處理器、一定數(shù)量的內(nèi)存、一塊硬盤(pán)以及一張網(wǎng)卡。在上述系統(tǒng)平臺(tái)上，每個(gè)OSD擁有一個(gè)自己的OSD deamon。這個(gè)deamon負(fù)責(zé)完成OSD的所有邏輯功能，包括與monitor和其他OSD（事實(shí)上是其他OSD的deamon）通信以維護(hù)更新系統(tǒng)狀態(tài)，與其他OSD共同完成數(shù)據(jù)的存儲(chǔ)和維護(hù)，與client通信完成各種數(shù)據(jù)對(duì)象操作等等。1.3 Ceph中的數(shù)據(jù)尋址用戶存儲(chǔ)數(shù)據(jù)時(shí)

6、的數(shù)據(jù)路由過(guò)程如下圖所示： 首先明確幾個(gè)概念：File 用戶需要存儲(chǔ)或者訪問(wèn)的文件。對(duì)于一個(gè)基于Ceph開(kāi)發(fā)的對(duì)象存儲(chǔ)應(yīng)用而言，這個(gè)file也就對(duì)應(yīng)于應(yīng)用中的“對(duì)象”，也就是用戶直接操作的“對(duì)象”。OjbectRADOS所看到的“對(duì)象”。Object與上面提到的file的區(qū)別是，object的最大size由RADOS限定（通常為2MB或4MB），以便實(shí)現(xiàn)底層存儲(chǔ)的組織管理。因此，當(dāng)上層應(yīng)用向RADOS存入size很大的file時(shí)，需要將file切分成統(tǒng)一大小的一系列object（最后一個(gè)的大小可以不同）進(jìn)行存儲(chǔ)。PG（Placement Group） 顧名思義，PG的用途是對(duì)object的存儲(chǔ)

7、進(jìn)行組織和位置映射。具體而言，一個(gè)PG負(fù)責(zé)組織若干個(gè)object（可以為數(shù)千個(gè)甚至更多），但一個(gè)object只能被映射到一個(gè)PG中，即，PG和object之間是“一對(duì)多”映射關(guān)系。同時(shí)，一個(gè)PG會(huì)被映射到n個(gè)OSD上，而每個(gè)OSD上都會(huì)承載大量的PG，即，PG和OSD之間是“多對(duì)多”映射關(guān)系。在實(shí)踐當(dāng)中，n至少為2，如果用于生產(chǎn)環(huán)境，則至少為3。一個(gè)OSD上的PG則可達(dá)到數(shù)百個(gè)。事實(shí)上，PG數(shù)量的設(shè)置牽扯到數(shù)據(jù)分布的均勻性問(wèn)題。OSD即object storage device。數(shù)據(jù)路由的過(guò)程需要經(jīng)過(guò)幾次尋址：l File -> object映射。這次映射的目的是，將用戶要操作的file

8、，映射為RADOS能夠處理的object。其映射十分簡(jiǎn)單，本質(zhì)上就是按照object的最大size對(duì)file進(jìn)行切分。這種切分的好處有二：一是讓大小不限的file變成最大size一致、可以被RADOS高效管理的object；二是讓對(duì)單一file實(shí)施的串行處理變?yōu)閷?duì)多個(gè)object實(shí)施的并行化處理。l Object -> PG映射。在file被映射為一個(gè)或多個(gè)object之后，就需要將每個(gè)object獨(dú)立地映射到一個(gè)PG中去。計(jì)算公式： hash(oid) & mask -> pgid。根據(jù)RADOS的設(shè)計(jì)，給定PG的總數(shù)為m（m應(yīng)該為2的整數(shù)冪），則mask的值為m-1。因

9、此，哈希值計(jì)算和按位與操作的整體結(jié)果事實(shí)上是從所有m個(gè)PG中近似均勻地隨機(jī)選擇一個(gè)?；谶@一機(jī)制，當(dāng)有大量object和大量PG時(shí)，RADOS能夠保證object和PG之間的近似均勻映射。l PG -> OSD映射。第三次映射就是將作為object的邏輯組織單元的PG映射到數(shù)據(jù)的實(shí)際存儲(chǔ)單元OSD。如圖所示，RADOS采用一個(gè)名為CRUSH的算法，將pgid代入其中，然后得到一組共n個(gè)OSD。這n個(gè)OSD即共同負(fù)責(zé)存儲(chǔ)和維護(hù)一個(gè)PG中的所有object。前已述及，n的數(shù)值可以根據(jù)實(shí)際應(yīng)用中對(duì)于可靠性的需求而配置，在生產(chǎn)環(huán)境下通常為3。具體到每個(gè)OSD，則由其上運(yùn)行的OSD deamon負(fù)

10、責(zé)執(zhí)行映射到本地的object在本地文件系統(tǒng)中的存儲(chǔ)、訪問(wèn)、元數(shù)據(jù)維護(hù)等操作。和“object->OSD”映射中采用的哈希算法不同，CRUSH算法的結(jié)果不是絕對(duì)不變的，而是受到當(dāng)前系統(tǒng)的狀態(tài)（cluster map）和存儲(chǔ)配置策略的影響。故而當(dāng)系統(tǒng)中的OSD狀態(tài)、數(shù)量發(fā)生變化時(shí)，Cluster map發(fā)生變化，映射的結(jié)果也就發(fā)生了變化。1.4 寫(xiě)數(shù)據(jù)的流程當(dāng)某個(gè)client需要向Ceph集群寫(xiě)入一個(gè)file時(shí)，首先需要在本地完成尋址流程，將file變?yōu)橐粋€(gè)object，然后找出存儲(chǔ)該object的一組三個(gè)OSD。找出三個(gè)OSD后，client將直接和Primary OSD通信，發(fā)起寫(xiě)入操

11、作。Primary OSD收到請(qǐng)求后，分別向Secondary OSD和Tertiary OSD發(fā)起寫(xiě)入操作。當(dāng)Secondary OSD和Tertiary OSD各自完成寫(xiě)入操作后，將分別向Primary OSD發(fā)送確認(rèn)信息；當(dāng)Primary OSD確信其他兩個(gè)OSD的寫(xiě)入完成后，則自己。也完成數(shù)據(jù)寫(xiě)入，并向client確認(rèn)object寫(xiě)入操作完成。1.5 集群維護(hù)由若干個(gè)monitor共同負(fù)責(zé)整個(gè)Ceph集群中所有OSD狀態(tài)的發(fā)現(xiàn)與記錄，并且共同形成cluster map的master版本，然后擴(kuò)散至全體OSD以及client。OSD使用cluster map進(jìn)行數(shù)據(jù)的維護(hù)，而client

12、使用cluster map進(jìn)行數(shù)據(jù)的尋址。monitor并不主動(dòng)輪詢各個(gè)OSD的當(dāng)前狀態(tài)。正相反，OSD需要向monitor上報(bào)狀態(tài)信息。常見(jiàn)的上報(bào)有兩種情況：一是新的OSD被加入集群，二是某個(gè)OSD發(fā)現(xiàn)自身或者其他OSD發(fā)生異常。在收到這些上報(bào)信息后，monitor將更新cluster map信息并加以擴(kuò)散。l 新增一個(gè)OSD時(shí)首先根據(jù)配置信息與monitor通信，monitor將其加入cluster map，并設(shè)置為up且out狀態(tài)，再將最新版本的cluster map發(fā)給這個(gè)新OSD。收到monitor發(fā)過(guò)來(lái)的cluster map之后，這個(gè)新OSD計(jì)算出自己所承載的PG以及和自己承載同

13、一個(gè)PG的其他OSD。然后與這些OSD取得聯(lián)系。如果這個(gè)PG目前處于降級(jí)狀態(tài)（即承載該P(yáng)G的OSD個(gè)數(shù)少于正常值），則其他OSD將把這個(gè)PG內(nèi)的所有對(duì)象和元數(shù)據(jù)賦值給新OSD。數(shù)據(jù)復(fù)制完成后，新OSD被置為up且in狀態(tài)，cluster map也更新。l 自動(dòng)化故障恢復(fù)當(dāng)其中一個(gè)OSD發(fā)生故障時(shí)，如果其PG目前一切正常，則這個(gè)新OSD將替換掉故障OSD（PG內(nèi)將重新選出Primary OSD），并承擔(dān)其數(shù)據(jù)。在數(shù)據(jù)復(fù)制完成后，新OSD被置為up且in狀態(tài)，而被替換的OSD將推出該P(yáng)G。而cluster map內(nèi)容也將據(jù)此更新。l 自動(dòng)化的故障探測(cè)過(guò)程如果一個(gè)OSD發(fā)現(xiàn)和自己共同承擔(dān)一個(gè)PG的另

14、一個(gè)OSD無(wú)法聯(lián)通，則會(huì)將這一情況上報(bào)monitor。此外，如果一個(gè)OSD deamon發(fā)現(xiàn)自身工作狀態(tài)異常，也將把異常情況主動(dòng)上報(bào)給monitor。此時(shí)，monitor將把出現(xiàn)問(wèn)題的OSD的狀態(tài)設(shè)置為down且in。如果超過(guò)某一預(yù)定時(shí)間期限該OSD仍然無(wú)法恢復(fù)正常，則其狀態(tài)將被設(shè)置為down且out。如果該OSD能夠恢復(fù)正常，則其狀態(tài)會(huì)恢復(fù)成up且in。1.6 在OpenStack中使用ceph Ceph底層是存儲(chǔ)集群RADOS，然后是LIBRADOS，這是一個(gè)可以訪問(wèn)RADOS的庫(kù)。用戶利用這個(gè)庫(kù)開(kāi)發(fā)自己的客戶端應(yīng)用。Ceph提供對(duì)象存儲(chǔ)（RADOSGW）、塊存儲(chǔ)（RBD）、文件系統(tǒng)（CE

15、PHFS）也就是基于這個(gè)庫(kù)完成的。在 OpenStack 中使用 Ceph 塊設(shè)備，必須首先安裝 QEMU，libvirt 和 OpenStack。下圖描述了 OpenStack 和 Ceph 技術(shù)層次。libvirt 配置了 librbd 的 QEMU 接口，通過(guò)它可以在 OpenStack 中使用 Ceph 塊設(shè)備?？梢钥闯鯫penStack通過(guò)libvirt中的接口調(diào)用QEMU，QEMU去調(diào)用Ceph的塊存儲(chǔ)庫(kù)libRBD，從而完成在OpenStack中的Ceph使用。OpenStack 與 Ceph 有三個(gè)結(jié)合點(diǎn)：l 鏡像：OpenStack Glance 管理虛擬機(jī)鏡像。鏡像是不變的

16、。OpenStack 把鏡像當(dāng)作二進(jìn)制對(duì)象并以此格式下載。 l 卷：卷是塊設(shè)備。OpenStack 使用卷來(lái)啟動(dòng)虛擬機(jī)，或者綁定卷到運(yùn)行中的虛擬機(jī)。OpenStack 使用 Cinder 服務(wù)管理卷。 l 客戶磁盤(pán)：客戶磁盤(pán)是客戶操作系統(tǒng)磁盤(pán)。默認(rèn)情況下，當(dāng)啟動(dòng)一臺(tái)虛擬機(jī)時(shí)，它的系統(tǒng)盤(pán)以文件的形式出現(xiàn)在 hypervisor 系統(tǒng)上（通常在/var/lib/nova/instances/<uuid>）。在 OpenStack Havana 以前的版本，在 Ceph 中啟動(dòng)虛擬機(jī)的唯一方式是使用 Cinder 的 boot-from-volume 功能，現(xiàn)在能夠在 Ceph 中直接啟

17、動(dòng)虛擬機(jī)而不用依賴(lài)于 Cinder，這是非常有利的，能夠很容易的進(jìn)行虛擬機(jī)的熱遷移。除此之外，如果 hypervisor 掛掉還能夠方便地觸發(fā) nova evacute 然后無(wú)縫得在其他的地方繼續(xù)運(yùn)行虛擬機(jī)。 1.7 Ceph的一些問(wèn)題關(guān)于Ceph作為塊存儲(chǔ)項(xiàng)目的幾個(gè)問(wèn)題需要考慮:l Ceph在讀寫(xiě)上不太穩(wěn)定（有btrfs的原因），目前Ceph官方推薦XFS作為底層文件系統(tǒng)l Ceph的擴(kuò)展性較難，如果需要介入Ceph，需要較長(zhǎng)時(shí)間l Ceph的部署和集群不夠穩(wěn)定2 AMS EBSEBS是Amazon提供的塊存儲(chǔ)服務(wù)，通過(guò)EBS，用戶可以隨時(shí)增刪遷移volume和快照操作。Amazon EBS

18、是目前IAAS服務(wù)商最引入注目的服務(wù)之一，目前的OpenStack、CloudStack等等其他開(kāi)源框架都無(wú)法提供Amazon EBS對(duì)于的如此彈性和強(qiáng)大的服務(wù)。3 Sheep dogSheepdog是另一個(gè)分布式塊存儲(chǔ)系統(tǒng)，它與Ceph相比，最大優(yōu)勢(shì)就是代碼短小好維護(hù)和hack的成本很小。Sheepdog也有很多Ceph不支持的特性，比如說(shuō)Multi-Disk, cluster-wide snapshot等。Sheepdog主要有兩部分，一個(gè)是集群管理，另一個(gè)是存儲(chǔ)服務(wù)。集群管理目前使用Corosync或者Zookper來(lái)完成，存儲(chǔ)服務(wù)的特點(diǎn)是在client和存儲(chǔ)host有Cache的實(shí)現(xiàn)可

19、以大大減小數(shù)據(jù)流量。目前Sheepdog只在QEMU端提供Drive，而缺少library支持，這是Sheepdog目前最主要的問(wèn)題。云計(jì)算中的塊存儲(chǔ)4 OpenStack CinderNova利用主機(jī)的本地存儲(chǔ)為虛擬機(jī)提供“臨時(shí)存儲(chǔ)”，如果虛擬機(jī)被刪除了，掛在這個(gè)虛擬機(jī)上的任何臨時(shí)存儲(chǔ)都將自動(dòng)釋放?；赟AN、NAS等不同類(lèi)型的存儲(chǔ)設(shè)備，OpenStack Cinder，Swift引入了永久存儲(chǔ)，負(fù)責(zé)為每個(gè)虛擬機(jī)本身的鏡像以及它所產(chǎn)生的數(shù)據(jù)提供一個(gè)存儲(chǔ)場(chǎng)地。Cinder是OpenStack中提供類(lèi)似于EBS塊存儲(chǔ)服務(wù)的API框架，為虛擬機(jī)提供持久化的塊存儲(chǔ)能力，實(shí)現(xiàn)虛擬機(jī)存儲(chǔ)卷的創(chuàng)建、掛載卸

20、載、快照等生命周期管理。Cinder提供的RESTful API針對(duì)邏輯存儲(chǔ)卷進(jìn)行管理。其架構(gòu)如下：用戶通過(guò)cinder client發(fā)送Restful請(qǐng)求，cinder-api是進(jìn)入cinder的HTTP結(jié)構(gòu)。Cinder-volume運(yùn)行在存儲(chǔ)節(jié)點(diǎn)上管理具體存儲(chǔ)設(shè)備的存儲(chǔ)空間，每個(gè)存儲(chǔ)節(jié)點(diǎn)上都會(huì)運(yùn)行一個(gè)cinder-volume服務(wù)，多個(gè)節(jié)點(diǎn)一起構(gòu)成了一個(gè)存儲(chǔ)資源池。Cinder-Scheduler根據(jù)預(yù)定的策略選擇合適的cinder-volume節(jié)點(diǎn)來(lái)處理客戶請(qǐng)求。Cinder-backup提供存儲(chǔ)卷備份功能。Cinder并沒(méi)有實(shí)現(xiàn)對(duì)塊設(shè)備的管理和實(shí)際服務(wù)，而是為后端不同的存儲(chǔ)結(jié)構(gòu)提供了

21、統(tǒng)一的接口，不同的塊設(shè)備服務(wù)廠商在Cinder中實(shí)現(xiàn)其驅(qū)動(dòng)支持以與OpenStack進(jìn)行整合。后端的存儲(chǔ)可以是DAS，NAS，SAN，對(duì)象存儲(chǔ)或者分布式文件系統(tǒng)如ceph。也就是說(shuō)，Cinder的塊存儲(chǔ)數(shù)據(jù)完整性、可用性保障是由后端存儲(chǔ)提供的。Cinder只是提供了一層抽象，然后通過(guò)其后段支持的driver實(shí)現(xiàn)來(lái)發(fā)出命令來(lái)得到回應(yīng)。關(guān)于塊存儲(chǔ)的分配信息以及選項(xiàng)配置等會(huì)被保存到OpenStack統(tǒng)一的DB中。Cinder默認(rèn)使用LVM作為后端存儲(chǔ)。LVM將眾多不同的物理存儲(chǔ)器資源組成卷組，從卷組上創(chuàng)建邏輯卷，然后將文件系統(tǒng)安裝在邏輯卷上。其更為細(xì)化的架構(gòu)如下圖所示：5 華為軟件定義的存儲(chǔ)方案12

22、3455.1 軟件定義的存儲(chǔ)傳統(tǒng)的存儲(chǔ)當(dāng)中，存儲(chǔ)不感知VM，存儲(chǔ)擴(kuò)展困難，LUN配置復(fù)雜，修改配置困難；多VM運(yùn)行同一個(gè)LUN時(shí)，存在IO blending的問(wèn)題。為解決傳統(tǒng)存儲(chǔ)的問(wèn)題，可得到軟件定義的存儲(chǔ)具有以下幾個(gè)特征：l 自助式的用戶接口l 策略驅(qū)動(dòng)的存儲(chǔ)，提供SLA保障l 各種存儲(chǔ)資源統(tǒng)一池化，自動(dòng)化管理l 兼容任意硬件，包括通用硬件和專(zhuān)用存儲(chǔ)硬件。5.2 華為軟件定義的存儲(chǔ)相關(guān)技術(shù)... 基于Cinder的華為塊存儲(chǔ)為解決傳統(tǒng)存儲(chǔ)中配置困難、兼容性不好等問(wèn)題，華為采用了統(tǒng)一的、策略驅(qū)動(dòng)的存儲(chǔ)控制平面OpenStack Cinder。其中Cinder API是統(tǒng)一的卷管理接口；Cinder Schuduler是基于策略的存儲(chǔ)資源調(diào)度；Cinder Volume可以介入不同存儲(chǔ)廠商