分布式存儲(chǔ)基礎(chǔ)Cephcinder及華為軟件定義的存儲(chǔ)方案

1、塊存儲(chǔ)與分布式存儲(chǔ)塊存儲(chǔ)， 簡單來說就是提供了塊設(shè)備存儲(chǔ)的接口。 通過向內(nèi)核注冊塊設(shè)備信息， 在 Linux 中通過 lsblk可以得到當(dāng)前主機(jī)上塊設(shè)備信息列表。本文包括了單機(jī)塊存儲(chǔ)介紹、分布式存儲(chǔ)技術(shù)華為軟件定義的存儲(chǔ)解決方案。單機(jī)塊存儲(chǔ)一個(gè)硬盤是一個(gè)塊設(shè)備，內(nèi)核檢測到硬盤然后在用一個(gè)硬盤來得到不同的分區(qū)來做不同的事， 通過這種方式通過直接寫入分區(qū)表來規(guī)定和切分硬盤分布式塊存儲(chǔ)在面對極具彈性的存儲(chǔ)需求和性能要求下，單機(jī)或者獨(dú)立的 SAN 越來越不能滿足企業(yè)的需要。如同數(shù)據(jù)庫系統(tǒng)一樣，塊存儲(chǔ)在 scaleup 的瓶頸下也面臨著 scaleout 的需要。分布式塊存儲(chǔ)系統(tǒng)具有以下特性：分布式塊存

2、儲(chǔ)可以為任何物理機(jī)或者虛擬機(jī)提供持久化的塊存儲(chǔ)設(shè)備；分布式塊存儲(chǔ)系統(tǒng)管理塊設(shè)備的創(chuàng)建、刪除和 attach/detach;分布式塊存儲(chǔ)支持強(qiáng)大的快照功能，快照可以用來恢復(fù)或者創(chuàng)建新的塊設(shè)備；分布式存儲(chǔ)系統(tǒng)能夠提供不同 IO 性能要求的塊設(shè)備?，F(xiàn)下主流的分布式塊存儲(chǔ)有 Ceph、AMSESB 阿里云磁盤與 sheepdog 等。1 Ceph1.1 Ceph概述Ceph 目前是 OpenStack 支持的開源塊存儲(chǔ)實(shí)現(xiàn)系統(tǒng)（即 Cinder 項(xiàng)目 backenddriver 之一）。Ceph 是一種統(tǒng)一的、分布式的存儲(chǔ)系統(tǒng)。“統(tǒng)一的”意味著 Ceph 可以一套存儲(chǔ)系統(tǒng)同時(shí)提供對象存儲(chǔ)、塊存儲(chǔ)和文件

3、系統(tǒng)存儲(chǔ)三種功能，以便在滿足不同應(yīng)用需求的前提下簡化部署Ceph 介紹，云中的塊存儲(chǔ) Cinder,以及/dev/下會(huì)看到/dev/sda/。因?yàn)樾枰鹒disk 工具得到/dev/sda1,/dev/sda2 等,是最死板的分區(qū)方式。和運(yùn)維?！胺植际健痹?Ceph 系統(tǒng)中則意味著真正的無中心結(jié)構(gòu)和沒有理論上限的系統(tǒng)規(guī)模可擴(kuò)展性。Ceph 具有很好的性能、可靠性和可擴(kuò)展性。其核心設(shè)計(jì)思想，概括為八個(gè)字一“無需查表，算算就好”。1.2 Ceph系統(tǒng)的層次結(jié)構(gòu)自下向上，可以將 Ceph 系統(tǒng)分為四個(gè)層次：基礎(chǔ)存儲(chǔ)系統(tǒng) RADOS(Reliable,Autonomic,DistributedObje

4、ctStore,即可靠的、自動(dòng)化的、分布式的對象存儲(chǔ))；基礎(chǔ)庫 LIBRADOS高層應(yīng)用接口：包括了三個(gè)部分：RADOSGW(RADOSGatewa、RBD(ReliableBlockDevice)和 CephFS(CephFileSystem)。RADOS 由兩個(gè)組件組成：一種是數(shù)量很多、負(fù)責(zé)完成數(shù)據(jù)存儲(chǔ)和維護(hù)功能的 OSD(ObjectStorageDevice)。另一種則是若干個(gè)負(fù)責(zé)完成系統(tǒng)狀態(tài)檢測和維護(hù)的 MonitorOSD 和 monitor之間相互傳輸節(jié)點(diǎn)狀態(tài)信息，共同得出系統(tǒng)的總體工作狀態(tài)，并形成一個(gè)全局系統(tǒng)狀態(tài)記錄數(shù)據(jù)結(jié)構(gòu)，即所謂的 clustermap。這個(gè)數(shù)據(jù)結(jié)構(gòu)與 RA

5、DOS 提供的特定算法相配合，便實(shí)現(xiàn) Ceph“無需查表，算算就好”的核心機(jī)制以及若干優(yōu)秀特性。OSD 可以被抽象為兩個(gè)組成部分，即系統(tǒng)部分和守護(hù)進(jìn)程(OSDdeamon)部分。OSD 的系統(tǒng)部分本質(zhì)上就是一臺(tái)安裝了操作系統(tǒng)和文件系統(tǒng)的計(jì)算機(jī)，其硬件部分至少包括一個(gè)單核的處理器、一定數(shù)量的內(nèi)存、一塊硬盤以及一張網(wǎng)卡。在上述系統(tǒng)平臺(tái)上，每個(gè) OSDAPPLIBRADOSAlibrnrrtiCMnnWipeQdlruofyiccessRAD8.MMSiopwltetrC,C+.Java.Pylrtjfi.ftuby.劉。PHPRAD05GWAbucket-basedREST9營1明號(hào)1compat

6、由卷xhS3andSMftRBDA刖dulMaDr抽gddevet.willnLmuxtemelcliwinrwlaQEMU/KVU口rgTCEPHFSAPOSIX-cwnrplian山山edh system.wKhQIjnujfkwiwldK?niandsupportFUSE擁有一個(gè)自己的 OSDdeamon。這個(gè) deamon 負(fù)責(zé)完成 OSD 的所有邏輯功能，包括與 monitor和其他 OSD（事實(shí)上是其他 OSD 的 deamon）通信以維護(hù)更新系統(tǒng)狀態(tài)，與其他 OSD 共同完成數(shù)據(jù)的存儲(chǔ)和維護(hù)，與 client 通信完成各種數(shù)據(jù)對象操作等等。1.3 Ceph中的數(shù)據(jù)尋址用戶存儲(chǔ)數(shù)據(jù)

7、時(shí)的數(shù)據(jù)路由過程如下圖所示:首先明確幾個(gè)概念：File用戶需要存儲(chǔ)或者訪問的文件。對于一個(gè)基于 Ceph 開發(fā)的對象存儲(chǔ)應(yīng)用而言，這個(gè)巾 le 也就對應(yīng)于應(yīng)用中的“對象”，也就是用戶直接操作的“對象”。OjbectRADOS 所看到的“對象”。Object 與上面提到的 file 的區(qū)別是，object 的最大 size 由RADOS 限定（通常為 2MB 或 4MB）,以便實(shí)現(xiàn)底層存儲(chǔ)的組織管理。因此，當(dāng)上層應(yīng)用向 RADOS 存入 size 很大的 file 時(shí)，需要將 file 切分成統(tǒng)一大小的一系列 object（最后一個(gè)的大小可以不同）進(jìn)行存儲(chǔ)。PG（PlacementGroup-顧

8、名思義，PG 的用途是對 object 的存儲(chǔ)進(jìn)行組織和位置映射。具體而言，一個(gè) PG 負(fù)責(zé)組織若干個(gè) object（可以為數(shù)千個(gè)甚至更多），但一個(gè) object 只能被映射到一個(gè) PG 中，即，PG 和 object 之間是“一對多”映射關(guān)系。同時(shí)，一個(gè) PG 會(huì)被映射到 n 個(gè) OSD 上，而每個(gè) OSD 上都會(huì)承載大量的 PG,即，PG 和 OSD 之間是“多對多”映射關(guān)系。在實(shí)踐當(dāng)中，n 至少為 2,如果用于生產(chǎn)環(huán)境，則至少為 3。一個(gè) OSD 上的 PG則可達(dá)到數(shù)百個(gè)。事實(shí)上，PG 數(shù)量的設(shè)置牽扯到數(shù)據(jù)分布的均勻性問題。OSD 即 objectstoragedevice。數(shù)據(jù)路由的過

9、程需要經(jīng)過幾次尋址：File-object 映射。這次映射的目的是，將用戶要操作的 file,映射為 RADOS 能夠處理的 objecto 其映射十分簡單，本質(zhì)上就是按照 object 的最大 size 對 file 進(jìn)行切分。這種切分FileObjects(irx)hono)Qidt*hash(ojd)含mask-*pgid的好處有二：一是讓大小不限的 file 變成最大 size 一致、可以被 RADOS 高效管理的 object;Object-PG 映射。在 file 被映射為一個(gè)或多個(gè) object 之后，就需要將每個(gè) object 獨(dú)立地映射到一個(gè) PG 中去。計(jì)算公式：hash(

10、oid)&mask-pgid。根據(jù) RADOS 的設(shè)計(jì)，給定 PG的總數(shù)為 m(m 應(yīng)該為 2 的整數(shù)哥),則 mask 的值為 m-1。因此，哈希值計(jì)算和按位與操作的整體結(jié)果事實(shí)上是從所有 m 個(gè) PG 中近似均勻地隨機(jī)選擇一個(gè)。基于這一機(jī)制，當(dāng)有大量 object 和大量 PG 時(shí)，RADOS 能夠彳證 object 和 PG 之間的近似均勻映射。PG-OSD 映射。第三次映射就是將作為 object 的邏輯組織單元的 PG 映射到數(shù)據(jù)的實(shí)際存儲(chǔ)單元 OSD。如圖所示，RADOS 采用一個(gè)名為 CRUSH 的算法，將 pgid 代入其中，然后得到一組共 n 個(gè) OSD。這 n 個(gè)

11、OSD 即共同負(fù)責(zé)存儲(chǔ)和維護(hù)一個(gè) PG 中的所有 object。前已述及，n 的數(shù)值可以根據(jù)實(shí)際應(yīng)用中對于可靠性的需求而配置，在生產(chǎn)環(huán)境下通常為 3。具體到每個(gè) OSD,則由其上運(yùn)行的 OSDdeamon 負(fù)責(zé)執(zhí)行映射到本地的 object 在本地文件系統(tǒng)中的存儲(chǔ)、訪問、元數(shù)據(jù)維護(hù)等操作。和“objectOSD映射中采用的哈希算法不同，CRUSH 算法的結(jié)果不是絕對不變的，而是受到當(dāng)前系統(tǒng)的狀態(tài)(clustermap)和存儲(chǔ)配置策略的影響。故而當(dāng)系統(tǒng)中的 OSD 狀態(tài)、數(shù)量發(fā)生變化時(shí)，Clustermap 發(fā)生變化，映射的結(jié)果也就發(fā)生了變化。1.4寫數(shù)據(jù)的流程當(dāng)某個(gè) client 需要向 Ce

12、ph 集群寫入一個(gè) file 時(shí)，首先需要在本地完成尋址流程，將 file 變?yōu)橐粋€(gè)object,然后找出存儲(chǔ)該 object 的一組三個(gè) OSQ找出三個(gè) OSD 后，client 將直接和 PrimaryOSD 通信，發(fā)起寫入操作。PrimaryOSD收到請求后， 分別向SecondaryOSD和TertiaryOSD發(fā)起寫入操作。 當(dāng)SecondaryOSD和 TertiaryOSD 各自完成寫入操作后，將分別向 PrimaryOSD 發(fā)送確認(rèn)信息；當(dāng) PrimaryOSD 確信其他兩個(gè) OSD 的寫入完成后，則自己。也完成數(shù)據(jù)寫入，并向 client 確認(rèn)object 寫入操作完成。二是

13、讓對單一方 le 實(shí)施的串行處理變?yōu)閷Χ鄠€(gè)object 實(shí)施的并行化處理。ClientWrite(1)jJAck6)PnmaryOSD4AWrite(2)Writ婦3JAck(4)1.5集群維護(hù)由若干個(gè) monitor 共同負(fù)責(zé)整個(gè) Ceph 集群中所有 OSD 狀態(tài)的發(fā)現(xiàn)與記錄，并且共同形成clustermap 的 master 版本， 然后擴(kuò)散至全體 OSD 以及 client。 OSD 使用 clustermap 進(jìn)行數(shù)據(jù)的維護(hù)，而 client 使用 clustermap 進(jìn)行數(shù)據(jù)的尋址。monitor 并不主動(dòng)輪詢各個(gè) OSD 的當(dāng)前狀態(tài)。正相反，OSD 需要向 monitor 上報(bào)

14、狀態(tài)信息。常見的上報(bào)有兩種情況：一是新的 OSD 被加入集群，二是某個(gè) OSD 發(fā)現(xiàn)自身或者其他 OSD 發(fā)生異常。在收到這些上報(bào)信息后，monitor 將更新 clustermap 信息并加以擴(kuò)散。新增一個(gè) OSD 時(shí)首先根據(jù)配置信息與 monitor 通信， monitor 將其加入 clustermap,并設(shè)置為 up 且 out 狀態(tài)， 再將最新版本的 clustermap 發(fā)給這個(gè)新 OSD3 收到 monitor 發(fā)過來的 clustermap 之后， 這個(gè)新 OSD 計(jì)算出自己所承載的 PG 以及和自己承載同一個(gè) PG 的其他 OSQ 然后與這些 OSD 取得聯(lián)系。如果這個(gè) PG

15、 目前處于降級(jí)狀態(tài)（即承載該 PG 的 OSD 個(gè)數(shù)少于正常值），則其他OSD 將把這個(gè) PG 內(nèi)的所有對象和元數(shù)據(jù)賦值給新 OSQ 數(shù)據(jù)復(fù)制完成后，新 OSD被置為 up 且 in 狀態(tài)，clustermap 也更新。自動(dòng)化故障恢復(fù)當(dāng)其中一個(gè) OSD 發(fā)生故障時(shí)，如果其 PG 目前一切正常，則這個(gè)新 OSD 將替換掉故障 OSD（PG內(nèi)將重新選出 PrimaryOSD）,并承擔(dān)其數(shù)據(jù)。在數(shù)據(jù)復(fù)制完成后，新 OSD 被置為 up 且 in 狀態(tài)，而被替換的 OSD 將推出該 PG 而 clustermap 內(nèi)容也將據(jù)此更新。自動(dòng)化的故障探測過程如果一個(gè) OSD 發(fā)現(xiàn)和自己共同承擔(dān)一個(gè) PG 的

16、另一個(gè) OSD 無法聯(lián)通，則會(huì)將這一情況上報(bào) monitor。此外，如果一個(gè) OSDdeamon 發(fā)現(xiàn)自身工作狀態(tài)異常，也將把異常情況主動(dòng)上報(bào)給monitor。此時(shí)，monitor 將把出現(xiàn)問題的 OSD 的狀態(tài)設(shè)置為 down 且 in。如果超過某一預(yù)定時(shí)間期限該 OSD 仍然無法恢復(fù)正常，則其狀態(tài)將被設(shè)置為 down 且 out。如果該OSD 能夠恢復(fù)正常，則其狀態(tài)會(huì)恢復(fù)成 up 且 in。TertiaryOSD1.6在OpenStack中使用cephCeph 底層是存儲(chǔ)集群 RADOS 然后是 UBRADOS 這是一個(gè)可以訪問 RADOS 的庫。用戶利用這個(gè)庫開發(fā)自己的客戶端應(yīng)用。Cep

17、h 提供對象存儲(chǔ)（RADOSGW、塊存儲(chǔ)（RBD）、文件系統(tǒng)（CEPHFS 也就是基于這個(gè)庫完成的。在 OpenStack 中使用 Ceph 塊設(shè)備，必須首先安裝 QEMU,libvirt 和 OpenStack。下圖描述了 OpenStack 和 Ceph 技術(shù)層次。libvirt 配置了 librbd 的 QEMU 接口，通過它可以在 OpenStack中使用 Ceph 塊設(shè)備?？梢钥闯?OpenStack 通過 libvirt 中的接口調(diào)用 QEMU,QEMU 去調(diào)用 Ceph 的塊存儲(chǔ)庫 libRBD,從而完成在 OpenStack 中的 Ceph 使用。OpenStacklibvir

18、tYconfiguresQEMUlibrbdlibradosOSDsMonitorsOpenStack與Ceph有三個(gè)結(jié)合點(diǎn)：鏡像：OpenStackGlance 管理虛擬機(jī)鏡像。鏡像是不變的。OpenStack 把鏡像當(dāng)作二進(jìn)制對象并以此格式下載。卷：卷是塊設(shè)備。OpenStack 使用卷來啟動(dòng)虛擬機(jī)，或者綁定卷到運(yùn)行中的虛擬機(jī)。OpenStack 使用 Cinder 服務(wù)管理卷。客戶磁盤：客戶磁盤是客戶操作系統(tǒng)磁盤。默認(rèn)情況下，當(dāng)啟動(dòng)一臺(tái)虛擬機(jī)時(shí)，它的系統(tǒng)盤以文件的形式出現(xiàn)在 hypervisor 系統(tǒng)上（通常在/var/lib/nova/instances/）。在 OpenStackHa

19、vana 以前的版本，在 Ceph 中啟動(dòng)虛擬機(jī)的唯一方式是使用 Cinder的 boot-from-volume 功能，現(xiàn)在能夠在 Ceph 中直接啟動(dòng)虛擬機(jī)而不用依賴于 Cinder,這是非常有利的，能夠很容易的進(jìn)行虛擬機(jī)的熱遷移。除此之外，如果 hypervisor 掛掉還能夠方便地觸發(fā) novaevacute 然后無縫得在其他的地方繼續(xù)運(yùn)行虛擬機(jī)。1.7 Ceph的一些問題關(guān)于 Ceph 作為塊存儲(chǔ)項(xiàng)目的幾個(gè)問題需要考慮：Ceph 在讀寫上不太穩(wěn)定（有 btrfs 的原因），目前 Ceph 官方推薦 XFS 作為底層文件系統(tǒng)Ceph 的擴(kuò)展性較難，如果需要介入 Ceph,需要較長時(shí)間C

20、eph 的部署和集群不夠穩(wěn)定2 AMSEBSEBS 是 Amazon 提供的塊存儲(chǔ)服務(wù)，通過 EBS 用戶可以隨時(shí)增刪遷移 volume 和快照操作。AmazonEBS 是目前 IAAS 服務(wù)商最引人注目的服務(wù)之一，目前的 OpenStack、CloudStack等等其他開源框架都無法提供 AmazonEBS 對于的如此彈性和強(qiáng)大的服務(wù)。3 SheepdogSheepdog 是另一個(gè)分布式塊存儲(chǔ)系統(tǒng)，它與 Ceph 相比，最大優(yōu)勢就是代碼短小好維護(hù)和 hack 的成本很小。 Sheepdog 也有很多 Ceph 不支持的特性， 比如說 Multi-Disk,cluster-widesnapsh

21、ot等。Sheepdog 主要有兩部分，一個(gè)是集群管理，另一個(gè)是存儲(chǔ)服務(wù)。集群管理目前使用 Corosync 或者 Zookper 來完成，存儲(chǔ)服務(wù)的特點(diǎn)是在 client 和存儲(chǔ) host 有 Cache 的實(shí)現(xiàn)可以大大減小數(shù)據(jù)流量。目前 Sheepdog 只在 QEMU 端提供 Drive,而缺少 library 支持， 這是 Sheepdog 目前最主要的問題。云計(jì)算中的塊存儲(chǔ)4 OpenStackCinderNova 利用主機(jī)的本地存儲(chǔ)為虛擬機(jī)提供臨時(shí)存儲(chǔ)”，如果虛擬機(jī)被刪除了，掛在這個(gè)虛擬機(jī)上的任何臨時(shí)存儲(chǔ)都將自動(dòng)釋放。基于 SAN、NAS 等不同類型的存儲(chǔ)設(shè)備，OpenStackC

22、inder,Swift 引入了永久存儲(chǔ)，負(fù)責(zé)為每個(gè)虛擬機(jī)本身的鏡像以及它所產(chǎn)生的數(shù)據(jù)提供一個(gè)存儲(chǔ)場地。Cinder 是 OpenStack 中提供類似于 EBS 塊存儲(chǔ)服務(wù)的 API 框架， 為虛擬機(jī)提供持久化的塊存儲(chǔ)能力，實(shí)現(xiàn)虛擬機(jī)存儲(chǔ)卷的創(chuàng)建、掛載卸載、快照等生命周期管理。Cinder 提供的RESTfulAP 針對邏輯存儲(chǔ)卷進(jìn)行管理。其架構(gòu)如下：cinderclientREST用戶通過 cinderclient 發(fā)送 Restful 請求，cinder-api 是進(jìn)入 cinder 的 HTTP 結(jié)構(gòu)。Cinder-volume運(yùn)行在存儲(chǔ)節(jié)點(diǎn)上管理具體存儲(chǔ)設(shè)備的存儲(chǔ)空間，每個(gè)存儲(chǔ)節(jié)點(diǎn)上都

23、會(huì)運(yùn)行一個(gè) cinder-volume 服務(wù)，多個(gè)節(jié)點(diǎn)一起構(gòu)成了一個(gè)存儲(chǔ)資源池。Cinder-Scheduler 根據(jù)預(yù)定的策略選擇合適的 cinder-volume 節(jié)點(diǎn)來處理客戶請求。Cinder-backup 提供存儲(chǔ)卷備份功能。Cinder 并沒有實(shí)現(xiàn)對塊設(shè)備的管理和實(shí)際服務(wù)，而是為后端不同的存儲(chǔ)結(jié)構(gòu)提供了統(tǒng)一的接口，不同的塊設(shè)備服務(wù)廠商在 Cinder 中實(shí)現(xiàn)其驅(qū)動(dòng)支持以與 OpenStack 進(jìn)行整合。后端的存儲(chǔ)可以是 DAS,NAS,SAN,對象存儲(chǔ)或者分布式文件系統(tǒng)如 ceph。也就是說，Cinder的塊存儲(chǔ)數(shù)據(jù)完整性、可用性保障是由后端存儲(chǔ)提供的。Cinder 只是提供了一層

24、抽象，然后通過其后段支持的 driver 實(shí)現(xiàn)來發(fā)出命令來得到回應(yīng)。關(guān)于塊存儲(chǔ)的分配信息以及選項(xiàng)配置等會(huì)被保存到 OpenStack 統(tǒng)一的 DB 中。Cinder 默認(rèn)使用 LVM 作為后端存儲(chǔ)。LVM 將眾多不同的物理存儲(chǔ)器資源組成卷組，從卷組上創(chuàng)建邏輯卷，然后將文件系統(tǒng)安裝在邏輯卷上。其更為細(xì)化的架構(gòu)如下圖所示:SOLDBcinder-volurrecinder-backupcindepapi%AS.SHNDisrnh.lRdF的5!肉3M，2FSondwn3selt.5華為軟件定義的存儲(chǔ)方案軟件定義的存儲(chǔ)傳統(tǒng)的存儲(chǔ)當(dāng)中，存儲(chǔ)不感知 VM,存儲(chǔ)擴(kuò)展困難，LUN 配置復(fù)雜，修改配置困難;多

25、 VM 運(yùn)行同一個(gè) LUN 時(shí)，存在 IOblending 的問題。為解決傳統(tǒng)存儲(chǔ)的問題，可得到軟件定義的存儲(chǔ)具有以下幾個(gè)特征：自助式的用戶接口策略驅(qū)動(dòng)的存儲(chǔ)，提供 SLA 保障各種存儲(chǔ)資源統(tǒng)一池化，自動(dòng)化管理兼容任意硬件，包括通用硬件和專用存儲(chǔ)硬件。華為軟件定義的存儲(chǔ)相關(guān)技術(shù)基于Cinder的華為塊存儲(chǔ)為解決傳統(tǒng)存儲(chǔ)中配置困難、兼容性不好等問題，華為采用了統(tǒng)一的、策略驅(qū)動(dòng)的存儲(chǔ)控制平面 OpenStackCinder。Cinder:華為SDScontrollerHuaweiFusionsloragedriver其中 CinderAPI 是統(tǒng)一的卷管理接口；CinderSchuduler 是基于策略的存儲(chǔ)資源調(diào)度;CinderVolume 可以介入不同存儲(chǔ)廠商的 driver,如下圖所示：在當(dāng)前架構(gòu)下，管理面上通過面的能力依然參差不齊；各產(chǎn)品之間特性會(huì)重疊；整個(gè)數(shù)據(jù)面還不夠開放。華為SDS目標(biāo)架構(gòu)IhiaweiOceanstordriverIhnweiStorhyperdriverCinder-volumeCinder-volumeCinder-vo!meEMCdriverCephdriverHuaweistorhyperdriverCinder 提供統(tǒng)一接口; 但各 driver 之間不能互通，數(shù)據(jù)AWcitralDvuiervnttUBSInwv