OpenStack存儲管理功能介紹

1、OpenStack存儲管理功能介紹技術創(chuàng)新，變革未來OpenStack提供多種類型的存儲服務，用戶可以根據(jù)業(yè)務需求，自由選擇存儲服務。本章節(jié)重點介紹OpenStack中的塊存儲服務Cinder，簡單介紹對象存儲服務Swift。本章節(jié)分為兩個部分：理論和實驗理論部分主要講解Cinder作用、架構(gòu)、工作原理和流程，Swift作用和架構(gòu)。實驗部分重點鍛煉學員Cinder日常運維操作，幫助學員理論聯(lián)系實際，真正掌握Cinder 。學完本課程后，您將能夠：描述OpenStack不同存儲類型描述Cinder作用描述Cinder架構(gòu)描述Cinder工作流程描述Swift作用描述Swift架構(gòu)具備Cinder

2、日常運維能力OpenStack存儲概述塊存儲Cinder對象存儲SwiftOpenStack有哪些存儲類型？OpenStack中的存儲可以分為兩類：目前OpenStack支持三種類型的持久性存儲：塊存儲、對象存儲和文件系統(tǒng)存儲。Ephemeral Storage，臨時存儲如果只部署了Nova服務，則默認分配給虛擬機的磁盤是臨時的，當虛擬機終止后，存儲空間也會被釋放。默認情況下，臨時存儲以文件形式放置在計算節(jié)點的本地磁盤上。Persistent Storage，持久性存儲持久化存儲設備的生命周期獨立于任何其他系統(tǒng)設備或資源，存儲的數(shù)據(jù)一直可用，無論虛擬機是否運行。當虛擬機終止后，持久性存儲上的數(shù)

3、據(jù)仍然可用。OpenStack持久化存儲簡介Manila文件存儲操作對象是文件和文件夾，在存儲系統(tǒng)上增加了文件系統(tǒng)，再通過NFS或CIFS協(xié)議進行訪問。Swift對象存儲操作對象是對象(object)，一個對象名稱就是一個域名地址，可以直接通過REST API的方式訪問對象。因Manila目前使用較少，本章節(jié)只重點介紹Cinder和Swift。Cinder塊存儲操作對象是磁盤，直接掛載到主機，一般用于主機的直接存儲空間和數(shù)據(jù)庫應用，DAS和SAN都可以提供塊存儲。OpenStack存儲類型對比用途訪問方式訪問客戶端管理服務數(shù)據(jù)生命周期存儲設備容量典型使用案例臨時存儲運行操作系統(tǒng)和提供啟動空間通

4、過文件系統(tǒng)訪問虛擬機Nova虛擬機終止管理員配置的Flavor指定容量虛擬機中第一塊磁盤10GB，第二塊磁盤20GB塊存儲為虛擬機添加額外的持久化存儲塊設備被分區(qū)、格式化后掛載訪問（例如 /dev/vdc）虛擬機Cinder被用戶刪除用戶創(chuàng)建時指定1 TB磁盤對象存儲存儲海量數(shù)據(jù)，包括虛擬機映像REST API任何客戶端Swift被用戶刪除可用物理存儲空間和數(shù)據(jù)副本數(shù)量10s TB級數(shù)據(jù)集存儲共享文件系統(tǒng)存儲為虛擬機添加額外的持久化存儲共享文件系統(tǒng)存儲被分區(qū)、格式化后掛載訪問（例如 /dev/vdc）虛擬機Manila被用戶刪除用戶創(chuàng)建時指定擴容時指定用戶配額指定管理員指定容量NFS討論：如何

5、選擇不同OpenStack存儲？請討論或思考如下場景中，如何選擇合適的OpenStack存儲？場景一測試OpenStack虛擬機發(fā)放功能，測試完即刪除虛擬機場景二OpenStack生產(chǎn)環(huán)境中的虛擬機，需保證虛擬機數(shù)據(jù)長期保存場景三存放OpenStack中的Glance鏡像文件OpenStack存儲概述塊存儲CinderCinder簡介Cinder架構(gòu)Cinder組件詳細講解Cinder典型工作流程OpenStack動手實驗： Cinder操作對象存儲SwiftOpenStack塊存儲服務是什么？CINDER塊存儲服務首次出現(xiàn)在OpenStack的“Folsom” 版本中。簡介Cinder提供塊

6、存儲服務，為虛擬機實例提供持久化存儲。Cinder調(diào)用不同存儲接口驅(qū)動，將存儲設備轉(zhuǎn)化成塊存儲池，用戶無需了解存儲實際部署的位置或設備類型。依賴的OpenStack服務KeystoneCinder在OpenStack中的位置和作用source: OpenStack存儲概述塊存儲CinderCinder簡介Cinder架構(gòu)Cinder組件詳細講解Cinder典型工作流程OpenStack動手實驗： Cinder操作對象存儲SwiftCinder架構(gòu)cinder-apicinder-schedulercinder-volumecinder-backupDBcinder clientRESTMess

7、age Queue Message Queue Message Queue Cinder架構(gòu)說明cinder-apicinder-schedulercinder-volumecinder-volumecinder-volumeSAN StorageLogical volumeSAN volume-driverLVMvolume-driverCephvolume-driverCeph Storage存儲模塊對外的服務接口，接收并轉(zhuǎn)發(fā)外部請求到不同的cinder組件進行處理調(diào)度選擇合適的主機進行創(chuàng)卷等操作執(zhí)行卷、快照相關的業(yè)務，通過調(diào)用不同的driver管理不同的存儲后端DBCinder架構(gòu)部署：

8、以SAN存儲為例Cinder-api，Cinder-Scheduler，Cinder-Volume可以選擇部署到一個節(jié)點上，也可以分別部署。API采用AA模式，Haproxy作為LB，分發(fā)請求到多個Cinder API。Scheduer也采用AA模式，有rabbitmq以負載均衡模式向3個節(jié)點分發(fā)任務，并同時從rabbitqmq收取Cinder volume上報的能力信息，調(diào)度時，scheduler通過在DB中預留資源從而保證數(shù)據(jù)一致性。Cinder Volume也采用AA模式，同時上報同一個backend容量和能力信息，并同時接受請求進行處理。RabbitMQ，支持主備或集群。MySQL，支

9、持主備或集群。Cinder-APICinder-SchedulerRabbitMQMySQLCinder-VolumeCinder-APICinder-APICinder-SchedulerCinder-SchedulerCinder-VolumeCinder-VolumeRabbitMQHAproxySANMySQLOpenStack存儲概述塊存儲CinderCinder簡介Cinder架構(gòu)Cinder組件詳細講解Cinder典型工作流程OpenStack動手實驗： Cinder操作對象存儲SwiftCinder組件 - APICinder API對外提供REST API，對操作需求進行解析

10、，并調(diào)用處理方法：卷create/delete/list/show快照create/delete/list/show卷attach/detach (Nova調(diào)用)其他:Volume types QuotasBackupsCinder組件 - SchedulerCinder scheduler負責收集后端上報的容量、能力信息，根據(jù)設定的算法完成卷到指定cinder-volume的調(diào)度。Cinder scheduler通過過濾和稱權(quán)，篩選出合適的后端：1. 列出所有后端2. 根據(jù)后端的能力進行篩選3. 根據(jù)權(quán)重給后端排序4. 返回最合適的后端Cinder組件 - VolumeCinder volu

11、me多節(jié)點部署，使用不同的配置文件、接入不同的后端設備，由各存儲廠商插入Driver代碼與設備交互，完成設備容量和能力信息收集、卷操作等。Cinder PluginsSoftware BasedFile system basedDFSNFSBlock basedHardware BasedFibre ChanneliSCSINFSGlusterFS，RBD(Ceph)通過NFS支持NAS存儲通過LVM支持本地存儲通過添加不同廠商的Drivers支持不同類型和型號的商業(yè)存儲設備，例如華為存儲、IBM存儲、EMC存儲等OpenStack存儲概述塊存儲CinderCinder簡介Cinder架構(gòu)Ci

12、nder組件詳細講解Cinder典型工作流程OpenStack動手實驗： Cinder操作對象存儲SwiftCinder-APICinder-ScheduleCinder-Volume創(chuàng)建卷讀取調(diào)度算法，過濾并選擇最優(yōu)的HOST定期上報后端狀態(tài)創(chuàng)建卷類型Cinder Driver/Backend定期查詢陣列信息將請求發(fā)送到對應的后端請求陣列后端創(chuàng)建指定的卷Cinder創(chuàng)建卷流程請求Scheduler創(chuàng)建卷Cinder-volume: 會定期收集底層后端的容量等信息，并通知Scheduler更新內(nèi)存中的Backend信息。Create volumeScheduler節(jié)點API節(jié)點Cinder創(chuàng)建

13、卷流程 - Cinder APICinder API檢查參數(shù)合法性(用戶輸入，權(quán)限，資源是否存在等)。準備創(chuàng)建的參數(shù)字典，預留和提交配額。在數(shù)據(jù)庫中創(chuàng)建對應的數(shù)據(jù)記錄。通過消息隊列將請求和參數(shù)發(fā)送到SchedulerVolumeControllerCinder-Volume(API)callCinder-Schedule（Manager）callRPCCinder-Schedule(rpcapi)Create volumeVolume節(jié)點Scheduler節(jié)點Cinder-Schedule（Manager）Cinder-Volume(Manager)Cinder-Volume(rpcapi)c

14、allRPCCinder創(chuàng)建卷流程 - Cinder SchedulerCinder Scheduler服務提取接收到的請求參數(shù)通過配置的filter和輸入?yún)?shù)對后端進行過濾Availability_zone_filterCapacity_filterCapabilities_filterAffinity_filter(SameBackendFilter/DifferentBackendFilter)Weigher計算后端進行權(quán)重CapacityWeigher/AllocatedCapacityWeigherChanceWeigherGoodnessWeigher.選取最優(yōu)的Backend并通

15、過消息隊列將請求發(fā)送到指定的后端Create volumeVolume節(jié)點Cinder-Volume（Manager）backendVolume DrivercallxxxCinder創(chuàng)建卷流程 - Cinder VolumeCinder Volume服務提取接收到的請求參數(shù)調(diào)用對應的Driver在后端創(chuàng)建實際的卷使用Driver返回的模型更新數(shù)據(jù)庫中的記錄Create volumeCinder掛載卷流程掛卷流程： 掛卷是通過Nova和Cinder的配合最終將遠端的卷連接到虛擬機所在的Host節(jié)點上，并最終通過虛擬機管理程序映射到內(nèi)部的虛擬機中。Storage ControllerNovaVM

16、/dev/vdaKVMiSCSIinitiatorCinderiSCSItarget支持多種協(xié)議(例如 FC, NFS)Persistent volume controlPersistent volume dataOpenStack存儲概述塊存儲CinderCinder簡介Cinder架構(gòu)Cinder組件詳細講解Cinder典型工作流程OpenStack動手實驗： Cinder操作對象存儲SwiftCinder主要操作Volume: 塊設備卷，提供創(chuàng)建，刪除，擴容，掛載/卸載等功能。Snapshot: 針對于塊設備卷的快照創(chuàng)建，刪除, 回滾等功能。Backup: 提供對塊設備卷的備份，恢復能力

17、。Cinder主要操作主要三個資源:功能分類功能 功能分類功能 卷操作create快照操作snapshot-createdeletesnapshot-deleteshowsnapshot-listrenamesnapshot-renameupload-to-imagesnapshot-reset-stateextendsnapshot-showforce-deletesnapshot-metadatalistsnapshot-metadata-showmigratesnapshot-metadata-update-all reset-state備份操作backup-createrate-lim

18、itsbackup-deleteretypebackup-listset-bootablebackup-restoremanagebackup-showunmanagebackup-export metadatabackup-export 動手實驗：Cinder操作命令help卷類型管理卷QoS管理卷管理OpenStack存儲概述塊存儲Cinder對象存儲SwiftSwift簡介Swift架構(gòu)對象存儲服務是什么？SWIFT對象存儲服務首次出現(xiàn)在OpenStack的“Austin” 版本中。簡介Swift提供高度可用、分布式、最終一致的對象存儲服務。Swift可以高效、安全且廉價地存儲大量數(shù)據(jù)。

19、Swift非常適合存儲需要彈性擴展的非結(jié)構(gòu)化數(shù)據(jù)。依賴的OpenStack服務為其他OpenStack服務提供對象存儲服務。Swift在OpenStack中的位置source: Swift在OpenStack中的作用Swift并不是文件系統(tǒng)或者實時的數(shù)據(jù)存儲系統(tǒng)，它稱為對象存儲，用于永久類型的靜態(tài)數(shù)據(jù)的長期存儲，這些數(shù)據(jù)可以檢索、調(diào)整，必要時進行更新。最適合存儲的數(shù)據(jù)類型的例子是虛擬機鏡像、圖片存儲、郵件存儲和存檔備份。因為沒有中心單元或主控結(jié)點，Swift提供了更強的擴展性、冗余和持久性。VMNovaCinderSwiftGlanceProvides imagesProvisionsProv

20、ides volumes forBackups volumes inStores images inSwift特點Swift特點極高的數(shù)據(jù)持久性完全對稱的系統(tǒng)架構(gòu)可擴展性強無單點故障Swift應用場景鏡像存儲后端在OpenStack中與鏡像服務Glance結(jié)合，為其存儲鏡像文件。靜態(tài)數(shù)據(jù)存儲由于Swift的擴展能力，適合存儲日志文件和數(shù)據(jù)備份倉庫。OpenStack存儲概述塊存儲Cinder對象存儲SwiftSwift簡介Swift架構(gòu)對象存儲服務的架構(gòu) 完全對稱、面向資源的分布式系統(tǒng)架構(gòu)設計API(Swift Proxy)-Account-Container-Object-Account-C

21、ontainer-Object-Account-Container-Object-Account-Container-Object-Account-Container-Object-Account-Container-ObjectStorage networkReplication networkSwift組件Proxy Server對外提供對象服務 API，由于采用無狀態(tài)的 REST 請求協(xié)議，可以進行橫向擴展來均衡負載。Account Server提供賬戶元數(shù)據(jù)和統(tǒng)計信息，并維護所含容器列表的服務，每個賬戶的信息被存儲在一個 SQLite 數(shù)據(jù)庫中。Container Server提供容器元數(shù)據(jù)和統(tǒng)計信息，并維護所含對象列表的服務，每個容器的信息也存儲在一個 SQLite 數(shù)據(jù)庫中。Swift組件Object Server提供對象元數(shù)據(jù)和內(nèi)容服務，每個對象的內(nèi)容會以文件的形式存儲在文件系統(tǒng)中，元數(shù)據(jù)會作為文件屬性來存儲，建議采用支持擴展屬性的 XFS 文件系統(tǒng)。Replicator檢測本地分區(qū)副本和遠程副本是否一致，發(fā)現(xiàn)不一致時會采用推式（Push）更新遠程副本，并且確保被標記刪除的對象