《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》 課件 項目三-任務(wù)三 淺析云存儲關(guān)鍵技術(shù)

《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目三淺析云存儲服務(wù)任務(wù)三淺談云存儲關(guān)鍵技術(shù)存儲空間管理？數(shù)據(jù)存儲技術(shù)？數(shù)據(jù)備份的分類？如何進行數(shù)據(jù)一致性處理？回顧任務(wù)描述:本節(jié)任務(wù)對云存儲的關(guān)鍵技術(shù)：存儲虛擬化、分布式擴展模式進行了剖析。任務(wù)教學(xué)目標(biāo)：掌握云存儲關(guān)鍵技術(shù)任務(wù)概要任務(wù)引入-云存儲技術(shù)隨著計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計算技術(shù)。而云存儲就是脫胎于云計算技術(shù)的新型存儲方式，由于它廉價、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容存儲虛擬化分布式擴展模式一二存儲虛擬化知識點一（一）存儲虛擬化將存儲資源集中到一個大容量的資源池并實行單點統(tǒng)一管理，無需中斷應(yīng)用即可改變存儲系統(tǒng)和數(shù)據(jù)遷移，提高整個系統(tǒng)的動態(tài)適應(yīng)能力。

（一）存儲虛擬化010203存儲虛擬化04多租戶模型虛擬化感知能力存儲虛擬化實施全局訪問空間（二）全局訪問空間全局訪問空間是指將磁盤和內(nèi)存資源聚集成一個單一的虛擬存儲池進行管理，計算節(jié)點可以隨意地訪問到云存儲設(shè)備空間的任意地方，這種訪問釆用同樣的訪問路徑或者方式。（三）多租戶模型多租戶架構(gòu)中，每個租戶、子租戶和用戶都可以施加獨立的策略，不同層級的策略略有不同，針對不同用途的租戶、子租戶和用戶，可以分別釆用最優(yōu)的策略，以提升服務(wù)質(zhì)量和運營效率。（四）虛擬化感知能力單數(shù)據(jù)中心面向數(shù)據(jù)塊的云存儲主要服務(wù)于虛擬機的環(huán)境，運行于計算節(jié)點之上的虛擬機會根據(jù)負(fù)載、故障和節(jié)能等種種情況下在不同的物理機之間進行飄動。支持這種飄動的實現(xiàn)需要共享的存儲來得到相應(yīng)的效率。多數(shù)據(jù)中心虛擬化感知能力發(fā)生在跨數(shù)據(jù)中心或跨獨立的兩個或多個云存儲設(shè)備之間。這種數(shù)據(jù)流動的能力是通過數(shù)據(jù)中心間的聯(lián)邦（指數(shù)據(jù)中心通過自治和合作，以耦合的方式集成在一起，共同向外提供統(tǒng)一服務(wù)的實現(xiàn)）機制來實現(xiàn)的。（五）存儲虛擬化實施（五）存儲虛擬化實施主要用途：異構(gòu)存儲系統(tǒng)整合和統(tǒng)一數(shù)據(jù)管理。實現(xiàn)方式：通過在存儲域網(wǎng)（SAN)中添加虛擬化引擎實現(xiàn)。優(yōu)點：與主機無關(guān)，不占用主機資源。能夠支持異構(gòu)主機、異構(gòu)存儲設(shè)備。使不同存儲設(shè)備的數(shù)據(jù)管理功能統(tǒng)一構(gòu)建統(tǒng)一管理平臺，可擴展性好。缺點：部分廠商數(shù)據(jù)管理功能弱，難以達到虛擬化統(tǒng)一數(shù)據(jù)管理的目的。部分廠商產(chǎn)品成熟度較低，仍然存在和不同存儲和主機的兼容性問題。（六）基于存儲設(shè)備的存儲虛擬化技術(shù)主要用途：在同一存儲設(shè)備內(nèi)部，進行數(shù)據(jù)遷移實現(xiàn)方式：在存儲控制器上添加虛擬化功能，常見于中高端存儲設(shè)備。優(yōu)點：與主機無關(guān)，不占用主機資源。數(shù)據(jù)管理功能豐富。缺點：一般只能實現(xiàn)對本設(shè)備內(nèi)磁盤的虛擬化。不同廠商間的數(shù)據(jù)管理功能不能互操作。多套存儲設(shè)備需要配置多套數(shù)據(jù)管理軟件，成本較高。（七）基于網(wǎng)絡(luò)的存儲虛擬化技術(shù)主要用途：使服務(wù)器的存儲空間可以跨越多個異構(gòu)的磁盤陣列，常用于在不同磁盤陣列之間做數(shù)據(jù)鏡像保護。實現(xiàn)方式：一般由操作系統(tǒng)下的邏輯卷管理軟件完成（安裝客戶端軟件），不同操作系統(tǒng)的邏輯卷管理軟件也不相同。優(yōu)點：支持異構(gòu)的存儲系統(tǒng)。不占用磁盤控制器資源。缺點：占用主機資源，降低應(yīng)用性能。存在操作系統(tǒng)和應(yīng)用的兼容性問題。主機數(shù)量越多，實施/管理成本越高。分布式擴展模式知識點二（一）Scale-Up和Scale-Out擴展（二）分布式擴展模式關(guān)鍵技術(shù)高速網(wǎng)絡(luò)連接技術(shù)關(guān)鍵技術(shù)分布式文件系統(tǒng)（三）高速網(wǎng)絡(luò)連接技術(shù)以太網(wǎng)（三）高速網(wǎng)絡(luò)連接技術(shù)InfiniBand架構(gòu)（三）高速網(wǎng)絡(luò)連接技術(shù)基于RapidIO的互聯(lián)架構(gòu)RapidIO是由Motorola和Mercury等公司率先倡導(dǎo)的一種高性能、低引腳數(shù)、基于數(shù)據(jù)包交換的互連體系結(jié)構(gòu)，是為滿足和未來高性能嵌入式系統(tǒng)需求而設(shè)計的一種開放式互連技術(shù)標(biāo)準(zhǔn)。（四）RapidIO特性RapidIO①可靠性⑥支持“任意拓?fù)漕愋汀雹菝總€處理器都有自己的內(nèi)存子系統(tǒng)選擇的推送架構(gòu)④面向大量數(shù)據(jù)傳輸?shù)母咝阅苄畔鬟f③100ns交換機直通式延遲②微秒級以下的端到端數(shù)據(jù)包發(fā)送（五）分布式文件系統(tǒng)根據(jù)計算環(huán)境和所提供功能的不同，文件系統(tǒng)可劃分為4個層次：BDAC單處理器單用戶的本地文件系統(tǒng)多處理器多用戶的本地文件系統(tǒng)多處理器單用戶的本地文件系統(tǒng)多處理器多用戶的分布式文件系統(tǒng)分布式文件系統(tǒng)（DistributedFileSystem，DFS）是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡(luò)與節(jié)點相連。分布式文件系統(tǒng)（五）分布式文件系統(tǒng)（六）存儲空間管理器帶內(nèi)模式帶外模式（七）分布式文件系統(tǒng)的發(fā)展NFS和AFSXFSSAN、NASSAN和NAS兩種體系結(jié)構(gòu)相結(jié)合1980s1990s2000s1995—2000大致分為三個階段：（八）經(jīng)典分布式文件系統(tǒng)介紹1.NFS允許網(wǎng)站中的計算機之間通過TCP/IP網(wǎng)絡(luò)共享資源C/S結(jié)構(gòu)基于RPC協(xié)議實現(xiàn)（八）經(jīng)典分布式文件系統(tǒng)介紹2.AFS主要用于管理分布在網(wǎng)絡(luò)不同節(jié)點上的文件。與普通文件系統(tǒng)相比，AFS的主要特點在于3個方面：分布式、跨平臺、高安全性。（八）經(jīng)典分布式文件系統(tǒng)介紹3.TigerShark/GPFS被設(shè)計用于支持大規(guī)模實時交互式多媒體應(yīng)用，如交互電視（InteractiveTelevision，ITV）。GPFS通過共享磁盤結(jié)構(gòu)來實現(xiàn)它的強大的擴展性。（八）經(jīng)典分布式文件系統(tǒng)介紹支持長時間的文件實時訪問大磁盤塊寫分塊數(shù)據(jù)復(fù)制數(shù)據(jù)一致性數(shù)據(jù)安全性系統(tǒng)可擴展性3.HadoopHDFS（八）經(jīng)典分布式文件系統(tǒng)介紹Hadoop是一個基于Java的支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用的分布式文件系統(tǒng)。不僅僅是一個用于存儲的分布式文件系統(tǒng)，而是設(shè)計用來在由通用計算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架。3.Hadoop

（八）經(jīng)典分布式文件系統(tǒng)介紹Lustre文件系統(tǒng)是一個高度模塊化的系統(tǒng)，主要由3部分組成：客戶端（Client）對象存儲服務(wù)器（ObjectStorageTarget，OST）元數(shù)據(jù)服務(wù)器（MetaDataServer，MDS）。4.Lustre（八）經(jīng)典分布式文件系統(tǒng)介紹是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對海量數(shù)據(jù)進行訪問的應(yīng)用。運行于廉價的普通硬件上，但提供了容錯復(fù)制功能，可以給大量的用戶提供總體性能較高的可靠服務(wù)。5.GoogleFS（八）經(jīng)典分布式文件系統(tǒng)介紹OpenStack是一個項目和一個開源軟件。它提供了一個部署云的操作平臺或工具集。宗旨在于，幫助組織運行為虛擬計算或存儲服務(wù)的云，為公有云、私有云，也為大云、小云提供可擴展的、靈活的云計算。6.OpenStackSwift任務(wù)小結(jié)1、在云存儲關(guān)鍵技術(shù)中，主要有兩方面內(nèi)容：存儲虛擬化和分布式擴展方式。2、存儲虛擬化中主要包括全局訪問空間、多租戶模型、虛擬化感知能力、存儲虛擬化實施技術(shù)。拓展訓(xùn)練Xena獨立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項目之一，開發(fā)者積極參與并由此構(gòu)建了一個充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個組織