云計算與大數(shù)據(jù)（第二版）云存儲

云計算與大數(shù)據(jù)第2版云存儲4.1認(rèn)識云存儲4.2云存儲技術(shù)4.3云存儲的應(yīng)用及面臨的問題重點：云存儲技術(shù)云存儲的運用本章重點云存儲是在云計算概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。4.1認(rèn)識云存儲當(dāng)云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設(shè)備，那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng)，所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。圖4-1云存儲的簡易結(jié)構(gòu)與傳統(tǒng)的存儲設(shè)備相比，云存儲是一個網(wǎng)絡(luò)設(shè)備、存儲設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個部分組成的復(fù)雜系統(tǒng)。各部分以存儲設(shè)備為核心，通過應(yīng)用軟件來對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。4.2云存儲技術(shù)4.2.1云存儲結(jié)構(gòu)

存儲層存儲層是云存儲最基礎(chǔ)的部分。存儲設(shè)備可以是FC光纖通道存儲設(shè)備，可以是NAS和iSCSI等IP存儲設(shè)備，也可以是SCSI或SAS等DAS存儲設(shè)備。云存儲中的存儲設(shè)備往往數(shù)量龐大且分布多不同地域，彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者FC光纖通道網(wǎng)絡(luò)連接在一起。2.基礎(chǔ)管理基礎(chǔ)管理層是云存儲最核心的部分，也是云存儲中最難以實現(xiàn)的部分?；A(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù)，實現(xiàn)云存儲中多個存儲設(shè)備之間的協(xié)同工作，使多個的存儲設(shè)備可以對外提供同一種服務(wù)，并提供更大更強更好的數(shù)據(jù)訪問性能。3.應(yīng)用接口應(yīng)用接口層是云存儲最靈活多變的部分。不同的云存儲運營單位可以根據(jù)實際業(yè)務(wù)類型，開發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺、IPTV和視頻點播應(yīng)用平臺、網(wǎng)絡(luò)硬盤引用平臺，遠程數(shù)據(jù)備份應(yīng)用平臺等。任何一個授權(quán)用戶都可以通過標(biāo)準(zhǔn)的公用應(yīng)用接口來登錄云存儲系統(tǒng)，享受云存儲服務(wù)。云存儲運營單位不同，云存儲提供的訪問類型和訪問手段也不同。1）服務(wù)模式2）HW模式3）SW模式4.訪問層4.2.2云存儲技術(shù)的兩種架構(gòu)緊耦合對稱架構(gòu)松弛耦合非對稱架構(gòu)4.2.3云存儲的種類云存儲可分成兩類：塊存儲（BlockStorage）與文件存儲（FileStorage）。1.塊存儲塊存儲會把單筆的數(shù)據(jù)寫到不同的硬盤，借以得到較大的單筆讀寫帶寬，適合用在數(shù)據(jù)庫或是需要單筆數(shù)據(jù)快速讀寫的應(yīng)用。它的優(yōu)點是對單筆數(shù)據(jù)讀寫很快，缺點是成本較高，并且無法解決真正海量文件的儲存，快速更改的單一文件系統(tǒng)，如數(shù)據(jù)庫、共享的電子表單等，由于有好幾個人共享一個文件，文件需要經(jīng)常性地、頻繁地更改。為了達到這樣的目的，系統(tǒng)必須具備很大的內(nèi)存、很快的硬盤及快照等功能，此時可以采用塊存儲類型。文件存儲文件存儲是基于文件級別的存儲，它是把一個文件放在一個硬盤上，即使文件太大拆分時，也放在同一個硬盤上。它的缺點是對單一文件的讀寫會受到單一硬盤效能的限制，優(yōu)點是對一個多文件、多人使用的系統(tǒng)，總帶寬可以隨著存儲節(jié)點的增加而擴展，它的架構(gòu)可以無限制的擴容，并且成本低廉.當(dāng)應(yīng)用存在文件需并發(fā)讀取、文件及文件系統(tǒng)本身較大、文件使用期較長和對成本控制要求較高等情況下，采用文件存儲是一個較好的選擇，如以下應(yīng)用場合。網(wǎng)站或IPTV應(yīng)用，此時往往讀取文件較大，總讀取帶寬要求較高。監(jiān)控應(yīng)用，此時往往會有多個文件的同時寫入。文件備份、存放或搜尋需要訪問長時間存放的文件。4.3.1云存儲的應(yīng)用領(lǐng)域1．備份2.歸檔3．分配4．共享協(xié)作4.3云存儲的應(yīng)用及面臨的問題4.3.2云存儲對大數(shù)據(jù)存儲的支持1.數(shù)據(jù)的海量化和快增長特征是大數(shù)據(jù)對存儲技術(shù)提出的首要挑戰(zhàn)。大數(shù)據(jù)存儲要求底層硬件架構(gòu)和文件系統(tǒng)在性價比上要大大高于傳統(tǒng)技術(shù)，并能夠彈性擴展存儲容量。但以往網(wǎng)絡(luò)附著存儲系統(tǒng)（NAS）和存儲區(qū)域網(wǎng)絡(luò)（SAN）等體系，存儲和計算的物理設(shè)備分離，它們之間要通過網(wǎng)絡(luò)接口連接，這導(dǎo)致在進行數(shù)據(jù)密集型計算（DataIntensiveComputing）時I/O容易成為瓶頸。同時，傳統(tǒng)的單機文件系統(tǒng)（如NTFS）和網(wǎng)絡(luò)文件系統(tǒng)（如NFS）要求一個文件系統(tǒng)的數(shù)據(jù)必須存儲在一臺物理機器上，且不提供數(shù)據(jù)冗余性，可擴展性、容錯能力和并發(fā)讀寫能力難以滿足大數(shù)據(jù)需求。圖4-3大數(shù)據(jù)存儲架構(gòu)的變化2.大數(shù)據(jù)對存儲技術(shù)提出的另一個挑戰(zhàn)是多種數(shù)據(jù)格式的適應(yīng)能力格式多樣