云計算-第6章 云存儲技術(shù)

第6章云存儲技術(shù)3主要內(nèi)容主要內(nèi)容·6.1云存儲的概念與特點·6.2云存儲的分類與結(jié)構(gòu)模型·6.3云存儲與傳統(tǒng)存儲技術(shù)的對比分析·6.5典型的云存儲系統(tǒng)介紹這是一個大數(shù)據(jù)的時代大數(shù)據(jù)時代的4V特征VeracityVeracity大數(shù)據(jù)時代，對存儲系統(tǒng)提供更高要求面臨的難題?8云存儲是什么?云存儲屬于云計算的底層支撐，它通過多種云存儲技術(shù)的融合，將大量普通PC服務(wù)器構(gòu)成的存儲集群虛擬化為易擴展、彈性、透明、具有伸縮性的存儲資源池，并將存儲資源池按需分配給授權(quán)用戶，授權(quán)用戶即可以通過網(wǎng)絡(luò)對存儲資源池進行任意的訪問和管理，并按使用付費。業(yè)界對云存儲初步達成了一個基本共識：云存儲不僅是存儲技術(shù)或設(shè)備，更是一種服務(wù)的創(chuàng)新。云存儲的分類●提供商負責(zé)創(chuàng)建和維護存儲因此，內(nèi)部云存儲能完全滿足安全性和性能這兩個主要關(guān)注點，并在包括常見云功能的實施服務(wù)應(yīng)用生命周期：Matrix云服務(wù)自動化*基礎(chǔ)設(shè)施：BladeSystemMatrix這種云存儲把公共云存儲和內(nèi)部云存儲結(jié)合在一起。主要用于按客戶要求的訪問，特別是需要臨時配置容量的時候。從公共云存儲上劃出一部分容量配置一種內(nèi)部云存儲，可以幫助公司面對迅速增長的負載波動或高布了混合云存儲解決方案，通過華為各類云存儲的對比非常高有限非常高良好，但取決于服務(wù)提供商所采取的安全措施最安全，因為所有的存儲都是內(nèi)部部署非常安全，因為集成選項添加了一個額外的安全層性能低等到中等非常好良好，活動內(nèi)容在內(nèi)部緩存中等，取決于互聯(lián)網(wǎng)連接特性和服務(wù)提供商供應(yīng)能力高，因為所有的設(shè)備都是內(nèi)部部署中等到高等，因為緩存內(nèi)容保存在內(nèi)部，而且也取決于互聯(lián)網(wǎng)連接特性和服務(wù)提供商供應(yīng)能力非常好，即用即付模式，也沒有對公司內(nèi)部存儲基礎(chǔ)設(shè)施的要求良好，需要內(nèi)部資源，力和冷卻改良的，因為它允許移動部分存儲資源到即用即付模式存儲最核心的部分，也是云存營單位可以根據(jù)實際業(yè)務(wù)類型,開發(fā)不同的應(yīng)用服務(wù)接口，■訪問層：任何一個授權(quán)用戶都可以通過標(biāo)準(zhǔn)的公用應(yīng)用接口來登錄云存儲系統(tǒng)，享受云存訪問層應(yīng)用接口層基礎(chǔ)管理層 比較項云存儲架構(gòu)不僅是一種架構(gòu)，更是一種服務(wù)。底層采用分布式架構(gòu)和虛擬化技術(shù)，易于擴展，單點失效不影響整體服務(wù)針對某種特殊應(yīng)用而采用的專用、特定的硬件組建構(gòu)成的架構(gòu)按需使用，按使用計費，服務(wù)提供商可迅速交付和響應(yīng)用戶通過整機購買或租賃獲取存儲容量支持PB級以上無限擴展針對某特定的應(yīng)用存儲，由應(yīng)用雪球決定容量，難于擴展不僅提供傳統(tǒng)訪問方式，而且提供海量數(shù)據(jù)的管理和對外的公眾服務(wù)支撐，同時采用保護數(shù)據(jù)安全的策略，采取如分片存儲、EC、ACL、證書等多重保護策略和技術(shù)，用戶可靈活配置用戶數(shù)據(jù)管理員可見，信息不夠安全。通過使用RAID提供數(shù)據(jù)保護。用戶無法靈活配置個性化存儲策略和保護策略云存儲是一個多設(shè)備、多應(yīng)用、多服務(wù)協(xié)同工作的集合體，它的實現(xiàn)根據(jù)云存儲的特點及其應(yīng)用領(lǐng)域，主要的云存儲技術(shù)涉及到：數(shù)據(jù)縮減技術(shù)存儲虛擬化技術(shù)雖然不同設(shè)備與廠商之間略有區(qū)別，但從總體來說，可概括為以下三種：不同的分布式存儲系統(tǒng)適合處理不同類型的數(shù)據(jù)，分布式存儲系統(tǒng)可以分為以下四類： 數(shù)據(jù)備份技術(shù)是將數(shù)據(jù)本身或者其中的部分在某一時間的狀態(tài)以特定的格式保存下來，以備原數(shù)據(jù)出現(xiàn)錯誤、被誤刪除、惡意加密等各種原因不可數(shù)據(jù)備份是容災(zāi)的基礎(chǔ)，是為防止突發(fā)事故而采取的一種數(shù)據(jù)保護措施不同的備份方法，其效果不同，主要表現(xiàn)在性能、自動化程度、對現(xiàn)有基于SAN結(jié)構(gòu)的LAN-FreeHost-Based(主機備份)基于主機(Host-Based)的備份是傳統(tǒng)的數(shù)據(jù)備份技術(shù)。在這種備份架構(gòu)中，磁帶讀寫設(shè)備直接連接在某臺需要備份數(shù)據(jù)的應(yīng)用服務(wù)器上，為該服務(wù)器優(yōu)點：備份管理簡單，數(shù)據(jù)傳輸速度快；缺點：可管理的存儲設(shè)備少，不利于備份系統(tǒng)的共享，不大適合于現(xiàn)在大型的數(shù)據(jù)備份要求，而且不能提供實時的備份需求。LAN-Based(局域網(wǎng)備份)數(shù)據(jù)的傳輸是以局域網(wǎng)絡(luò)為基礎(chǔ)，首先預(yù)先配置一臺服務(wù)器作為備份管理服務(wù)器，負責(zé)整個系統(tǒng)的備份操作。磁帶庫則接在某臺服務(wù)器(即介質(zhì)服務(wù)器介質(zhì)服務(wù)器)上，多個需要備份數(shù)據(jù)的應(yīng)用服務(wù)器LAN-Free是指數(shù)據(jù)無需通過局域網(wǎng)而直接進行備份，即用戶只需將磁帶機或磁帶庫等備份設(shè)備連接到SAN中，各服務(wù)器就可把需要備份的數(shù)據(jù)直接發(fā)送到共享的備份設(shè)磁盤磁盤磁帶Server-Free備份結(jié)構(gòu)優(yōu)點：數(shù)據(jù)備份和恢復(fù)時間短，網(wǎng)絡(luò)傳輸壓力小，便于同意管理和備份資源缺點：需要特定的備份應(yīng)用軟件進行管理，廠商的類型兼容性問題需要統(tǒng)一,并且實施起來與LAN-Free一樣比較復(fù)雜，成本也較高，適用于大中型企業(yè)進行海量數(shù)據(jù)備份管理。數(shù)據(jù)縮減技術(shù)數(shù)據(jù)縮減技術(shù)自動精簡配置是一種存儲管理的特性,核心原理是“欺騙”操作系統(tǒng)，讓操作到原來的1/20-1/50。數(shù)據(jù)壓縮就是將收到的數(shù)據(jù)通過存儲算法存儲到更小的空間中去。數(shù)據(jù)壓縮的方式有很多，一般來說可以分為無損■無損壓縮是指使用壓縮后的數(shù)據(jù)進行解壓縮，得到的數(shù)據(jù)與原來有損壓縮是指使用壓縮后的數(shù)據(jù)進行解壓縮，得到的數(shù)據(jù)與原來的數(shù)據(jù)有所不同，但不影響人對原始資料表達的信息的理解。內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN,ContentDeliveryNetwork)是一種新型網(wǎng)絡(luò)構(gòu)建模式，主要是針對現(xiàn)有的Internet進行改造，其基本思想就是盡量避開互聯(lián)網(wǎng)上由于網(wǎng)絡(luò)帶寬小、網(wǎng)點分布不均、用戶訪問量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性的弊端，使數(shù)據(jù)傳輸?shù)母?、更穩(wěn)定?；ヂ?lián)網(wǎng)應(yīng)用不斷發(fā)生變遷CDN業(yè)務(wù)功能不斷更新CDN應(yīng)用領(lǐng)域不斷擴展·6.1云存儲的概念與特點·6.2云存儲的分類與結(jié)構(gòu)模型·6.3云存儲與傳統(tǒng)存儲技術(shù)的對比分析·6.4云存儲的關(guān)鍵技術(shù)·6.5典型的云存儲系統(tǒng)介紹典型的云存儲系統(tǒng)介紹目前，云計算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲系統(tǒng)是Google的非開源的GFS(GoogleFilesystem)和Hadoop團隊開發(fā)的GFS的開源實現(xiàn)HDFS(HadoopDistributedFileSystem),大部分IT廠商包括Yahoo、Intel的“云”計劃采用的都是HDFS的數(shù)據(jù)存儲技術(shù)。GFS是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大GFS的設(shè)計思想不同于傳統(tǒng)的文件系統(tǒng)，是針對大規(guī)模數(shù)據(jù)處理和文件大小不作為異常處理少量大文件在文件末尾附加數(shù)據(jù)分開作為異常處理大量小文件修改現(xiàn)存數(shù)據(jù)結(jié)合GFS主服務(wù)器/foo/bar應(yīng)用程序應(yīng)用程序Chunk2ef0GFS客戶端字節(jié)范圍)GFS數(shù)據(jù)塊服務(wù)器GFS數(shù)據(jù)塊服務(wù)器Linux文件系統(tǒng)Linux文件系統(tǒng)chunk數(shù)據(jù)主服務(wù)器GFS將整個系統(tǒng)節(jié)點分為三類角色：客戶端(Client)、主服務(wù)器寫操作控制信號和數(shù)據(jù)流23234734733一個文件小于一個數(shù)據(jù)塊的大小，并●元數(shù)據(jù)節(jié)點(Namenode)用來管理文件系統(tǒng)的命名空間。要功能是周期性將元數(shù)據(jù)節(jié)點的命名