云計算-第6章 云存儲技術

第6章云存儲技術3主要內(nèi)容主要內(nèi)容·6.1云存儲的概念與特點·6.2云存儲的分類與結構模型·6.3云存儲與傳統(tǒng)存儲技術的對比分析·6.5典型的云存儲系統(tǒng)介紹這是一個大數(shù)據(jù)的時代大數(shù)據(jù)時代的4V特征VeracityVeracity大數(shù)據(jù)時代，對存儲系統(tǒng)提供更高要求面臨的難題?8云存儲是什么?云存儲屬于云計算的底層支撐，它通過多種云存儲技術的融合，將大量普通PC服務器構成的存儲集群虛擬化為易擴展、彈性、透明、具有伸縮性的存儲資源池，并將存儲資源池按需分配給授權用戶，授權用戶即可以通過網(wǎng)絡對存儲資源池進行任意的訪問和管理，并按使用付費。業(yè)界對云存儲初步達成了一個基本共識：云存儲不僅是存儲技術或設備，更是一種服務的創(chuàng)新。云存儲的分類●提供商負責創(chuàng)建和維護存儲因此，內(nèi)部云存儲能完全滿足安全性和性能這兩個主要關注點，并在包括常見云功能的實施服務應用生命周期：Matrix云服務自動化*基礎設施：BladeSystemMatrix這種云存儲把公共云存儲和內(nèi)部云存儲結合在一起。主要用于按客戶要求的訪問，特別是需要臨時配置容量的時候。從公共云存儲上劃出一部分容量配置一種內(nèi)部云存儲，可以幫助公司面對迅速增長的負載波動或高布了混合云存儲解決方案，通過華為各類云存儲的對比非常高有限非常高良好，但取決于服務提供商所采取的安全措施最安全，因為所有的存儲都是內(nèi)部部署非常安全，因為集成選項添加了一個額外的安全層性能低等到中等非常好良好，活動內(nèi)容在內(nèi)部緩存中等，取決于互聯(lián)網(wǎng)連接特性和服務提供商供應能力高，因為所有的設備都是內(nèi)部部署中等到高等，因為緩存內(nèi)容保存在內(nèi)部，而且也取決于互聯(lián)網(wǎng)連接特性和服務提供商供應能力非常好，即用即付模式，也沒有對公司內(nèi)部存儲基礎設施的要求良好，需要內(nèi)部資源，力和冷卻改良的，因為它允許移動部分存儲資源到即用即付模式存儲最核心的部分，也是云存營單位可以根據(jù)實際業(yè)務類型,開發(fā)不同的應用服務接口，■訪問層：任何一個授權用戶都可以通過標準的公用應用接口來登錄云存儲系統(tǒng)，享受云存訪問層應用接口層基礎管理層 比較項云存儲架構不僅是一種架構，更是一種服務。底層采用分布式架構和虛擬化技術，易于擴展，單點失效不影響整體服務針對某種特殊應用而采用的專用、特定的硬件組建構成的架構按需使用，按使用計費，服務提供商可迅速交付和響應用戶通過整機購買或租賃獲取存儲容量支持PB級以上無限擴展針對某特定的應用存儲，由應用雪球決定容量，難于擴展不僅提供傳統(tǒng)訪問方式，而且提供海量數(shù)據(jù)的管理和對外的公眾服務支撐，同時采用保護數(shù)據(jù)安全的策略，采取如分片存儲、EC、ACL、證書等多重保護策略和技術，用戶可靈活配置用戶數(shù)據(jù)管理員可見，信息不夠安全。通過使用RAID提供數(shù)據(jù)保護。用戶無法靈活配置個性化存儲策略和保護策略云存儲是一個多設備、多應用、多服務協(xié)同工作的集合體，它的實現(xiàn)根據(jù)云存儲的特點及其應用領域，主要的云存儲技術涉及到：數(shù)據(jù)縮減技術存儲虛擬化技術雖然不同設備與廠商之間略有區(qū)別，但從總體來說，可概括為以下三種：不同的分布式存儲系統(tǒng)適合處理不同類型的數(shù)據(jù)，分布式存儲系統(tǒng)可以分為以下四類： 數(shù)據(jù)備份技術是將數(shù)據(jù)本身或者其中的部分在某一時間的狀態(tài)以特定的格式保存下來，以備原數(shù)據(jù)出現(xiàn)錯誤、被誤刪除、惡意加密等各種原因不可數(shù)據(jù)備份是容災的基礎，是為防止突發(fā)事故而采取的一種數(shù)據(jù)保護措施不同的備份方法，其效果不同，主要表現(xiàn)在性能、自動化程度、對現(xiàn)有基于SAN結構的LAN-FreeHost-Based(主機備份)基于主機(Host-Based)的備份是傳統(tǒng)的數(shù)據(jù)備份技術。在這種備份架構中，磁帶讀寫設備直接連接在某臺需要備份數(shù)據(jù)的應用服務器上，為該服務器優(yōu)點：備份管理簡單，數(shù)據(jù)傳輸速度快；缺點：可管理的存儲設備少，不利于備份系統(tǒng)的共享，不大適合于現(xiàn)在大型的數(shù)據(jù)備份要求，而且不能提供實時的備份需求。LAN-Based(局域網(wǎng)備份)數(shù)據(jù)的傳輸是以局域網(wǎng)絡為基礎，首先預先配置一臺服務器作為備份管理服務器，負責整個系統(tǒng)的備份操作。磁帶庫則接在某臺服務器(即介質服務器介質服務器)上，多個需要備份數(shù)據(jù)的應用服務器LAN-Free是指數(shù)據(jù)無需通過局域網(wǎng)而直接進行備份，即用戶只需將磁帶機或磁帶庫等備份設備連接到SAN中，各服務器就可把需要備份的數(shù)據(jù)直接發(fā)送到共享的備份設磁盤磁盤磁帶Server-Free備份結構優(yōu)點：數(shù)據(jù)備份和恢復時間短，網(wǎng)絡傳輸壓力小，便于同意管理和備份資源缺點：需要特定的備份應用軟件進行管理，廠商的類型兼容性問題需要統(tǒng)一,并且實施起來與LAN-Free一樣比較復雜，成本也較高，適用于大中型企業(yè)進行海量數(shù)據(jù)備份管理。數(shù)據(jù)縮減技術數(shù)據(jù)縮減技術自動精簡配置是一種存儲管理的特性,核心原理是“欺騙”操作系統(tǒng)，讓操作到原來的1/20-1/50。數(shù)據(jù)壓縮就是將收到的數(shù)據(jù)通過存儲算法存儲到更小的空間中去。數(shù)據(jù)壓縮的方式有很多，一般來說可以分為無損■無損壓縮是指使用壓縮后的數(shù)據(jù)進行解壓縮，得到的數(shù)據(jù)與原來有損壓縮是指使用壓縮后的數(shù)據(jù)進行解壓縮，得到的數(shù)據(jù)與原來的數(shù)據(jù)有所不同，但不影響人對原始資料表達的信息的理解。內(nèi)容分發(fā)網(wǎng)絡(CDN,ContentDeliveryNetwork)是一種新型網(wǎng)絡構建模式，主要是針對現(xiàn)有的Internet進行改造，其基本思想就是盡量避開互聯(lián)網(wǎng)上由于網(wǎng)絡帶寬小、網(wǎng)點分布不均、用戶訪問量大等影響數(shù)據(jù)傳輸速度和穩(wěn)定性的弊端，使數(shù)據(jù)傳輸?shù)母?、更穩(wěn)定?；ヂ?lián)網(wǎng)應用不斷發(fā)生變遷CDN業(yè)務功能不斷更新CDN應用領域不斷擴展·6.1云存儲的概念與特點·6.2云存儲的分類與結構模型·6.3云存儲與傳統(tǒng)存儲技術的對比分析·6.4云存儲的關鍵技術·6.5典型的云存儲系統(tǒng)介紹典型的云存儲系統(tǒng)介紹目前，云計算系統(tǒng)中廣泛使用的數(shù)據(jù)存儲系統(tǒng)是Google的非開源的GFS(GoogleFilesystem)和Hadoop團隊開發(fā)的GFS的開源實現(xiàn)HDFS(HadoopDistributedFileSystem),大部分IT廠商包括Yahoo、Intel的“云”計劃采用的都是HDFS的數(shù)據(jù)存儲技術。GFS是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大GFS的設計思想不同于傳統(tǒng)的文件系統(tǒng)，是針對大規(guī)模數(shù)據(jù)處理和文件大小不作為異常處理少量大文件在文件末尾附加數(shù)據(jù)分開作為異常處理大量小文件修改現(xiàn)存數(shù)據(jù)結合GFS主服務器/foo/bar應用程序應用程序Chunk2ef0GFS客戶端字節(jié)范圍)GFS數(shù)據(jù)塊服務器GFS數(shù)據(jù)塊服務器Linux文件系統(tǒng)Linux文件系統(tǒng)chunk數(shù)據(jù)主服務器GFS將整個系統(tǒng)節(jié)點分為三類角色：客戶端(Client)、主服務器寫操作控制信號和數(shù)據(jù)流23234734733一個文件小于一個數(shù)據(jù)塊的大小，并●元數(shù)據(jù)節(jié)點(Namenode)用來管理文件系統(tǒng)的命名空間。要功能是周期性將元數(shù)據(jù)節(jié)點的命名