《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》 課件 項目三 淺析云存儲服務(wù)

《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目三淺析云存儲服務(wù)任務(wù)一了解云存儲起源文件系統(tǒng)的作用？硬盤接口的種類？RAID存儲的類型？典型的數(shù)據(jù)備份策略？回顧任務(wù)引入-云存儲技術(shù)隨著計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計算技術(shù)。而云存儲就是脫胎于云計算技術(shù)的新型存儲方式，由于它廉價、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。任務(wù)描述:本節(jié)任務(wù)闡述了分布式存儲、云存儲技術(shù)的起源和發(fā)展，進而介紹了云存儲的定義和特點。任務(wù)教學(xué)目標(biāo)：了解分布式存儲了解云存儲起源及發(fā)展掌握云存儲概念及特點任務(wù)概要教學(xué)內(nèi)容什么是分布式存儲云存儲技術(shù)的起源云存儲技術(shù)的發(fā)展一二三四五云存儲概念云存儲的特點什么是分布式存儲知識點一（一）分布式云存儲特性01可擴展02低成本03高性能04易用（二）分布式存儲系統(tǒng)的挑戰(zhàn)容錯C負載均衡事務(wù)與并發(fā)控制壓縮/解壓縮易用性DEFG數(shù)據(jù)分布A一致性B

（三）分布式存儲數(shù)據(jù)分類包括所有格式的辦公文檔、文本、圖片、圖像、音頻和視頻信息等。一般存儲在關(guān)系數(shù)據(jù)庫中，可以用二維關(guān)系表結(jié)構(gòu)來表示。結(jié)構(gòu)化數(shù)據(jù)的模式（Schema，包括屬性、數(shù)據(jù)類型以及數(shù)據(jù)之間的聯(lián)系）和內(nèi)容是分開的，數(shù)據(jù)的模式需要預(yù)先定義。介于非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)之間，HTML文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)。它一般是自描述的，與結(jié)構(gòu)化數(shù)據(jù)最大的區(qū)別在于，半結(jié)構(gòu)化數(shù)據(jù)的模式結(jié)構(gòu)和內(nèi)容混在一起，沒有明顯的區(qū)分，也不需要預(yù)先定義數(shù)據(jù)的模式結(jié)構(gòu)。非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)（三）分布式存儲系統(tǒng)分類分布式文件系統(tǒng)1分布式鍵值（Key-Value）系統(tǒng)2分布式表格系統(tǒng)3分布式數(shù)據(jù)庫4（四）分布存儲系統(tǒng)對應(yīng)的數(shù)據(jù)類型分布式存儲系統(tǒng)數(shù)據(jù)類型分布式文件系統(tǒng)非結(jié)構(gòu)化數(shù)據(jù)分布式鍵值（Key-Value）系統(tǒng)比較簡單半結(jié)構(gòu)化數(shù)據(jù)分布式表格系統(tǒng)較為復(fù)雜半結(jié)構(gòu)化數(shù)據(jù)分布式數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)云存儲技術(shù)的起源知識點二（一）云存儲是由云計算逐步演變分化而來云計算是一種典型的破壞性創(chuàng)新，它利用技術(shù)進步效應(yīng)，從IT產(chǎn)業(yè)不斷高漲的成本投入和運營商薄弱環(huán)節(jié)切入，重構(gòu)傳統(tǒng)的IT市場結(jié)構(gòu)，創(chuàng)新或優(yōu)化IT產(chǎn)品和服務(wù)。廣域網(wǎng)和互聯(lián)網(wǎng)云存儲技術(shù)的發(fā)展知識點三

云存儲技術(shù)的發(fā)展1數(shù)據(jù)爆發(fā)的推動2數(shù)據(jù)安全的制約3發(fā)展趨勢云存儲概念知識點四云存儲概念云存儲通過網(wǎng)絡(luò)和分布式文件系統(tǒng)將分散的存儲設(shè)備連接、整合成一個高效、便捷、可靠的系統(tǒng)，通過某種應(yīng)用軟件共同一致地對外提供在線數(shù)據(jù)存儲和業(yè)務(wù)訪問服務(wù)。云存儲概念云存儲的特點知識點五（一）與傳統(tǒng)存儲對比比較項云存儲傳統(tǒng)存儲架構(gòu)不僅是一種架構(gòu)，更是一種服務(wù)。底層采用分布式架構(gòu)和虛擬化技術(shù)，易于擴展，單點失效不影響整體服務(wù)針對某種特殊應(yīng)用而采用的專用、特定的硬件組件構(gòu)成的架構(gòu)服務(wù)模式按需使用，按使用計費，服務(wù)提供商可迅速交付和響應(yīng)用戶通過整機購買或租貨獲取存儲容置容量支持PB級以上無限擴展針對某個特定的應(yīng)用存儲，由應(yīng)用需求決定容量，難于擴展數(shù)據(jù)管理不僅提供傳統(tǒng)訪問方式，而且提供海置數(shù)據(jù)的管理和對外的公眾服務(wù)支撐，同時采用保護數(shù)據(jù)安全的策略，采取如分片存儲、EC、ACL、證書等多重保護策略和技術(shù)，用戶可靈活配置用戶數(shù)據(jù)管理員可見，信息不夠安全。通常使用RAID提供數(shù)據(jù)保護，用戶無法靈活配置個性化存儲策略和保護策略（二）云存儲技術(shù)特點低成本高可靠服務(wù)模式高可用動態(tài)伸縮安全性大容量規(guī)范化任務(wù)小結(jié)通過使用云存儲，企業(yè)獲得了以下好處：①節(jié)約了采購存儲設(shè)備的成本。②縮短了系統(tǒng)建設(shè)周期。③減少了維護存儲設(shè)備的人力和資源費用。另一方面，云存儲服務(wù)商通過云化的管理，也獲得了不少益處：①自身的存儲資源整合后，將多余的存儲空間租賃給企業(yè)，不僅有效利用了資源，也降低了運營成本。②快速便捷地為用戶部署了遠程存儲資源，顛覆了用戶對存儲設(shè)備部署的體驗。③云存儲虛擬化和智能管理技術(shù)使服務(wù)商能夠?qū)υ拼鎯ο到y(tǒng)進行簡便、高效的運營維護。拓展訓(xùn)練Xena獨立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項目之一，開發(fā)者積極參與并由此構(gòu)建了一個充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個組織/機構(gòu)的680多位開發(fā)者累計提交了15000項修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.分布式存儲系統(tǒng)的分類？2.云存儲的定義？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目三淺析云存儲服務(wù)任務(wù)二淺談云存儲基礎(chǔ)技術(shù)文件系統(tǒng)的作用？硬盤接口的種類？RAID存儲的類型？典型的數(shù)據(jù)備份策略？回顧任務(wù)描述:本節(jié)任務(wù)闡述了存儲空間管理、數(shù)據(jù)使用及存儲、存儲高可用技術(shù)、數(shù)據(jù)備份和數(shù)據(jù)一致性處理問題，同時，對云存儲基礎(chǔ)技術(shù)問題進行了剖析。任務(wù)教學(xué)目標(biāo)：掌握云存儲基礎(chǔ)技術(shù)任務(wù)概要任務(wù)引入-云存儲技術(shù)隨著計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計算技術(shù)。而云存儲就是脫胎于云計算技術(shù)的新型存儲方式，由于它廉價、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容存儲空間管理數(shù)據(jù)使用及存儲存儲高可用技術(shù)一二三四五

數(shù)據(jù)備份數(shù)據(jù)一致性處理存儲空間管理知識點一（一）存儲空間管理存儲空間就是存儲的物理空間主要有卷、RAID技術(shù)及LUN3種。

（二）卷簡單卷是物理磁盤的一部分，通過將卷擴展到相同或不同磁盤上的未分配空間上，以增加現(xiàn)有簡單卷的大小。跨區(qū)卷是一種和簡單卷結(jié)構(gòu)相似的動態(tài)卷，其將來自多個磁盤的未分配空間合并到一個邏輯卷中。帶區(qū)卷由兩塊或兩塊以上的硬盤組成，也是一種動態(tài)卷。當(dāng)文件存到帶區(qū)卷時，系統(tǒng)會將數(shù)據(jù)分散存于各塊硬盤的空間。鏡像卷是具有容錯能力的動態(tài)卷。（三）RAID0（四）RAID1（五）RAID5（六）RAID10（七）RAID技術(shù)級別特征原理單元冗余性能利用率最多壞用途缺陷RAID0條帶分片分散存入2塊硬盤2否讀寫速度2倍100%0/2SWAP/TMP不冗余，數(shù)據(jù)難恢復(fù)RAID1鏡像相同數(shù)據(jù)存入2塊硬盤2是寫速度不變讀速度2倍50%1/2數(shù)據(jù)備份讀寫速度沒加，利用率低RAID4校驗分片分散存入2塊硬盤校驗碼存入第3塊硬盤3是讀寫速度2倍2/3=66%1/3用的很少1.壞盤時另外2塊需要重新計算還原壞盤數(shù)據(jù)2.校驗碼盤壓力大成為瓶頸RAID5校驗分片和校驗碼混合存儲3是讀寫速度2倍2/3=66%1/3用的不多壞盤時另外2塊需要重新計算還原壞盤數(shù)據(jù)RAID101+02塊硬盤1組先做RAID1多組RAID1再做RAID04是讀寫速度N倍N為組數(shù)2/42/41∈2用的最多-數(shù)據(jù)使用及存儲知識點二（一）早期存儲設(shè)備——紙帶（二）早期存儲設(shè)備——卡片（三）早期存儲設(shè)備——磁鼓IBM650計算機上的16英寸長磁鼓，有40個磁道，容量10KB，每分鐘12,500轉(zhuǎn)。（四）磁盤驅(qū)動器（五）存儲角色的演變數(shù)據(jù)的增漲導(dǎo)致了以“計算”為中心到以“數(shù)據(jù)存儲”為中心的的觀念革新。存儲領(lǐng)域的兩個重要轉(zhuǎn)折點：并行存儲：比如磁盤陣列技術(shù)（RAID）。網(wǎng)絡(luò)存儲：NAS,SAN存儲高可用技術(shù)知識點三（一）存儲高可用技術(shù)在高可用技術(shù)中，根據(jù)不同的應(yīng)用環(huán)境，從性能、經(jīng)濟等方面考慮，主要有雙機熱備、雙機互備、集群并發(fā)存取3種。（二）雙機熱備份方式（三）雙機互備方式（四）群集并發(fā)存取方式（五）對存儲系統(tǒng)的要求雙機熱備份方式：系統(tǒng)運行時，只有主服務(wù)器與存儲系統(tǒng)進行數(shù)據(jù)交換。當(dāng)發(fā)生主機故障切換時，要求存儲系統(tǒng)能與備份服務(wù)器快速建立數(shù)據(jù)通道，以支持業(yè)務(wù)的快速切換。雙機互備份方式：系統(tǒng)運行時，兩臺主機需要同時對磁盤陣列進行讀寫操作，這要求存儲系統(tǒng)具備良好的并發(fā)讀取能力和一定的負載均衡功能。（五）對存儲系統(tǒng)的要求群集并發(fā)存取方式：并發(fā)處理能力數(shù)據(jù)共享能力大規(guī)模與可擴展性可管理性高可用性（六）數(shù)據(jù)備份數(shù)據(jù)備份一般是指利用備份軟件把數(shù)據(jù)從磁盤備份到磁帶進行離線保存（最新的備份技術(shù)也支持磁盤到磁盤的備份，也就是把磁盤作為備份數(shù)據(jù)的存放介質(zhì)，以加快數(shù)據(jù)的備份和恢復(fù)速度）。（六）數(shù)據(jù)備份數(shù)據(jù)備份在一定程度上是可以保證數(shù)據(jù)安全的，但應(yīng)用于容災(zāi)系統(tǒng)時卻面臨眾多問題。備份窗口恢復(fù)時間備份間隔數(shù)據(jù)的可恢復(fù)性介質(zhì)的保管和運送備份的成本數(shù)據(jù)備份知識點三（一）常規(guī)備份實現(xiàn)方式010302備份方式增量備份完全備份差量備份（二）增量備份只有那些在上次完全制定的備份策略自動或手動將數(shù)據(jù)備份到磁帶上。（三）差異備份備份那些從上次完全備份后被修改過的文件。數(shù)據(jù)一致性處理知識點四（一）數(shù)據(jù)一致性處理數(shù)據(jù)一致性是指關(guān)聯(lián)數(shù)據(jù)之間的邏輯關(guān)系是否正確和完整。可以理解為應(yīng)用程序自己認為的數(shù)據(jù)狀態(tài)與最終寫入到磁盤中的數(shù)據(jù)狀態(tài)是否一致。數(shù)據(jù)一致性問題文件共享中的數(shù)據(jù)一致性問題時間不同步引起的數(shù)據(jù)一致性冋題Cache引起的數(shù)據(jù)一致性問題任務(wù)小結(jié)云存儲基礎(chǔ)技術(shù)包括：存儲空間管理（卷、RAID技術(shù)、LUN技術(shù)）數(shù)據(jù)存儲技術(shù)存儲高可用技術(shù)數(shù)據(jù)備份數(shù)據(jù)一致性處理拓展訓(xùn)練Xena獨立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項目之一，開發(fā)者積極參與并由此構(gòu)建了一個充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個組織/機構(gòu)的680多位開發(fā)者累計提交了15000項修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.卷的分類？2.數(shù)據(jù)的一致性如何處理？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目三淺析云存儲服務(wù)任務(wù)三淺談云存儲關(guān)鍵技術(shù)存儲空間管理？數(shù)據(jù)存儲技術(shù)？數(shù)據(jù)備份的分類？如何進行數(shù)據(jù)一致性處理？回顧任務(wù)描述:本節(jié)任務(wù)對云存儲的關(guān)鍵技術(shù)：存儲虛擬化、分布式擴展模式進行了剖析。任務(wù)教學(xué)目標(biāo)：掌握云存儲關(guān)鍵技術(shù)任務(wù)概要任務(wù)引入-云存儲技術(shù)隨著計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計算技術(shù)。而云存儲就是脫胎于云計算技術(shù)的新型存儲方式，由于它廉價、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容存儲虛擬化分布式擴展模式一二存儲虛擬化知識點一（一）存儲虛擬化將存儲資源集中到一個大容量的資源池并實行單點統(tǒng)一管理，無需中斷應(yīng)用即可改變存儲系統(tǒng)和數(shù)據(jù)遷移，提高整個系統(tǒng)的動態(tài)適應(yīng)能力。

（一）存儲虛擬化010203存儲虛擬化04多租戶模型虛擬化感知能力存儲虛擬化實施全局訪問空間（二）全局訪問空間全局訪問空間是指將磁盤和內(nèi)存資源聚集成一個單一的虛擬存儲池進行管理，計算節(jié)點可以隨意地訪問到云存儲設(shè)備空間的任意地方，這種訪問釆用同樣的訪問路徑或者方式。（三）多租戶模型多租戶架構(gòu)中，每個租戶、子租戶和用戶都可以施加獨立的策略，不同層級的策略略有不同，針對不同用途的租戶、子租戶和用戶，可以分別釆用最優(yōu)的策略，以提升服務(wù)質(zhì)量和運營效率。（四）虛擬化感知能力單數(shù)據(jù)中心面向數(shù)據(jù)塊的云存儲主要服務(wù)于虛擬機的環(huán)境，運行于計算節(jié)點之上的虛擬機會根據(jù)負載、故障和節(jié)能等種種情況下在不同的物理機之間進行飄動。支持這種飄動的實現(xiàn)需要共享的存儲來得到相應(yīng)的效率。多數(shù)據(jù)中心虛擬化感知能力發(fā)生在跨數(shù)據(jù)中心或跨獨立的兩個或多個云存儲設(shè)備之間。這種數(shù)據(jù)流動的能力是通過數(shù)據(jù)中心間的聯(lián)邦（指數(shù)據(jù)中心通過自治和合作，以耦合的方式集成在一起，共同向外提供統(tǒng)一服務(wù)的實現(xiàn)）機制來實現(xiàn)的。（五）存儲虛擬化實施（五）存儲虛擬化實施主要用途：異構(gòu)存儲系統(tǒng)整合和統(tǒng)一數(shù)據(jù)管理。實現(xiàn)方式：通過在存儲域網(wǎng)（SAN)中添加虛擬化引擎實現(xiàn)。優(yōu)點：與主機無關(guān)，不占用主機資源。能夠支持異構(gòu)主機、異構(gòu)存儲設(shè)備。使不同存儲設(shè)備的數(shù)據(jù)管理功能統(tǒng)一構(gòu)建統(tǒng)一管理平臺，可擴展性好。缺點：部分廠商數(shù)據(jù)管理功能弱，難以達到虛擬化統(tǒng)一數(shù)據(jù)管理的目的。部分廠商產(chǎn)品成熟度較低，仍然存在和不同存儲和主機的兼容性問題。（六）基于存儲設(shè)備的存儲虛擬化技術(shù)主要用途：在同一存儲設(shè)備內(nèi)部，進行數(shù)據(jù)遷移實現(xiàn)方式：在存儲控制器上添加虛擬化功能，常見于中高端存儲設(shè)備。優(yōu)點：與主機無關(guān)，不占用主機資源。數(shù)據(jù)管理功能豐富。缺點：一般只能實現(xiàn)對本設(shè)備內(nèi)磁盤的虛擬化。不同廠商間的數(shù)據(jù)管理功能不能互操作。多套存儲設(shè)備需要配置多套數(shù)據(jù)管理軟件，成本較高。（七）基于網(wǎng)絡(luò)的存儲虛擬化技術(shù)主要用途：使服務(wù)器的存儲空間可以跨越多個異構(gòu)的磁盤陣列，常用于在不同磁盤陣列之間做數(shù)據(jù)鏡像保護。實現(xiàn)方式：一般由操作系統(tǒng)下的邏輯卷管理軟件完成（安裝客戶端軟件），不同操作系統(tǒng)的邏輯卷管理軟件也不相同。優(yōu)點：支持異構(gòu)的存儲系統(tǒng)。不占用磁盤控制器資源。缺點：占用主機資源，降低應(yīng)用性能。存在操作系統(tǒng)和應(yīng)用的兼容性問題。主機數(shù)量越多，實施/管理成本越高。分布式擴展模式知識點二（一）Scale-Up和Scale-Out擴展（二）分布式擴展模式關(guān)鍵技術(shù)高速網(wǎng)絡(luò)連接技術(shù)關(guān)鍵技術(shù)分布式文件系統(tǒng)（三）高速網(wǎng)絡(luò)連接技術(shù)以太網(wǎng)（三）高速網(wǎng)絡(luò)連接技術(shù)InfiniBand架構(gòu)（三）高速網(wǎng)絡(luò)連接技術(shù)基于RapidIO的互聯(lián)架構(gòu)RapidIO是由Motorola和Mercury等公司率先倡導(dǎo)的一種高性能、低引腳數(shù)、基于數(shù)據(jù)包交換的互連體系結(jié)構(gòu)，是為滿足和未來高性能嵌入式系統(tǒng)需求而設(shè)計的一種開放式互連技術(shù)標(biāo)準(zhǔn)。（四）RapidIO特性RapidIO①可靠性⑥支持“任意拓撲類型”⑤每個處理器都有自己的內(nèi)存子系統(tǒng)選擇的推送架構(gòu)④面向大量數(shù)據(jù)傳輸?shù)母咝阅苄畔鬟f③100ns交換機直通式延遲②微秒級以下的端到端數(shù)據(jù)包發(fā)送（五）分布式文件系統(tǒng)根據(jù)計算環(huán)境和所提供功能的不同，文件系統(tǒng)可劃分為4個層次：BDAC單處理器單用戶的本地文件系統(tǒng)多處理器多用戶的本地文件系統(tǒng)多處理器單用戶的本地文件系統(tǒng)多處理器多用戶的分布式文件系統(tǒng)分布式文件系統(tǒng)（DistributedFileSystem，DFS）是指文件系統(tǒng)管理的物理存儲資源不一定直接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡(luò)與節(jié)點相連。分布式文件系統(tǒng)（五）分布式文件系統(tǒng)（六）存儲空間管理器帶內(nèi)模式帶外模式（七）分布式文件系統(tǒng)的發(fā)展NFS和AFSXFSSAN、NASSAN和NAS兩種體系結(jié)構(gòu)相結(jié)合1980s1990s2000s1995—2000大致分為三個階段：（八）經(jīng)典分布式文件系統(tǒng)介紹1.NFS允許網(wǎng)站中的計算機之間通過TCP/IP網(wǎng)絡(luò)共享資源C/S結(jié)構(gòu)基于RPC協(xié)議實現(xiàn)（八）經(jīng)典分布式文件系統(tǒng)介紹2.AFS主要用于管理分布在網(wǎng)絡(luò)不同節(jié)點上的文件。與普通文件系統(tǒng)相比，AFS的主要特點在于3個方面：分布式、跨平臺、高安全性。（八）經(jīng)典分布式文件系統(tǒng)介紹3.TigerShark/GPFS被設(shè)計用于支持大規(guī)模實時交互式多媒體應(yīng)用，如交互電視（InteractiveTelevision，ITV）。GPFS通過共享磁盤結(jié)構(gòu)來實現(xiàn)它的強大的擴展性。（八）經(jīng)典分布式文件系統(tǒng)介紹支持長時間的文件實時訪問大磁盤塊寫分塊數(shù)據(jù)復(fù)制數(shù)據(jù)一致性數(shù)據(jù)安全性系統(tǒng)可擴展性3.HadoopHDFS（八）經(jīng)典分布式文件系統(tǒng)介紹Hadoop是一個基于Java的支持?jǐn)?shù)據(jù)密集型分布式應(yīng)用的分布式文件系統(tǒng)。不僅僅是一個用于存儲的分布式文件系統(tǒng)，而是設(shè)計用來在由通用計算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架。3.Hadoop

（八）經(jīng)典分布式文件系統(tǒng)介紹Lustre文件系統(tǒng)是一個高度模塊化的系統(tǒng)，主要由3部分組成：客戶端（Client）對象存儲服務(wù)器（ObjectStorageTarget，OST）元數(shù)據(jù)服務(wù)器（MetaDataServer，MDS）。4.Lustre（八）經(jīng)典分布式文件系統(tǒng)介紹是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對海量數(shù)據(jù)進行訪問的應(yīng)用。運行于廉價的普通硬件上，但提供了容錯復(fù)制功能，可以給大量的用戶提供總體性能較高的可靠服務(wù)。5.GoogleFS（八）經(jīng)典分布式文件系統(tǒng)介紹OpenStack是一個項目和一個開源軟件。它提供了一個部署云的操作平臺或工具集。宗旨在于，幫助組織運行為虛擬計算或存儲服務(wù)的云，為公有云、私有云，也為大云、小云提供可擴展的、靈活的云計算。6.OpenStackSwift任務(wù)小結(jié)1、在云存儲關(guān)鍵技術(shù)中，主要有兩方面內(nèi)容：存儲虛擬化和分布式擴展方式。2、存儲虛擬化中主要包括全局訪問空間、多租戶模型、虛擬化感知能力、存儲虛擬化實施技術(shù)。拓展訓(xùn)練Xena獨立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項目之一，開發(fā)者積極參與并由此構(gòu)建了一個充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個組織/機構(gòu)的680多位開發(fā)者累計提交了15000項修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.基于存儲設(shè)備的存儲虛擬化技術(shù)？2.基于網(wǎng)絡(luò)的存儲虛擬化技術(shù)？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目三淺析云存儲服務(wù)任務(wù)四淺析存儲架構(gòu)什么是存儲虛擬化？數(shù)據(jù)存儲的分布式擴展方式？什么是全局訪問空間？什么是多租戶模型？回顧任務(wù)描述:本節(jié)任務(wù)對典型的DAS、NAS、SAN存儲架構(gòu)進行了剖析，并對幾種存儲架構(gòu)進行了比較。任務(wù)教學(xué)目標(biāo)：了解DAS架構(gòu)了解NAS架構(gòu)了解SAN架構(gòu)任務(wù)概要任務(wù)引入-云存儲技術(shù)隨著計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計算技術(shù)。而云存儲就是脫胎于云計算技術(shù)的新型存儲方式，由于它廉價、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容DAS架構(gòu)NAS架構(gòu)SAN架構(gòu)一二三四DAS、NAS和SAN的比較DAS架構(gòu)知識點一（一）直連式存儲（DAS）一種直接與主機系統(tǒng)相連接的存儲設(shè)備，如作為服務(wù)器的計算機內(nèi)部硬件驅(qū)動。（二）服務(wù)器種類—硬盤驅(qū)動器臺式機架式刀片式（三）DAS—優(yōu)點高性能。服務(wù)器—存儲，不通過網(wǎng)線，沒有網(wǎng)絡(luò)結(jié)構(gòu)。而是直接連接?？勺鞅镜貑颖P。而ssd固態(tài)盤的流行，優(yōu)點更明顯。大容量存儲。多個磁盤組合成一個邏輯盤，即raid。提高存取性能。操作單個文件資料，同時多個物理硬盤并行工作。實施簡單：無須專業(yè)人員操作和維護，節(jié)省用戶投資。（四）DAS—使用環(huán)境DAS使用環(huán)境服務(wù)器在地理分布上很分散通過SAN（存儲區(qū)域網(wǎng)絡(luò)）或NAS（網(wǎng)絡(luò)直接存儲）在它們之間進行互連非常困難時。01存儲系統(tǒng)必須被直接連接到應(yīng)用服務(wù)器上時eg：MicrosoftClusterServer02包括許多數(shù)據(jù)庫應(yīng)用和應(yīng)用服務(wù)器在內(nèi)的應(yīng)用它們需要直接連接到存儲器上，群件應(yīng)用和一些郵件服務(wù)也包括在內(nèi)。03（五）DAS—缺點擴展性差。服務(wù)器與存儲設(shè)備直接連接的方式導(dǎo)致出現(xiàn)新的應(yīng)用需求時，只能為新增的服務(wù)器單獨配置存儲設(shè)備，造成重復(fù)投資。資源利用率低。DAS方式的存儲長期來看，存儲空間無法充分利用，存在浪費。可管理性差。DAS方式數(shù)據(jù)依然是分散的，不同的應(yīng)用各有一套存儲設(shè)備。管理分散，無法集中。異構(gòu)化嚴(yán)重。DAS方式使得企業(yè)在不同階段采購了不同型號、不同廠商的存儲設(shè)備，設(shè)備之間異構(gòu)化現(xiàn)象嚴(yán)重，導(dǎo)致維護成本居高不下。NAS架構(gòu)知識點二（一）網(wǎng)絡(luò)存儲設(shè)備（NetworkAttachedStorage）NAS是一種采用直接與網(wǎng)絡(luò)介質(zhì)相連的特殊設(shè)備實現(xiàn)數(shù)據(jù)存儲的機制。（二）NAS—優(yōu)點01NAS可以即插即用02NAS通過TCP/IP網(wǎng)絡(luò)連接到應(yīng)用服務(wù)器03專用的操作系統(tǒng)支持不同的文件系統(tǒng)，提供不同操作系統(tǒng)的文件共享。04經(jīng)過優(yōu)化的文件系統(tǒng)提高了文件的訪問效率，也支持相應(yīng)的網(wǎng)絡(luò)協(xié)議。（三）3.NAS—缺點01NAS設(shè)備與客戶機通過企業(yè)網(wǎng)進行連接，因此數(shù)據(jù)備份或存儲過程中會占用網(wǎng)絡(luò)的帶寬。02NAS的可擴展性受到設(shè)備大小的限制。03NAS訪問需要經(jīng)過文件系統(tǒng)格式轉(zhuǎn)換，所以是以文件一級來訪問的，不適合Block級的應(yīng)用，尤其是要求使用裸設(shè)備的數(shù)據(jù)庫系統(tǒng)。SAN架構(gòu)知識點三（一）存儲區(qū)域網(wǎng)絡(luò)（StorageAreaNetwork）指存儲設(shè)備相互連接且與一臺服務(wù)器或一個服務(wù)器群相連的網(wǎng)絡(luò)。接口連接設(shè)備通信控制協(xié)議SAN（二）SAN依據(jù)存儲局域網(wǎng)類型分為FCSAN和IPSAN1.光纖交換機2.HBA主機總線適配卡1.以太交換機FC：FibreChannel光纖通道（三）光纖和網(wǎng)線光纖：單模（黃色），多模（橙色）單模距離：大約10-20公里多模距離：幾百米-2公里網(wǎng)線：傳輸距離不超過100米（四）FCSANFCSAN的特點：1、FCSAN擴大服務(wù)器和存儲之間距離2、FCSAN傳輸距離通常不超50公里3、FCSAN互操作性是主要問題4、存儲價格貴，需要HBA卡IPSAN的優(yōu)勢：1、千兆/萬兆交換機替代光纖交換機2、客戶端的iSCSI卡替換HBA卡3、iSCSI接口存儲設(shè)備替換光纖磁陣4、IPSAN擴展性更好FC-HBA卡ISCSI-HBA卡（五）SAN誤區(qū)早期的SAN存儲系統(tǒng)多數(shù)由FC存儲設(shè)備構(gòu)成，導(dǎo)致很多用戶誤以為SAN就是光纖通道設(shè)備。SAN代表的是一種專用于存儲的網(wǎng)絡(luò)架構(gòu)，與協(xié)議和設(shè)備類型無關(guān)。（六）SAN優(yōu)點設(shè)備整合數(shù)據(jù)集中高擴展性總體擁有成本低SAN優(yōu)點DAS、NAS和SAN的比較知識點四（一）DAS、NAS和SAN的比較NAS、SAN與CAS的比較知識點五（一）全局訪問空間內(nèi)容尋址存儲（ContentAddressedStorage，CAS）具有面向?qū)ο蟠鎯μ卣?，基于磁記錄技術(shù)，它按照所存儲數(shù)據(jù)內(nèi)容的數(shù)字指紋尋址，具有良好的可搜索性、安全性、可靠性和擴展性。（二）SAN、NAS與CAS比較任務(wù)小結(jié)1、直連式存儲（DAS）：這是一種直接與主機系統(tǒng)相連接的存儲設(shè)備，如作為服務(wù)器的計算機內(nèi)部硬件驅(qū)動。2、NAS是一種采用直接與網(wǎng)絡(luò)介質(zhì)相連的特殊設(shè)備實現(xiàn)數(shù)據(jù)存儲的機制。3、存儲區(qū)域網(wǎng)絡(luò)（SAN）是指存儲設(shè)備相互連接且與一臺服務(wù)器或一個服務(wù)器群相連的網(wǎng)絡(luò)。4、SAN由3個基本的組件構(gòu)成：接口、連接設(shè)備和通信控制協(xié)議。拓展訓(xùn)練Xena獨立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項目之一，開發(fā)者積極參與并由此構(gòu)建了一個充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個組織/機構(gòu)的680多位開發(fā)者累計提交了15000項修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.DAS？2.NAS？3.SAN的架構(gòu)？4.NAS的架構(gòu)？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目三淺析云存儲服務(wù)任務(wù)五淺析對象存儲系統(tǒng)什么是DAS？NAS存儲架構(gòu)？SAN存儲架構(gòu)？SAN存儲的優(yōu)勢和缺點？回顧任務(wù)描述:本節(jié)任務(wù)闡述了對象存儲系統(tǒng)，剖析了對象存儲與傳統(tǒng)存儲的差異，最后介紹了軟件定義存儲（SDS）和典型的對象存儲系統(tǒng)OpenStackSwift。任務(wù)教學(xué)目標(biāo)：了解結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)了解對象存儲與傳統(tǒng)存儲了解為什么要用OpenStackSwift任務(wù)概要任務(wù)引入-云存儲技術(shù)隨著計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計算技術(shù)。而云存儲就是脫胎于云計算技術(shù)的新型存儲方式，由于它廉價、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)對象存儲系統(tǒng)定義對象存儲與傳統(tǒng)存儲一二三四軟件定義存儲（SDS）五為什么是OpenStackSwift結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)知識點一（一）結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)部分1部分2……互相關(guān)聯(lián)層次分明例如：數(shù)字，符號；關(guān)系型數(shù)據(jù)庫（二維表）場景：財務(wù)系統(tǒng)、醫(yī)療數(shù)據(jù)庫、教育一卡通等（一）結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)庫的二維表Execl的電子成績單二維：有行有列圖書館：圖書管理軟件（二）半結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)是結(jié)構(gòu)化數(shù)據(jù)的一種形式，它并不符合關(guān)系型數(shù)據(jù)庫或其他數(shù)據(jù)表的形式關(guān)聯(lián)起來的數(shù)據(jù)模型結(jié)構(gòu)，但包含相關(guān)標(biāo)記，用來分隔語義元素以及對記錄和字段進行分層。<name>A</name><age>13</age><gender>female</gender></person><person><name>B</name><gender>male</gender></person>常見的半結(jié)構(gòu)數(shù)據(jù)有XML和JSON，對于對于兩個XML文件，

第一個可能有第二個可能有（三）非結(jié)構(gòu)化數(shù)據(jù)相對于結(jié)構(gòu)化數(shù)據(jù)而言，不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)。場景：醫(yī)療影像系統(tǒng)、教育點播系統(tǒng)，文件服務(wù)器等

A圖像B文本C視頻D超媒體E非關(guān)系型數(shù)據(jù)庫（三）非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)的存儲要求持續(xù)性可訪問性低成本可管理型（四）結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù)完全結(jié)構(gòu)的數(shù)據(jù)如：關(guān)系型數(shù)據(jù)庫面向?qū)ο髷?shù)據(jù)庫中的數(shù)據(jù)完全無結(jié)構(gòu)的數(shù)據(jù)如：聲音圖像文件半結(jié)構(gòu)的數(shù)據(jù)如：HTML文檔對象存儲系統(tǒng)定義知識點二對象存儲系統(tǒng)定義1.對象不是要管理塊和文件，純粹的對象存儲系統(tǒng)管理的是對象。更精確的講，所有現(xiàn)在的對象存儲系統(tǒng)把文件作為對象來管理。2.元數(shù)據(jù)對象由元數(shù)據(jù)（可提供對象中數(shù)據(jù)的上下文關(guān)系信息）、有效負載和實際數(shù)據(jù)組成。3.固定對象純對象存儲代表一個固定內(nèi)容的倉庫，意味著對象可以被創(chuàng)建、刪除和讀取，但不能被修改。4.冗余性對象存儲通過在多個節(jié)點上存儲相同對象的多個副本實現(xiàn)冗余性和高可靠性。對象存儲系統(tǒng)定義5.協(xié)議支持對象存儲通常通過基于HTTP協(xié)議的RESTAPI訪問。6.應(yīng)用軟件支持與集成訪問對象存儲依賴于RESTAPI，除了客戶化應(yīng)用程序集成，一些商業(yè)應(yīng)用，特別是備份和歸檔應(yīng)用，已經(jīng)增加了對于對象存儲集成的支持，主要連接到AmazonS3云存儲。7.云功能通過互聯(lián)網(wǎng)進行共享訪問；多租戶和不同用戶數(shù)據(jù)的安全隔離；云的計量和收費的自動跟蹤。8.用例對象存儲在經(jīng)常變化的非常大的非結(jié)構(gòu)化數(shù)據(jù)存儲中工作的非常好，也可作為不活躍數(shù)據(jù)的交易存儲層之外的存儲層，或者是歸檔存儲。對象存儲與傳統(tǒng)存儲知識點三（一）各存儲系統(tǒng)比較

塊存儲文件存儲對象存儲傳輸單位塊文件對象：攜帶自定義元數(shù)據(jù)的文件傳輸協(xié)議光纖，iSCSI，SATACIFS&NFS基于HTTP的REST/SOAPAPI云數(shù)據(jù)固定屬性固定文件屬性支持自定義云數(shù)據(jù)適用場景交易數(shù)據(jù)和高頻次改變的數(shù)據(jù)文件數(shù)據(jù)簡易存儲及共享內(nèi)容長項交易數(shù)據(jù)簡單訪問、易于管理可擴展性和分布式訪問文件修改可在存儲上即時更改文件可在存儲上即時更改文件額外的對象會被創(chuàng)建限制難以跨數(shù)據(jù)中心擴容在十億節(jié)點下，元數(shù)據(jù)和擴展性會成為瓶頸并不是為了高頻次操作的數(shù)據(jù)設(shè)計的（二）對象存儲分類具備云功能的水平擴展NAS第二代對象存儲系統(tǒng)CAS對象存儲分類020301（三）對象存儲組成結(jié)構(gòu)對象存儲系統(tǒng)存放容器A=ID1容器B=ID2……對象1=ID3對象2=ID4……對象存儲系統(tǒng)：容器（Bucket）+對象（Object）+（四）對象存儲—分層結(jié)構(gòu)對比扁平化的更少的元數(shù)據(jù)存儲和訪問（五）對象存儲—特點1容量：TB-EB數(shù)量：十個-百億對象字節(jié)：數(shù)個-萬億字節(jié)超強擴展性2動態(tài)數(shù)據(jù)保護級別-保留期限-復(fù)制分?jǐn)?shù)等基于策略自動化管理3同一種架構(gòu)，同一套系統(tǒng)不同用戶，不同應(yīng)用多租戶4后臺數(shù)據(jù)掃描完整性校驗自動化對象修復(fù)完整性/安全性（六）對象存儲—應(yīng)用場景1存儲資源池2網(wǎng)盤應(yīng)用3集中備份4歸檔和分級存儲軟件定義存儲（SDS）知識點四（一）軟件定義存儲（SDS）是一種數(shù)據(jù)存儲方式，所有存儲相關(guān)的控制工作都僅在相對于物理存儲硬件的外部軟件中，在一個服務(wù)器上或者作為操作系統(tǒng)（OS）或hypervisor的一部分。（二）SDS系統(tǒng)一共分為4個層次01存儲路由（Storagerouting）02存儲韌性（Storageresilience）03物理硬件（physicalhardware）04帶外控制器（Out-of-bandcontroller）（三）軟件定義存儲的優(yōu)點SDS系統(tǒng)可以高效地管理存儲規(guī)模，提髙基礎(chǔ)設(shè)施的運營效率。軟硬件的解耦合允許在標(biāo)準(zhǔn)服務(wù)器硬件之上構(gòu)筑一個統(tǒng)一的存儲系統(tǒng)。SDS解決方案通常是開源的，這意味著更好的標(biāo)準(zhǔn)、更多的工具，以及避免鎖定到單一供應(yīng)商那里。為什么是OpenStackSwift知識點四為什么是OpenStackSwift是一種全新的存儲系統(tǒng)可以安裝在所謂的商品硬件之上Swift是一個對象存儲系統(tǒng)Swift擁有廣泛的用途Swift任務(wù)小結(jié)實現(xiàn)對象存儲的多種方式：CAS、第二代對象存儲系統(tǒng)、具備云功能的水平擴展NASSDS方案是存儲非結(jié)構(gòu)化數(shù)據(jù)的最佳選擇：存儲路由（Storagerouting）存儲韌性（Storageresilience）物理硬件（physicalhardware）帶外控制器（Out-of-bandcontroller）Swift是一個對象存儲系統(tǒng)，可以安裝在所謂的商品硬件（commodityhardware）之上，是一個在保障數(shù)據(jù)可用性前提下易于擴展容忍故障的分布式系統(tǒng)。拓展訓(xùn)練Xena獨立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項目之一，開發(fā)者積極參與并由此構(gòu)建了一個充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個組織/機構(gòu)的680多位開發(fā)者累計提交了15000項修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.對象存儲的定義？2.實現(xiàn)對象存儲的幾種方式？3.為什么SDS方案是存儲非結(jié)構(gòu)化數(shù)據(jù)的最佳選擇？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目三淺析云存儲服務(wù)任務(wù)六走進Swift什么是DAS？NAS存儲架構(gòu)？SAN存儲架構(gòu)？SAN存儲的優(yōu)勢和缺點？回顧任務(wù)描述:本節(jié)任務(wù)對OpenStackSwift對象存儲組件進行了系統(tǒng)的闡述，剖析了Swift的特性、典型應(yīng)用場景和Swift組件的支撐技術(shù)CAP理論。任務(wù)教學(xué)目標(biāo)：了解Swift特性了解Swift應(yīng)用場景了解CAP理論任務(wù)概要任務(wù)引入-云存儲技術(shù)隨著計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計算技術(shù)。而云存儲就是脫胎于云計算技術(shù)的新型存儲方式，由于它廉價、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容Swift簡介Swift的特性Swift應(yīng)用場景一二三四CAP理論簡介五知識拓展：CAP理解Swift簡介知識點一（一）Swift的簡介（一）Swift的簡介（二）Openstack官網(wǎng)Openstack官網(wǎng)：https:///queens/（三）Openstack界面（四）Swift開發(fā)歷史2009年，一組在RackSpace工作的開發(fā)者和工程師針對快速增長的數(shù)據(jù)而開始Swift的研發(fā)。經(jīng)過一年多努力，他們開發(fā)出了一個可以替代原有存儲系統(tǒng)的對象存儲系統(tǒng)。Swift的目標(biāo)是創(chuàng)建一個類似于Amazon的S3（SimpleStorageService）的可以運行在云計算環(huán)境下的簡單存儲系統(tǒng)，能夠存儲PB級的數(shù)據(jù)并且高度可用。2010年7月，RackSpace將Swift的代碼貢獻給了OpenStack社區(qū)，至此，Swift成為了一個開源的超量存儲系統(tǒng)。（五）Swift商業(yè)發(fā)展Swift在一些本土互聯(lián)網(wǎng)公司有一些成功的應(yīng)用，包括新浪、美團、愛奇藝、鳳凰網(wǎng)等。國外的應(yīng)用更為廣泛。早在2010年，Swift就迎來了第一個Rackspace之外的商用案例——韓國電信，大家很熟悉的維基百科、ebay等也是Swift的用戶。隨著互聯(lián)網(wǎng)技術(shù)的應(yīng)用架構(gòu)逐漸被傳統(tǒng)行業(yè)接受，對象存儲和Swift將受到越來越廣泛的關(guān)注。從OpenStackKilo版本的數(shù)據(jù)來看，Swift社區(qū)呈現(xiàn)出多元化的特點而且正在健康的發(fā)展。（五）Swift商業(yè)發(fā)展Swift的特性知識點二（一）Swift的特性存放大量非結(jié)構(gòu)化數(shù)據(jù)、支持多租戶、可以高擴展的持久性對象存儲系統(tǒng)。Swift通過RESTAPI來存放、檢索和刪除容器中的對象?？蓴U展性高并發(fā)對稱系統(tǒng)架構(gòu)數(shù)據(jù)持久性設(shè)備要求低管理友好性開發(fā)的友好性7個OpenStack官網(wǎng)中，列舉了Swift的20多個特性（二）極高的數(shù)據(jù)持久性定義：可理解成數(shù)據(jù)的可靠性。是指數(shù)據(jù)存儲到系統(tǒng)中后，到某一天數(shù)據(jù)丟失的可能性。例如：AmazonS3的數(shù)據(jù)持久性是11個9。即如果存儲1萬(4個0)個文件到S3中，1千萬(7個0)年之后，可能會丟失其中1個文件。Swift：在數(shù)據(jù)復(fù)制3份的情況下，數(shù)據(jù)持久性的SLA能達到10個9。（二）極高的數(shù)據(jù)持久性Swift：獨特的、分布式的架構(gòu)設(shè)計。對象1對象1對象1對象1集群區(qū)域A區(qū)域B區(qū)域C寫操作：至少兩個副本完成，一個寫操作才算完成。審計器：保證數(shù)據(jù)不會出故障。復(fù)制器：保證對象在集群中有足夠副本。（三）完全對稱的系統(tǒng)架構(gòu)定義：Swift的各節(jié)點完全對稱，從而極大地降低系統(tǒng)維護成本。（去中心化）武漢機房單點故障Swift元數(shù)據(jù)存儲是完全均勻隨機分布，存儲多份。整個Swift集群中沒有一個角色是單點的，架構(gòu)設(shè)計上保證無單點業(yè)務(wù)。（四）可擴展性1數(shù)據(jù)存儲容量2性能（吞吐量）由于Swift的對稱設(shè)計架構(gòu)，擴容只需簡單地添加機器，系統(tǒng)自動化完成數(shù)據(jù)遷移，促使各存儲節(jié)點重新達到平衡狀態(tài)。（五）高并發(fā)為滿足Web應(yīng)用需要，只有大量存儲空間是不夠的，更重要是存儲系統(tǒng)可以支持高度的并發(fā)性。Swift通過采用“無共享”的方法以及其他方法來提高處理高并發(fā)的能力。（六）硬件設(shè)備要求低集群中單個設(shè)備的可靠性不那么重要，所以可以在普通的硬件設(shè)備上。根據(jù)應(yīng)用程序?qū)﹀e誤的容忍度以及更換故障設(shè)備的能力，來選用不同質(zhì)量和配置的硬件。（七）開發(fā)的友好性Swift可以通過互聯(lián)網(wǎng)直接使用。同時為多個應(yīng)用提供數(shù)據(jù)存儲服務(wù)。應(yīng)用開發(fā)者：專注開發(fā)應(yīng)用，不用擔(dān)心數(shù)據(jù)存儲問題。Swift小功能概覽：靜態(tài)網(wǎng)站托管自動作廢對象有時間期限的URL資源限量直接通過HTML表格上傳版本控制多區(qū)域讀訪問控制列表（八）管理友好性低價標(biāo)準(zhǔn)設(shè)備高性能高容量高持久性架構(gòu)優(yōu)美代碼簡介多測試日志體現(xiàn)Swift應(yīng)用場景知識點三（一）Swift應(yīng)用場景1云平臺虛擬機鏡像存儲引擎例子：openstack私有云、dropbox普通非結(jié)構(gòu)化數(shù)據(jù)資料例子：大量的公司或企業(yè)（二）Swift應(yīng)用場景2數(shù)據(jù)分析例子：醫(yī)藥-財務(wù)-大數(shù)據(jù)公司備份、歸檔和災(zāi)難恢復(fù)例子：所有用戶

（三）Swift應(yīng)用場景靜態(tài)網(wǎng)站托管例子：網(wǎng)站公司、創(chuàng)業(yè)公司等CAP理論簡介知識點四（一）背景云存儲世界中的用戶需求那么多有沒有一種萬能的存儲系統(tǒng)可以滿足所有可能？（二）用戶需求（CAP）一致性（Consistency）：源數(shù)據(jù)變，副本同步更新可用性（Availability）：操作可以，立馬相應(yīng)分區(qū)容錯性（Partition-tolerance）：網(wǎng)絡(luò)不互通的承受能力大數(shù)據(jù)中的分布式系統(tǒng)：不可能同時滿足這三種需求！?。。ㄈ┓植际酱鎯Α疽鈭D武漢上海北京寫？？（三）分布式存儲—示意圖副本B和C，一致or不一致第1種等到B、C三份數(shù)據(jù)一致后返回強一致性第2種讀操作立即返回，容忍BC和A讀取不一致弱一致性結(jié)論：副本越多，耗時更長，可用性（立即返回數(shù)據(jù)能力）越差！結(jié)論：可用性明顯提高，副本也可以讀，但一致性差！知識拓展：CAP理解知識點五C-A-P關(guān)系解釋斷開數(shù)據(jù)A例子：若數(shù)據(jù)A只在節(jié)點1保存。分區(qū)后，其他的不能訪問。無法容忍！做法：數(shù)據(jù)A多復(fù)制副本，分區(qū)出現(xiàn)，會分布多個區(qū)域！容忍度提高！分區(qū)：原本不同節(jié)點互通，因為故障，不通，最后分成幾個獨立區(qū)域！多副本——數(shù)據(jù)可能不一致？要一致——等待全部數(shù)據(jù)更新成功——可用性問題？C-A-P總結(jié)滿足：分區(qū)容忍度加副本可能：數(shù)據(jù)不一致性數(shù)據(jù)完全一致若復(fù)制時間足夠不能及時響應(yīng)可用性差應(yīng)用—開發(fā)云存儲架構(gòu)根據(jù)業(yè)務(wù)，確定你要C—A—P的哪兩個？？例子1：銀行系統(tǒng)（考慮一致性C），A和P要考慮降低一個。

分布式數(shù)據(jù)系統(tǒng)，分區(qū)容錯性P肯定需要。則放棄A，考慮CP。例子2：Web網(wǎng)站（考慮可用性A），C和P要考慮降低一個。

分布式數(shù)據(jù)系統(tǒng)，分區(qū)容錯性P肯定需要。則放棄C，考慮AP。而Swift存儲系統(tǒng)：考慮AP，放棄C。強調(diào)“最終一致性”任務(wù)小結(jié)1.Swift應(yīng)用場景：引擎、普通存儲、數(shù)據(jù)分析、備份和托管等。3.Swift特性主要包括數(shù)據(jù)持久性、對稱架構(gòu)等七個。3.CAP是設(shè)計分布式存儲架構(gòu)的基礎(chǔ)經(jīng)典理論。拓展訓(xùn)練Xena獨立學(xué)習(xí)OpenStack社區(qū)正式發(fā)布第24個版本Xena，OpenStack作為廣泛部署的開源云基礎(chǔ)設(shè)施軟件，其新版本增加了對新型硬件功能的支持，優(yōu)化了各類組件間的集成，通過減少技術(shù)債務(wù)來維護OpenStack軟件的穩(wěn)定可靠性。OpenStack作為全球最活躍的開源項目之一，開發(fā)者積極參與并由此構(gòu)建了一個充滿活力的社區(qū)，在Xena版本為期25周的開發(fā)中，來自125個組織/機構(gòu)的680多位開發(fā)者累計提交了15000項修改。1.閱讀2021年10月6日OpenStack社區(qū)發(fā)布的Xena版本文檔。2.了解Xena版本的最新特性。3.嘗試安裝部署Xena版本。拓展訓(xùn)練1.Swift的特性？2.CAP經(jīng)典理論？作業(yè)謝謝！THANKS!《大數(shù)據(jù)存儲技術(shù)與應(yīng)用》大數(shù)據(jù)存儲技術(shù)與應(yīng)用項目三淺析云存儲服務(wù)任務(wù)七Swift工作原理Swift的特性？Swift的應(yīng)用工作場景？CAP定義？CAP理論？回顧任務(wù)描述:本節(jié)任務(wù)對Swift的概念、工作原理進行了系統(tǒng)闡述，剖析了Swift的總體架構(gòu)以及虛節(jié)點和環(huán)的工作原理。任務(wù)教學(xué)目標(biāo)：了解Swift核心概念及架構(gòu)理解Swift工作原理任務(wù)概要任務(wù)引入-云存儲技術(shù)隨著計算機技術(shù)、互聯(lián)網(wǎng)技術(shù)的發(fā)展，以及近些年全球數(shù)據(jù)爆發(fā)式地增長，催生了云計算技術(shù)。而云存儲就是脫胎于云計算技術(shù)的新型存儲方式，由于它廉價、便捷等優(yōu)勢，備受青睞，在短短幾年便得到了充分的發(fā)展與應(yīng)用。教學(xué)內(nèi)容核心概念總體架構(gòu)Swift的工作原理一二三核心概念知識點一（一）Swift邏輯結(jié)構(gòu)賬號A賬號B賬號C容器容器容器對象對象（二）SwiftURLURL：網(wǎng)址形式的訪問具體信息的方式。對Swift的服務(wù)請求都是通過RESTAPI用URL的訪問。例子：/v1/account/container/object賬號容器對象（三）賬號賬號：一個租戶。它可以是個人、部門或公司等。

Swift通過創(chuàng)建賬號使多個用戶和應(yīng)用可以同時并發(fā)地使用存儲系統(tǒng)。賬號的數(shù)據(jù)庫存儲下屬，容器信息（名稱、創(chuàng)建日期等）（四）容器容器：類似于文件系統(tǒng)中的目錄。容器的數(shù)據(jù)庫存儲下屬，對象信息（名稱、創(chuàng)建日期等）【注意：同一賬號，不同容器名稱不同賬號，相同容器名稱】（五）對象對象：類似于文件系統(tǒng)中的文件。對象存儲核心信息（圖片、錄像、日志等）文件總體架構(gòu)知識點二公網(wǎng)私網(wǎng)代理節(jié)點存儲節(jié)點URL請求（一）Swift部署架構(gòu)（二）代理服務(wù)器Proxyserver對外的SwiftRESTAPI接口負責(zé)處理對swift的所有請求至少兩臺代理服務(wù)器（HTTP服務(wù)器）對內(nèi)連接和通信swift集群中每個組件查詢賬號-容器-對象位置，并反饋對外對內(nèi)（四）總體架構(gòu)