海量分布式存儲(chǔ)的概念與技術(shù)

海量分布式存儲(chǔ)的概念與技術(shù)第1頁，課件共21頁，創(chuàng)作于2023年2月Page

2目錄海量分布式存儲(chǔ)的概念01存儲(chǔ)模式選擇02網(wǎng)絡(luò)存儲(chǔ)技術(shù)直連式存儲(chǔ)技術(shù)對象存儲(chǔ)技術(shù)數(shù)據(jù)庫策略03第2頁，課件共21頁，創(chuàng)作于2023年2月Page

3一、概念如今的互聯(lián)網(wǎng)正處于一個(gè)信息爆炸的時(shí)代。面對信息爆炸的互聯(lián)網(wǎng)，對信息的存儲(chǔ)和處理也就產(chǎn)生了海量的數(shù)據(jù)。第3頁，課件共21頁，創(chuàng)作于2023年2月Page

4概念海量數(shù)據(jù)是指數(shù)據(jù)量極大，往往是Terabyte(10^12bytes)、Petabyte(10^15bytes)甚至Exabyte(10^18bytes)級的數(shù)據(jù)集合。存儲(chǔ)這些海量信息不但要求存儲(chǔ)設(shè)備有很大的儲(chǔ)存容量，且還需要大規(guī)模數(shù)據(jù)庫來存儲(chǔ)和處理這些數(shù)據(jù)，在滿足通用關(guān)系數(shù)據(jù)庫技術(shù)要求的同時(shí)，更需要對海量存儲(chǔ)的模式、數(shù)據(jù)庫策略及應(yīng)用體系架構(gòu)有更高的設(shè)計(jì)考慮。第4頁，課件共21頁，創(chuàng)作于2023年2月Page

5二、存儲(chǔ)模式的選擇存儲(chǔ)系統(tǒng)的存儲(chǔ)模式影響著整個(gè)海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能，為了提供高性能的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，應(yīng)該考慮選擇良好的海量存儲(chǔ)模式對于海量數(shù)據(jù)而言，實(shí)現(xiàn)單一設(shè)備上的存儲(chǔ)顯然是不合適的，甚至是不可能的。分布式是解決這種問題的一個(gè)很好的解決方案。存儲(chǔ)分類（根據(jù)服務(wù)器類型）第5頁，課件共21頁，創(chuàng)作于2023年2月Page

62.1直連式存儲(chǔ)（DAS）其存儲(chǔ)設(shè)備通過電纜（通常是SCSI接口電纜）或者光纖直接連到服務(wù)器，I/O請求直接發(fā)送到存儲(chǔ)設(shè)備，它依賴于服務(wù)器，本身不帶有任何存儲(chǔ)操作系統(tǒng)。典型DAS結(jié)構(gòu)第6頁，課件共21頁，創(chuàng)作于2023年2月Page

72.1直連式存儲(chǔ)（DAS）主要問題和不足： 直連式存儲(chǔ)依賴服務(wù)器主機(jī)操作系統(tǒng)進(jìn)行數(shù)據(jù)的IO讀寫和存儲(chǔ)維護(hù)管理，數(shù)據(jù)備份和恢復(fù)要求占用服務(wù)器主機(jī)資源（包括CPU、系統(tǒng)IO等），數(shù)據(jù)備份通常占用服務(wù)器主機(jī)資源20-30%，因此許多企業(yè)用戶的日常數(shù)據(jù)備份常常在深夜或業(yè)務(wù)系統(tǒng)不繁忙時(shí)進(jìn)行，以免影響正常業(yè)務(wù)系統(tǒng)的運(yùn)行。 直連式存儲(chǔ)的數(shù)據(jù)量越大，備份和恢復(fù)的時(shí)間就越長，對服務(wù)器硬件的依賴性和影響就越大。 無論直連式存儲(chǔ)還是服務(wù)器主機(jī)的擴(kuò)展，從一臺(tái)服務(wù)器擴(kuò)展為多臺(tái)服務(wù)器組成的群集，或存儲(chǔ)陣列容量的擴(kuò)展，都會(huì)造成業(yè)務(wù)系統(tǒng)的停機(jī)，從而給企業(yè)帶來經(jīng)濟(jì)損失第7頁，課件共21頁，創(chuàng)作于2023年2月Page

82.1直連式存儲(chǔ)（DAS）由于DAC本身弊端與網(wǎng)絡(luò)技術(shù)的崛起，直連式存儲(chǔ)(DAS)已顯得非常力不從心，存儲(chǔ)模式從以服務(wù)器為中心轉(zhuǎn)向以數(shù)據(jù)為中心的網(wǎng)絡(luò)存儲(chǔ)模式，網(wǎng)絡(luò)存儲(chǔ)也成為目前典型存儲(chǔ)技術(shù)第8頁，課件共21頁，創(chuàng)作于2023年2月Page

92.2網(wǎng)絡(luò)存儲(chǔ)方式存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)網(wǎng)絡(luò)附加存儲(chǔ)(NAS)單擊此處添加文字單擊此處添加文字單擊此處添加文字單擊此處添加文字網(wǎng)絡(luò)存儲(chǔ)方式第9頁，課件共21頁，創(chuàng)作于2023年2月Page

102.2.1網(wǎng)絡(luò)附加存儲(chǔ)(NAS)或稱網(wǎng)絡(luò)接入存儲(chǔ)，采用網(wǎng)絡(luò)技術(shù)，通過網(wǎng)絡(luò)交換機(jī)連接存儲(chǔ)系統(tǒng)和服務(wù)器主機(jī)，建立專用于數(shù)據(jù)存儲(chǔ)的存儲(chǔ)私網(wǎng)。它擁有自己的文件系統(tǒng)，通過NFS或CIFS這兩種網(wǎng)絡(luò)文件系統(tǒng)對外提供文件訪問服務(wù)。NAS將存儲(chǔ)設(shè)備通過標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)連接到現(xiàn)有的網(wǎng)絡(luò)上來提供數(shù)據(jù)和文件服務(wù)。第10頁，課件共21頁，創(chuàng)作于2023年2月Page

112.2.1網(wǎng)絡(luò)附加存儲(chǔ)(NAS)優(yōu)缺點(diǎn)：NAS管理簡單、擴(kuò)容方便，統(tǒng)一的文件系統(tǒng)使數(shù)據(jù)共享變得非常簡單，所以其最大的優(yōu)點(diǎn)是跨平臺(tái)性很好，但NAS服務(wù)器在網(wǎng)絡(luò)存儲(chǔ)中處于數(shù)據(jù)通路上，當(dāng)服務(wù)請求激增時(shí)存在I/O瓶頸，性能是NAS的最大問題第11頁，課件共21頁，創(chuàng)作于2023年2月Page

12它是存儲(chǔ)設(shè)備與服務(wù)器經(jīng)由高速網(wǎng)絡(luò)設(shè)備連接而形成的存儲(chǔ)專用網(wǎng)絡(luò)。SAN一般基于光纖通道FC(FibreChannel)或iSCSI(internetSCSI)構(gòu)建，它是塊級的存儲(chǔ)2.2.2存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)第12頁，課件共21頁，創(chuàng)作于2023年2月Page

132.2.2存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)優(yōu)缺點(diǎn)：SAN的優(yōu)點(diǎn)是高容量、高可靠性、低延遲缺點(diǎn)是SAN沒有一個(gè)統(tǒng)一的存儲(chǔ)系統(tǒng)接口，對存儲(chǔ)設(shè)備的共享訪問存在數(shù)據(jù)的完整性與安全性問題，設(shè)備的跨平臺(tái)性較差第13頁，課件共21頁，創(chuàng)作于2023年2月Page

142.3對象存儲(chǔ)技術(shù)對象存儲(chǔ)（Object-BasedStorage,OBS)綜合了NAS和SAN的優(yōu)點(diǎn)，同時(shí)具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢，提供了具有高性能、高可靠性、跨平臺(tái)以及安全的數(shù)據(jù)共享的存儲(chǔ)體系結(jié)構(gòu)。第14頁，課件共21頁，創(chuàng)作于2023年2月Page

152.3對象存儲(chǔ)技術(shù)對象(Object) 包含了文件數(shù)據(jù)以及相關(guān)的屬性信息，可以進(jìn)行自我管理OSD（Object-basedStorageDevice) 一個(gè)智能設(shè)備，OSD為存儲(chǔ)對象數(shù)據(jù)的設(shè)備，它是一個(gè)智能設(shè)備，包括處理器、RAM內(nèi)存、網(wǎng)絡(luò)接口、存儲(chǔ)介質(zhì)等以及運(yùn)行在其中的控制軟件MDS元數(shù)據(jù)服務(wù)器(MetadataServer) 系統(tǒng)提供元數(shù)據(jù)、Cache一致性等服務(wù)網(wǎng)絡(luò)連接文件系統(tǒng) 文件系統(tǒng)運(yùn)行在客戶端上，將應(yīng)用程序的文件系統(tǒng)請求傳輸?shù)組DS和OSD上

對象存儲(chǔ)系統(tǒng)組成第15頁，課件共21頁，創(chuàng)作于2023年2月Page

162.3對象存儲(chǔ)技術(shù)

傳統(tǒng)塊存儲(chǔ)與對象存儲(chǔ)對象存儲(chǔ)結(jié)構(gòu)第16頁，課件共21頁，創(chuàng)作于2023年2月Page

172.3對象存儲(chǔ)技術(shù)對象存儲(chǔ)模式用于海量數(shù)據(jù)存儲(chǔ)的優(yōu)勢：高性能數(shù)據(jù)存儲(chǔ)：訪問節(jié)點(diǎn)有獨(dú)立的數(shù)據(jù)通路和元數(shù)據(jù)訪問通路，可以對多個(gè)OSD進(jìn)行并行訪問跨平臺(tái)數(shù)據(jù)共享：由于在對象存儲(chǔ)系統(tǒng)上部署基于對象的分布式文件系統(tǒng)比較容易，所有能夠?qū)崿F(xiàn)不同平臺(tái)下的設(shè)備和數(shù)據(jù)的共享?？缮炜s性：對象存儲(chǔ)模式具有分布式結(jié)構(gòu)的特性。由于OSD是獨(dú)立的智能設(shè)備，可以通過增加OSD數(shù)量，使存儲(chǔ)系統(tǒng)的聚合I/O帶寬、存儲(chǔ)容量和處理能力得到提高，這種平衡擴(kuò)展模式使得存儲(chǔ)系統(tǒng)能夠具有良好的可伸縮性。第17頁，課件共21頁，創(chuàng)作于2023年2月Page

182.3對象存儲(chǔ)技術(shù)對象存儲(chǔ)模式用于海量數(shù)據(jù)存儲(chǔ)的優(yōu)勢：可伸縮性：對象存儲(chǔ)模式具有分布式結(jié)構(gòu)的特性。由于OSD是獨(dú)立的智能設(shè)備，可以通過增加OSD數(shù)量，使存儲(chǔ)系統(tǒng)的聚合I/O帶寬、存儲(chǔ)容量和處理能力得到提高，這種平衡擴(kuò)展模式使得存儲(chǔ)系統(tǒng)能夠具有良好的可伸縮性。智能的存儲(chǔ)設(shè)備：OSD中集成了部分的存儲(chǔ)管理功能方便安全的數(shù)據(jù)訪問：I/O通道的建立及數(shù)據(jù)的讀寫需要經(jīng)過授權(quán)許可才能進(jìn)行，從而保證了數(shù)據(jù)訪問的安全性；另一方面，任何Client都可以通過對象存儲(chǔ)系統(tǒng)提供的標(biāo)準(zhǔn)文件接口訪問OSD上的數(shù)據(jù)，統(tǒng)一的命名空間使Client訪問數(shù)據(jù)的一致性得到了保證。第18頁，課件共21頁，創(chuàng)作于2023年2月Page

192.3對象存儲(chǔ)技術(shù)存儲(chǔ)接口存儲(chǔ)系統(tǒng)優(yōu)點(diǎn)缺點(diǎn)塊級存儲(chǔ)塊塊存儲(chǔ)設(shè)備如:SAN,提供高性能的隨機(jī)I/O和數(shù)據(jù)吞吐率可擴(kuò)展性和可管理性較差、價(jià)格較高、不能滿足成千上萬CPU規(guī)模的系統(tǒng)文件儲(chǔ)存文件塊存儲(chǔ)設(shè)備＋文件系統(tǒng)如:NAS,擴(kuò)展性好、易于管理、價(jià)格便宜開銷高、帶寬低、延遲大,不利于高性能集群中應(yīng)用對象存儲(chǔ)對象塊存儲(chǔ)設(shè)備＋文件系統(tǒng)＋定位邏輯＋應(yīng)用程序支持高并行性、可伸縮的數(shù)據(jù)訪問,管理性好、安全性高、適合高性能集群使用處于發(fā)展階段,相應(yīng)的硬件、軟件支持有待進(jìn)一步完善與傳統(tǒng)存儲(chǔ)方式對比第19頁，課件共21頁，創(chuàng)作于2023年2月Page

20三、數(shù)據(jù)庫策略數(shù)據(jù)庫管理系統(tǒng)(DBMS)是海量數(shù)據(jù)存儲(chǔ)檢索系統(tǒng)的核心部件，所有對數(shù)據(jù)的控制都要通過DBMS來實(shí)現(xiàn)基于海量數(shù)據(jù)環(huán)境，針對海量數(shù)據(jù)的有效存儲(chǔ)方法為了實(shí)現(xiàn)高性能的海量數(shù)據(jù)存儲(chǔ)可采取