[生物學]11 海量信息存儲ppt課件

1、第第11章章 海量信息存儲海量信息存儲物聯(lián)網(wǎng)背景下如何順應海量信息存儲的需求，數(shù)據(jù)中心將成為物聯(lián)網(wǎng)背景下如何順應海量信息存儲的需求，數(shù)據(jù)中心將成為處理海量數(shù)據(jù)存儲的主要手段處理海量數(shù)據(jù)存儲的主要手段引見典型網(wǎng)絡存儲體系構造及數(shù)據(jù)中心的根本概念引見典型網(wǎng)絡存儲體系構造及數(shù)據(jù)中心的根本概念11.1 物聯(lián)網(wǎng)對海量信息存儲的需求物聯(lián)網(wǎng)對海量信息存儲的需求11.2 網(wǎng)絡存儲體系構造網(wǎng)絡存儲體系構造11.3 數(shù)據(jù)中心數(shù)據(jù)中心11.4典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.5 Hadoop*11.6 數(shù)據(jù)中心的研討熱點數(shù)據(jù)中心的研討熱點第第11章章 海量信息存儲海量信息存儲11.1 物聯(lián)網(wǎng)對海量信息存儲的物聯(lián)網(wǎng)

2、對海量信息存儲的需求需求11.1 物聯(lián)網(wǎng)對海量信息存儲的需求物聯(lián)網(wǎng)對海量信息存儲的需求11.1 物聯(lián)網(wǎng)對海量信息存儲的需求物聯(lián)網(wǎng)對海量信息存儲的需求全球信息總量迅猛增長全球信息總量迅猛增長2007年產(chǎn)生的數(shù)據(jù)量為年產(chǎn)生的數(shù)據(jù)量為281 EB 1 EB=10億億 GB 物聯(lián)網(wǎng)中對象的數(shù)量將龐大到以百億為單位物聯(lián)網(wǎng)中對象的數(shù)量將龐大到以百億為單位物聯(lián)網(wǎng)中的對象積極參與業(yè)務流程的需求物聯(lián)網(wǎng)中的對象積極參與業(yè)務流程的需求高強度計算需求高強度計算需求數(shù)據(jù)的繼續(xù)在線可獲取特性數(shù)據(jù)的繼續(xù)在線可獲取特性導致網(wǎng)絡化存儲和大型數(shù)據(jù)中心的誕生導致網(wǎng)絡化存儲和大型數(shù)據(jù)中心的誕生11.2 網(wǎng)絡存儲體系構造網(wǎng)絡存儲體系構

3、造11.2 網(wǎng)絡存儲體系構造網(wǎng)絡存儲體系構造三種根本網(wǎng)絡存儲三種根本網(wǎng)絡存儲體系構造：直接附體系構造：直接附加存儲，網(wǎng)絡附加加存儲，網(wǎng)絡附加存儲，存儲區(qū)域網(wǎng)存儲，存儲區(qū)域網(wǎng)絡絡11.2.1 直接附加存直接附加存儲儲DAS：Direct Attached Storage將存儲系統(tǒng)經(jīng)過纜將存儲系統(tǒng)經(jīng)過纜線與效力器或任務線與效力器或任務站相連站相連包括多個硬盤驅動包括多個硬盤驅動器，與主機總線經(jīng)器，與主機總線經(jīng)過電纜或光纖銜接過電纜或光纖銜接存儲設備和主機總存儲設備和主機總線適配器之間不存線適配器之間不存在其它網(wǎng)絡設備在其它網(wǎng)絡設備實現(xiàn)了計算機內(nèi)存實現(xiàn)了計算機內(nèi)存儲到存儲子系統(tǒng)的儲到存儲子系統(tǒng)的跨越

4、跨越11.2 網(wǎng)絡存儲體系構造網(wǎng)絡存儲體系構造11.2.2 網(wǎng)絡附加網(wǎng)絡附加存儲存儲NAS：Network Attached Storage文件級計算機數(shù)文件級計算機數(shù)據(jù)存儲架構據(jù)存儲架構計算機銜接到一計算機銜接到一個僅為其它設備個僅為其它設備提供基于文件數(shù)提供基于文件數(shù)據(jù)存儲效力據(jù)存儲效力 的網(wǎng)絡的網(wǎng)絡NAS與與DAS的區(qū)的區(qū)別別DAS是對已有效是對已有效力器的簡單擴展，力器的簡單擴展，并未真正實現(xiàn)網(wǎng)并未真正實現(xiàn)網(wǎng)絡互聯(lián)絡互聯(lián)NAS那么將網(wǎng)絡那么將網(wǎng)絡作為存儲實體，作為存儲實體，更容易實現(xiàn)文件更容易實現(xiàn)文件級別的共享級別的共享NAS性能比性能比DAS有所加強有所加強11.2 網(wǎng)絡存儲體系構造

5、網(wǎng)絡存儲體系構造11.2.3 存儲區(qū)域存儲區(qū)域網(wǎng)絡網(wǎng)絡 SAN：Storage Area Network經(jīng)過網(wǎng)絡方式銜經(jīng)過網(wǎng)絡方式銜接存儲設備和運接存儲設備和運用效力器的存儲用效力器的存儲架構架構由效力器、存儲由效力器、存儲設備和設備和SAN銜接銜接設備組成設備組成特點特點存儲共享存儲共享支持效力器從支持效力器從SAN直接啟動直接啟動11.2 網(wǎng)絡存儲體系構造網(wǎng)絡存儲體系構造DAS：易管理，構：易管理，構造簡單；集中式體造簡單；集中式體系構造，不能滿足系構造，不能滿足大規(guī)模數(shù)據(jù)訪問的大規(guī)模數(shù)據(jù)訪問的需求；存儲資源利需求；存儲資源利用率低，資源共享用率低，資源共享才干差，呵斥才干差，呵斥“信息信

6、息孤島孤島NAS：網(wǎng)絡存儲實：網(wǎng)絡存儲實體，實現(xiàn)文件級別體，實現(xiàn)文件級別共享；性能依賴于共享；性能依賴于網(wǎng)絡流量，用戶數(shù)網(wǎng)絡流量，用戶數(shù)過多，讀寫過于頻過多，讀寫過于頻繁時性能受限繁時性能受限SAN：存儲管理簡：存儲管理簡化，存儲容量利用化，存儲容量利用率提高；無直接文率提高；無直接文件級別的訪問才干，件級別的訪問才干，但可在但可在SAN根底上根底上建立文件系統(tǒng)建立文件系統(tǒng)11.3 數(shù)據(jù)中心數(shù)據(jù)中心11.3 數(shù)據(jù)中心數(shù)據(jù)中心維基百科維基百科數(shù)據(jù)中心是一整套復雜的設備。不僅包括計算機系統(tǒng)和與之數(shù)據(jù)中心是一整套復雜的設備。不僅包括計算機系統(tǒng)和與之配套的設備如通訊和存儲系統(tǒng)，還包含冗余的數(shù)據(jù)通訊配套

7、的設備如通訊和存儲系統(tǒng)，還包含冗余的數(shù)據(jù)通訊銜接、環(huán)境控制設備、監(jiān)控設備以及各種平安安裝銜接、環(huán)境控制設備、監(jiān)控設備以及各種平安安裝Google多功能網(wǎng)絡建筑物，包容多個效力器及通訊設備。這些設備多功能網(wǎng)絡建筑物，包容多個效力器及通訊設備。這些設備被放置在一同是由于它們具有一樣的環(huán)境要求及物理平安需被放置在一同是由于它們具有一樣的環(huán)境要求及物理平安需求，并且這樣放置便于維護求，并且這樣放置便于維護11.3 數(shù)據(jù)中心數(shù)據(jù)中心大型機大型機微型機微型機大規(guī)模數(shù)據(jù)中心大規(guī)模數(shù)據(jù)中心Mega Data Center11.3.1 數(shù)據(jù)中心的來源及開展數(shù)據(jù)中心的來源及開展11.3 數(shù)據(jù)中心數(shù)據(jù)中心11.3.

8、2 數(shù)據(jù)中心的相關規(guī)范數(shù)據(jù)中心的相關規(guī)范數(shù)據(jù)中心建立的難題數(shù)據(jù)中心建立的難題如何規(guī)劃一個新的數(shù)據(jù)中心？如何規(guī)劃一個新的數(shù)據(jù)中心？怎樣對數(shù)據(jù)中心進展晉級？怎樣對數(shù)據(jù)中心進展晉級？數(shù)據(jù)中心的規(guī)范對相關閱歷進展了總結數(shù)據(jù)中心的規(guī)范對相關閱歷進展了總結ANSI/TIA/EIA-942簡稱簡稱TIA-942：數(shù)據(jù)中心規(guī)范：數(shù)據(jù)中心規(guī)范由電信產(chǎn)業(yè)協(xié)會由電信產(chǎn)業(yè)協(xié)會TIA提出，并經(jīng)美國國家規(guī)范學提出，并經(jīng)美國國家規(guī)范學會會ANSI同意同意11.3 數(shù)據(jù)中心數(shù)據(jù)中心1、選址與規(guī)劃、選址與規(guī)劃需求思索的要素需求思索的要素建立和運營本錢建立和運營本錢運用需求運用需求政策優(yōu)惠政策優(yōu)惠規(guī)劃規(guī)劃按功能區(qū)域劃分按功能區(qū)域

9、劃分11.3 數(shù)據(jù)中心數(shù)據(jù)中心1入口室：放置互聯(lián)網(wǎng)接入點設備的場所入口室：放置互聯(lián)網(wǎng)接入點設備的場所2主分布區(qū)：中心區(qū)域，各個主分布區(qū)：中心區(qū)域，各個LAN與與SAN構造的中心路由構造的中心路由 器及交換機所放置的區(qū)域，同時放置光纖、電纜等器及交換機所放置的區(qū)域，同時放置光纖、電纜等3程度分布區(qū)：主分布區(qū)的下層，程度纜線集中點程度分布區(qū)：主分布區(qū)的下層，程度纜線集中點4設備分布區(qū)：放置效力器和其它設備的機架與機柜設備分布區(qū)：放置效力器和其它設備的機架與機柜5區(qū)段分布區(qū)：程度分布區(qū)與設備分布區(qū)間的銜接點，可區(qū)段分布區(qū)：程度分布區(qū)與設備分布區(qū)間的銜接點，可 放置獨立設備放置獨立設備6主干纜線和程度

10、纜線：各個區(qū)域間的銜接主干纜線和程度纜線：各個區(qū)域間的銜接11.3 數(shù)據(jù)中心數(shù)據(jù)中心TIA-942規(guī)定了纜線系統(tǒng)、能源系統(tǒng)、降溫系統(tǒng)、可靠性分級規(guī)定了纜線系統(tǒng)、能源系統(tǒng)、降溫系統(tǒng)、可靠性分級四個等級，四個等級，P228229，表，表11.1纜線系統(tǒng)纜線系統(tǒng)規(guī)格規(guī)格如何放置如何放置能源系統(tǒng)能源系統(tǒng)外部電力供外部電力供應應電池組電池組發(fā)電機發(fā)電機降溫系統(tǒng)降溫系統(tǒng)降溫設備降溫設備架空地板架空地板冷通道與熱通冷通道與熱通道道11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.4.1 Google數(shù)據(jù)中心數(shù)據(jù)中心每月將近每月將近3.8億用戶、億用戶、30億次查詢億次查詢

11、每天處置每天處置20 PB數(shù)據(jù)、存有數(shù)十億網(wǎng)頁地址與個人資數(shù)據(jù)、存有數(shù)十億網(wǎng)頁地址與個人資料料Google站點可靠性超越站點可靠性超越99.99%全球共建有近全球共建有近40個大規(guī)模數(shù)據(jù)中心個大規(guī)模數(shù)據(jù)中心單個數(shù)據(jù)中心需求至少單個數(shù)據(jù)中心需求至少50兆瓦功率，約等于一個小型兆瓦功率，約等于一個小型城市一切家庭的用電量城市一切家庭的用電量獨特的硬件設備：定制的以太網(wǎng)交換機、能源系統(tǒng)等獨特的硬件設備：定制的以太網(wǎng)交換機、能源系統(tǒng)等11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*選址思索選址思索大量而廉價的電能大量而廉價的電能有利于獲得風能、水利等低碳電能有利于獲得風能、水利等低碳電能接近大型水源，為降溫設

12、備運用接近大型水源，為降溫設備運用較大面積空地，提供緩沖帶，添加嚴密性較大面積空地，提供緩沖帶，添加嚴密性與其它數(shù)據(jù)中心的間隔，保證數(shù)據(jù)高速互連與其它數(shù)據(jù)中心的間隔，保證數(shù)據(jù)高速互連稅收優(yōu)惠稅收優(yōu)惠自行研發(fā)的軟件技術：自行研發(fā)的軟件技術：Google File System、MapReduce、BigTable等等11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.4.2 Google File SystemGFSGoogle處置超大規(guī)模數(shù)據(jù)密集型運用的分布文件系統(tǒng)處置超大規(guī)模數(shù)據(jù)密集型運用的分布文件系統(tǒng)GFS的設計觀念的設計觀念組件失效不再被以為是不測，而是被看做正常的景象組件失效不再被以為是不測

13、，而是被看做正常的景象GFS的文件非常宏大的文件非常宏大對文件的操作具有特定的方式對文件的操作具有特定的方式文件系統(tǒng)運用程序編程接口文件系統(tǒng)運用程序編程接口API：Application Programming Interface和運用程序的協(xié)同設計和運用程序的協(xié)同設計提高了整個系統(tǒng)的靈敏性提高了整個系統(tǒng)的靈敏性11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*GFS的設計架構的設計架構GFS集群包含集群包含一個主效力器一個主效力器和多個塊效力和多個塊效力器，并被多個器，并被多個客戶端訪問客戶端訪問文件分成固定大小的文件分成固定大小的“塊。每個塊創(chuàng)建時都由主塊。每個塊創(chuàng)建時都由主效力效力 器分配一個固定

14、不變的器分配一個固定不變的64位獨一標識位獨一標識塊效力器把塊效力器把“塊作為塊作為Linux文件存儲在本地磁盤上，文件存儲在本地磁盤上，并并 根據(jù)指定的塊字節(jié)范圍對數(shù)據(jù)進展讀寫操作根據(jù)指定的塊字節(jié)范圍對數(shù)據(jù)進展讀寫操作11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心* 主效力器維護一切文件系統(tǒng)的元數(shù)據(jù)，包括名字空間、訪主效力器維護一切文件系統(tǒng)的元數(shù)據(jù)，包括名字空間、訪 問控制信息、文件到塊的映射信息以及塊當前的位置。問控制信息、文件到塊的映射信息以及塊當前的位置。此此 外，主效力器還控制其它的系統(tǒng)級活動。主效力器周外，主效力器還控制其它的系統(tǒng)級活動。主效力器周期性期性 與塊效力器通訊，以下達指令和搜集

15、形狀與塊效力器通訊，以下達指令和搜集形狀 GFS客戶端代碼嵌入到每個運用中，實現(xiàn)文件系統(tǒng)客戶端代碼嵌入到每個運用中，實現(xiàn)文件系統(tǒng)API、主效力器與塊效力器的通訊，從而代表運用實現(xiàn)讀寫操作主效力器與塊效力器的通訊，從而代表運用實現(xiàn)讀寫操作 客戶端與效力器交互，從而實現(xiàn)元數(shù)據(jù)操作，但一切數(shù)據(jù)客戶端與效力器交互，從而實現(xiàn)元數(shù)據(jù)操作，但一切數(shù)據(jù)操作都經(jīng)過直接與塊效力器交互而完成操作都經(jīng)過直接與塊效力器交互而完成11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.4.3 MapReduceMapReduce：一種針對超大規(guī)模數(shù)據(jù)集的編程模型和：一種針對超大規(guī)模數(shù)據(jù)集的編程模型和系統(tǒng)系統(tǒng)用用MapReduce開

16、發(fā)的程序可在計算機集群上并行執(zhí)行、開發(fā)的程序可在計算機集群上并行執(zhí)行、處置處置計算機失效、調(diào)度計算機間的通訊計算機失效、調(diào)度計算機間的通訊MapReduce的根本思想的根本思想用戶編寫兩個程序：用戶編寫兩個程序：Map和和Reduce一個在計算機集群上執(zhí)行多個程序實例的框架一個在計算機集群上執(zhí)行多個程序實例的框架11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*MapReduce的執(zhí)行流程共的執(zhí)行流程共7步，步，P23523611.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.4.4 BigTableBigTable：在海量數(shù)據(jù)規(guī)模下包含：在海量數(shù)據(jù)規(guī)模下包含PB量級數(shù)據(jù)和數(shù)量級數(shù)據(jù)和數(shù)千臺計千臺計算機管理構

17、造化數(shù)據(jù)的分布式存儲的系統(tǒng)算機管理構造化數(shù)據(jù)的分布式存儲的系統(tǒng)運用運用Google地球地球網(wǎng)頁索引網(wǎng)頁索引RSS閱讀器閱讀器11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*每個每個BigTable都是一個稀疏的、分布式的多維有序圖，按行都是一個稀疏的、分布式的多維有序圖，按行鍵值、列鍵值和時間戳建立索引鍵值、列鍵值和時間戳建立索引P23623811.5 Hadoop*11.5 Hadoop*HadoopApache開源發(fā)布的分布式計算開源框架開源發(fā)布的分布式計算開源框架用于大型集群廉價效力器設備上運轉數(shù)據(jù)密集型分布式運用用于大型集群廉價效力器設備上運轉數(shù)據(jù)密集型分布式運用程序程序早期是早期是Googl

18、e文件系統(tǒng)與文件系統(tǒng)與MapReduce分布式分布式計算框架及相關計算框架及相關IT根底效力的開源實現(xiàn)根底效力的開源實現(xiàn)包括多個子工程包括多個子工程HDFS、 MapReduce、 HBase 、Chukwa、Pig、ZooKeeper11.5 Hadoop*HDFSHadoop Distributed File System系統(tǒng)架構及特點系統(tǒng)架構及特點P239240設計前提與目的設計前提與目的硬件錯誤是常態(tài)而不是異常硬件錯誤是常態(tài)而不是異常流式數(shù)據(jù)訪問流式數(shù)據(jù)訪問大規(guī)模數(shù)據(jù)集大規(guī)模數(shù)據(jù)集簡單的一致性模型簡單的一致性模型挪動計算比挪動數(shù)據(jù)更經(jīng)濟挪動計算比挪動數(shù)據(jù)更經(jīng)濟輕便的訪問異構軟硬件平臺輕

19、便的訪問異構軟硬件平臺11.6 數(shù)據(jù)中心的研討熱點數(shù)據(jù)中心的研討熱點11.6 數(shù)據(jù)中心的研討熱點數(shù)據(jù)中心的研討熱點2006年年Google在數(shù)據(jù)中心工程破費在數(shù)據(jù)中心工程破費19億美圓億美圓2007年該項支出添加到年該項支出添加到24億美圓億美圓Google俄勒岡州數(shù)據(jù)中心近俄勒岡州數(shù)據(jù)中心近100兆瓦的功率，滿負荷運轉時能兆瓦的功率，滿負荷運轉時能耗根本上與紐卡斯爾耗根本上與紐卡斯爾Newcastle全市一切家庭用電量一樣全市一切家庭用電量一樣研討熱點：如何在保證效力質量的前提下降低本錢？研討熱點：如何在保證效力質量的前提下降低本錢？11.6 數(shù)據(jù)中心的研討熱點數(shù)據(jù)中心的研討熱點根底設備包括能源系統(tǒng)、降溫系統(tǒng)、各種防火設備、安保設根底設備包括能源系統(tǒng)、降溫系統(tǒng)、各種防火設備、安保設備等。降低該部分本錢涉及機械制造技術或政策優(yōu)惠等，與備等。降低該部分本錢涉及機械制造技術或政策優(yōu)惠等，與計算機學科的關聯(lián)程度較低計算機學科的關聯(lián)程度較低在此，分別從效力器，網(wǎng)絡設備，能源三個方面對呵斥高成在此，分別從效力器，網(wǎng)絡設備，能源三個