物聯(lián)網(wǎng)導(dǎo)論第十一章

1、物聯(lián)網(wǎng)技術(shù)導(dǎo)論物聯(lián)網(wǎng)技術(shù)導(dǎo)論Introduction to Internet of Things第第11章章 海量數(shù)據(jù)存儲海量數(shù)據(jù)存儲主講：尹小燕主講：尹小燕Email：Based on the course slides of 物聯(lián)網(wǎng)導(dǎo)論，劉云浩編著，科學(xué)出版社西北大學(xué)西北大學(xué)/ 信息科學(xué)與技術(shù)學(xué)院信息科學(xué)與技術(shù)學(xué)院/網(wǎng)絡(luò)與信息安全實(shí)驗室網(wǎng)絡(luò)與信息安全實(shí)驗室 中意大型遺址智能感知聯(lián)合實(shí)驗室中意大型遺址智能感知聯(lián)合實(shí)驗室/2012年年8月月1日日內(nèi)容提要物聯(lián)背景下如何適應(yīng)海量信息存儲的需求呢？隨著物聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)中心數(shù)據(jù)中心將成為解決海量數(shù)據(jù)存儲的主要手段。本章將介紹典型的網(wǎng)絡(luò)存儲體系結(jié)構(gòu)以

2、及數(shù)據(jù)中心的基本概念。第10章介紹了數(shù)據(jù)庫管理系統(tǒng)的基本概念數(shù)據(jù)庫模型的發(fā)展關(guān)系數(shù)據(jù)庫的基本概念利用關(guān)系代數(shù)寫查詢表達(dá)式物聯(lián)網(wǎng)數(shù)據(jù)管理的特點(diǎn)本章重點(diǎn)介紹三種基本的網(wǎng)絡(luò)存儲體系結(jié)構(gòu)，并以Google數(shù)據(jù)中心為例，介紹大規(guī)模數(shù)據(jù)中心的相關(guān)技術(shù)，最后簡要開源分布式計算框架Hadoop。內(nèi)容回顧11.1 物聯(lián)網(wǎng)對海量信息存儲的需求物聯(lián)網(wǎng)對海量信息存儲的需求11.2 網(wǎng)絡(luò)存儲體系結(jié)構(gòu)11.3 數(shù)據(jù)中心信息存儲的發(fā)展歷程如何？物聯(lián)網(wǎng)對海量信息存儲的需求促使了哪些技術(shù)的發(fā)展？本章內(nèi)容數(shù)據(jù)存儲的發(fā)展歷史甲骨文甲骨文紙質(zhì)書籍紙質(zhì)書籍?dāng)?shù)字化存儲數(shù)字化存儲物聯(lián)網(wǎng)對海量信息存儲的需求全球信息總量迅猛增長2007年產(chǎn)生

3、的數(shù)據(jù)量為281EB （ 1EB=10億GB ）物聯(lián)網(wǎng)中對象的數(shù)量將龐大到以百億為單位物聯(lián)網(wǎng)中的對象積極參與業(yè)務(wù)流程的需求高強(qiáng)度計算需求數(shù)據(jù)的持續(xù)在線可獲取特性導(dǎo)致了網(wǎng)絡(luò)化存儲和大型數(shù)據(jù)中心的誕生11.1 物聯(lián)網(wǎng)對海量信息存儲的需求11.2 網(wǎng)絡(luò)存儲體系結(jié)構(gòu)網(wǎng)絡(luò)存儲體系結(jié)構(gòu)11.3 數(shù)據(jù)中心三種基本的網(wǎng)絡(luò)存儲體系結(jié)構(gòu)：直接附加存儲，網(wǎng)絡(luò)附加存儲，存儲區(qū)域網(wǎng)絡(luò)，各有什么特點(diǎn)？本章內(nèi)容直接附加存儲直接附加存儲直接附加存儲(Direct-Attached Storage, DAS)將存儲系統(tǒng)通過纜線直接與服務(wù)器或工作站相連一般包括多個硬盤驅(qū)動器，與主機(jī)總線適配器通過電纜或光纖相連在存儲設(shè)備和主機(jī)總線

4、適配器之間不存在其他網(wǎng)絡(luò)設(shè)備實(shí)現(xiàn)了計算機(jī)內(nèi)存儲到存儲子系統(tǒng)的跨越網(wǎng)絡(luò)附加存儲網(wǎng)絡(luò)附加存儲網(wǎng)絡(luò)附加存儲(Network Attached Storage, NAS)文件級的計算機(jī)數(shù)據(jù)存儲架構(gòu)計算機(jī)連接到一個僅為其它設(shè)備提供基于文件級數(shù)據(jù)存儲服務(wù)的網(wǎng)絡(luò)NAS與與DAS的區(qū)別的區(qū)別DAS是一種對已有服務(wù)器的簡單擴(kuò)展，并沒有真正實(shí)現(xiàn)網(wǎng)絡(luò)互聯(lián)。NAS則是將網(wǎng)絡(luò)作為存儲實(shí)體，更容易實(shí)現(xiàn)文件級別的共享。NAS性能上比DAS有所增強(qiáng)存儲區(qū)域網(wǎng)絡(luò)存儲區(qū)域網(wǎng)絡(luò)存儲區(qū)域網(wǎng)絡(luò) (Storage Area Network, SAN)通過網(wǎng)絡(luò)方式連接存儲設(shè)備和應(yīng)用服務(wù)器的存儲架構(gòu)由服務(wù)器、存儲設(shè)備和SAN連接設(shè)備組成SA

5、N的特點(diǎn)的特點(diǎn)存儲共享支持服務(wù)器從SAN直接啟動三種網(wǎng)絡(luò)存儲結(jié)構(gòu)的比較三種網(wǎng)絡(luò)存儲結(jié)構(gòu)的比較DAS管理容易，結(jié)構(gòu)簡單；集中式體系結(jié)構(gòu)，不能滿足大規(guī)模數(shù)據(jù)訪問的需求；存儲資源利用率低，資源共享能力差，造成“信息孤島”。NAS網(wǎng)絡(luò)的存儲實(shí)體，容易實(shí)現(xiàn)文件級別共享；性能嚴(yán)重依賴于網(wǎng)絡(luò)流量，用戶數(shù)過多，讀寫過頻繁時性能受限。SAN存儲管理簡化，存儲容量利用率提高；無直接文件級別的訪問能力，但可在SAN基礎(chǔ)上建立文件系統(tǒng)。11.1 物聯(lián)網(wǎng)對海量信息存儲的需求11.2 網(wǎng)絡(luò)存儲體系結(jié)構(gòu)11.3 數(shù)據(jù)中心數(shù)據(jù)中心什么是數(shù)據(jù)中心？典型的數(shù)據(jù)中心有哪些？數(shù)據(jù)中心的研究熱點(diǎn)是什么？本章內(nèi)容什么是數(shù)據(jù)中心？維基百科

6、維基百科：“數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施。它不僅僅包括計算機(jī)系統(tǒng)和其它與之配套的設(shè)備（例如通信和存儲系統(tǒng)），還包含冗余的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置?！盙oogle：“多功能的建筑物，能容納多個服務(wù)器以及通信設(shè)備。這些設(shè)備被放置在一起是因為它們具有相同的對環(huán)境的要求以及物理安全上的需求，并且這樣放置便于維護(hù)?！睌?shù)據(jù)中心的起源與發(fā)展大型機(jī)微型機(jī)大規(guī)模數(shù)據(jù)中心(Mega Data Center)數(shù)據(jù)中心的起源與發(fā)展大規(guī)模數(shù)據(jù)中心已經(jīng)得到推廣數(shù)據(jù)中心標(biāo)準(zhǔn)數(shù)據(jù)中心建設(shè)者面對的難題如何規(guī)劃一個新的數(shù)據(jù)中心？怎樣對數(shù)據(jù)中心進(jìn)行升級？數(shù)據(jù)中心的標(biāo)準(zhǔn)數(shù)據(jù)中心的標(biāo)準(zhǔn)對相關(guān)經(jīng)驗進(jìn)行了總結(jié)AN

7、SI/TIA/EIA-942（簡稱TIA-942）：數(shù)據(jù)中心標(biāo)準(zhǔn)電信產(chǎn)業(yè)協(xié)會（TIA）提出美國國家標(biāo)準(zhǔn)學(xué)會（ANSI）批準(zhǔn)數(shù)據(jù)中心標(biāo)準(zhǔn)：TIA-942選址選址：需要考慮多方面因素建設(shè)和運(yùn)營成本應(yīng)用需求政策優(yōu)惠布局布局：按功能區(qū)域劃分功能區(qū)域組成數(shù)據(jù)中心標(biāo)準(zhǔn)：TIA-942（續(xù)）TIA-942還對纜線系統(tǒng)，可靠性分級，能源系統(tǒng)和降溫系統(tǒng)等做了規(guī)定。纜線系統(tǒng)規(guī)格如何放置纜線能源系統(tǒng)外部電力供應(yīng)電池組發(fā)電機(jī)降溫系統(tǒng)降溫設(shè)備架空地板冷通道與熱通道典型數(shù)據(jù)中心：Google 數(shù)據(jù)中心簡介簡介全球共建有近40個大規(guī)模數(shù)據(jù)中心單個數(shù)據(jù)中心需要至少50兆瓦功率，約等于一個小型城市所有家庭的用電量獨(dú)特的硬件設(shè)備

8、：定制的以太網(wǎng)交換機(jī)、能源系統(tǒng)等自行研發(fā)的軟件技術(shù)：Google File System、MapReduce、BigTable等Google File System GFS的設(shè)計觀念的設(shè)計觀念組件失效不再被認(rèn)為是意外，而是被看做正常的現(xiàn)象GFS的文件非常巨大對文件的操作具有特定的模式應(yīng)用程序和文件系統(tǒng)API的協(xié)同設(shè)計提高了整個系統(tǒng)的靈活性Google File System GFS的設(shè)計架構(gòu)的設(shè)計架構(gòu)一個GFS集群包含一個主服務(wù)器和多個塊服務(wù)器，并被多個客戶端訪問。文件分成固定大小的“塊”。每個塊在創(chuàng)建時都由主服務(wù)器分配一個固定不變的64位句柄唯一標(biāo)識。塊服務(wù)器把塊作為Linux文件存儲在本地

9、磁盤上，并根據(jù)指定的塊句柄和字節(jié)范圍對數(shù)據(jù)塊進(jìn)行讀寫操作。Google File System GFS的設(shè)計架構(gòu)（續(xù)）的設(shè)計架構(gòu)（續(xù)）主服務(wù)器維護(hù)所有文件系統(tǒng)的元數(shù)據(jù)，包括名字空間、訪問控制信息、文件到塊的映射信息以及塊當(dāng)前的位置。此外，主服務(wù)器還控制其它系統(tǒng)級的活動。主服務(wù)器周期性地與塊服務(wù)器通信，以下達(dá)指令和收集狀態(tài)。GFS客戶端代碼被嵌入到每個應(yīng)用中。它實(shí)現(xiàn)了文件系統(tǒng)API，實(shí)現(xiàn)主服務(wù)器與塊服務(wù)器的通信從而代表應(yīng)用實(shí)現(xiàn)讀寫操作?？蛻舳伺c服務(wù)器交互從而實(shí)現(xiàn)元數(shù)據(jù)操作，但所有的數(shù)據(jù)操作都通過直接與塊服務(wù)器交互而完成。MapReduceMapReduce是一種針對超大規(guī)模數(shù)據(jù)集的編程模型和系統(tǒng)

10、用MapReduce開發(fā)出的程序可在大量商用計算機(jī)集群上并行執(zhí)行、處理計算機(jī)的失效以及調(diào)度計算機(jī)間的通信MapReduce的基本思想用戶寫的兩個程序：Map和Reduce一個在計算機(jī)集群上執(zhí)行多個程序?qū)嵗目蚣躆apReduceMapReduce程序的執(zhí)行過程程序的執(zhí)行過程BigTableBigTable是一種用來在海量數(shù)據(jù)規(guī)模下（例如包含以PB為單位的數(shù)據(jù)量和數(shù)千臺廉價計算機(jī)的應(yīng)用）管理結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)。應(yīng)用應(yīng)用Google地圖網(wǎng)頁索引RSS閱讀器BigTable每個BigTable都是一個稀疏的、分布式的多維有序圖，按行鍵值、列鍵值和時間戳建立索引典型數(shù)據(jù)中心：Hadoop什么是

11、什么是Hadoop？Apache開源組織的一個分布式計算開源框架用于在大型集群的廉價服務(wù)器設(shè)備上運(yùn)行數(shù)據(jù)密集型分布式應(yīng)用程序在早期實(shí)際上是Google文件系統(tǒng)與MapReduce分布式計算框架及相關(guān)IT基礎(chǔ)服務(wù)的開源實(shí)現(xiàn)Hadoop包括多個子項目HDFS、 MapReduce、 HBase 、Chukwa、Pig、ZooKeeper等HDFSHadoop Distributed File System數(shù)據(jù)中心的研究熱點(diǎn)2006年Google在數(shù)據(jù)中心項目上的花費(fèi)為19億美元，而2007年該項支出增加到24億美元。Google在俄勒岡州的數(shù)據(jù)中心有近100兆瓦的功率，滿負(fù)荷運(yùn)行時消耗的電力基本上

12、和紐卡斯?fàn)枺∟ewcastle）一個城市所有家庭的用電量加起來一樣多。研究熱點(diǎn)：研究熱點(diǎn)：如何在保證服務(wù)質(zhì)量的前提下降低成本？數(shù)據(jù)中心的成本構(gòu)成基礎(chǔ)設(shè)施部分包括能源系統(tǒng)、降溫系統(tǒng)、各種防火設(shè)備、安保設(shè)備等。降低這一部分成本往往涉及到機(jī)械設(shè)備制造技術(shù)或政策優(yōu)惠等因素，與計算機(jī)學(xué)科的關(guān)聯(lián)程度相對較低。我們分別從服務(wù)器，網(wǎng)絡(luò)設(shè)備，能源三個方面對造成高成本的原因和目前的解決方法進(jìn)行簡要介紹。服務(wù)器成本服務(wù)器網(wǎng)絡(luò)設(shè)備能源服務(wù)器的實(shí)際利用效率較低分配到各服務(wù)器的應(yīng)用不能完全利用某些組件對應(yīng)用需求的預(yù)測比較難，無法做到按需分配為了提高系統(tǒng)的可靠性，一般都留有冗余設(shè)備提高服務(wù)器利用率的關(guān)鍵關(guān)鍵在于及時應(yīng)對需求

13、的動態(tài)變化網(wǎng)絡(luò)設(shè)備成本服務(wù)器網(wǎng)絡(luò)設(shè)備能源主要來源主要來源交換機(jī)、路由器、負(fù)載均衡設(shè)備傳統(tǒng)的數(shù)據(jù)中心使用樹形結(jié)構(gòu)，核心交換機(jī)和路由器構(gòu)成流量瓶頸，且造價昂貴研究熱點(diǎn)：研究熱點(diǎn)：新的數(shù)據(jù)中心網(wǎng)絡(luò)結(jié)構(gòu)以交換機(jī)為中心的多層樹形結(jié)構(gòu)：例如Fat-Tree以服務(wù)器為中心的互聯(lián)結(jié)構(gòu)：例如DCell能源成本服務(wù)器網(wǎng)絡(luò)設(shè)備能源研究熱點(diǎn)研究熱點(diǎn)降低服務(wù)器工作能耗降低同等性能設(shè)備能耗提高同等能耗設(shè)備性能可調(diào)整負(fù)載的服務(wù)器減少降溫系統(tǒng)能耗精細(xì)、精準(zhǔn)的溫度控制集裝箱式模塊化數(shù)據(jù)中心數(shù)據(jù)中心能耗構(gòu)成本章小結(jié)內(nèi)容回顧內(nèi)容回顧本章介紹了三種基本的網(wǎng)絡(luò)存儲體系結(jié)構(gòu)，并討論了數(shù)據(jù)中心的基本概念，以Google數(shù)據(jù)中心和Hadoop為例，簡要介紹了數(shù)據(jù)中心的相關(guān)技術(shù)，最后指出了數(shù)據(jù)中心的研究熱點(diǎn)。重點(diǎn)