[生物學(xué)]11 海量信息存儲(chǔ)ppt課件

1、第第11章章 海量信息存儲(chǔ)海量信息存儲(chǔ)物聯(lián)網(wǎng)背景下如何順應(yīng)海量信息存儲(chǔ)的需求，數(shù)據(jù)中心將成為物聯(lián)網(wǎng)背景下如何順應(yīng)海量信息存儲(chǔ)的需求，數(shù)據(jù)中心將成為處理海量數(shù)據(jù)存儲(chǔ)的主要手段處理海量數(shù)據(jù)存儲(chǔ)的主要手段引見(jiàn)典型網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造及數(shù)據(jù)中心的根本概念引見(jiàn)典型網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造及數(shù)據(jù)中心的根本概念11.1 物聯(lián)網(wǎng)對(duì)海量信息存儲(chǔ)的需求物聯(lián)網(wǎng)對(duì)海量信息存儲(chǔ)的需求11.2 網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造11.3 數(shù)據(jù)中心數(shù)據(jù)中心11.4典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.5 Hadoop*11.6 數(shù)據(jù)中心的研討熱點(diǎn)數(shù)據(jù)中心的研討熱點(diǎn)第第11章章 海量信息存儲(chǔ)海量信息存儲(chǔ)11.1 物聯(lián)網(wǎng)對(duì)海量信息存儲(chǔ)的物聯(lián)網(wǎng)

2、對(duì)海量信息存儲(chǔ)的需求需求11.1 物聯(lián)網(wǎng)對(duì)海量信息存儲(chǔ)的需求物聯(lián)網(wǎng)對(duì)海量信息存儲(chǔ)的需求11.1 物聯(lián)網(wǎng)對(duì)海量信息存儲(chǔ)的需求物聯(lián)網(wǎng)對(duì)海量信息存儲(chǔ)的需求全球信息總量迅猛增長(zhǎng)全球信息總量迅猛增長(zhǎng)2007年產(chǎn)生的數(shù)據(jù)量為年產(chǎn)生的數(shù)據(jù)量為281 EB 1 EB=10億億 GB 物聯(lián)網(wǎng)中對(duì)象的數(shù)量將龐大到以百億為單位物聯(lián)網(wǎng)中對(duì)象的數(shù)量將龐大到以百億為單位物聯(lián)網(wǎng)中的對(duì)象積極參與業(yè)務(wù)流程的需求物聯(lián)網(wǎng)中的對(duì)象積極參與業(yè)務(wù)流程的需求高強(qiáng)度計(jì)算需求高強(qiáng)度計(jì)算需求數(shù)據(jù)的繼續(xù)在線可獲取特性數(shù)據(jù)的繼續(xù)在線可獲取特性導(dǎo)致網(wǎng)絡(luò)化存儲(chǔ)和大型數(shù)據(jù)中心的誕生導(dǎo)致網(wǎng)絡(luò)化存儲(chǔ)和大型數(shù)據(jù)中心的誕生11.2 網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)

3、造11.2 網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造三種根本網(wǎng)絡(luò)存儲(chǔ)三種根本網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造：直接附體系構(gòu)造：直接附加存儲(chǔ)，網(wǎng)絡(luò)附加加存儲(chǔ)，網(wǎng)絡(luò)附加存儲(chǔ)，存儲(chǔ)區(qū)域網(wǎng)存儲(chǔ)，存儲(chǔ)區(qū)域網(wǎng)絡(luò)絡(luò)11.2.1 直接附加存直接附加存儲(chǔ)儲(chǔ)DAS：Direct Attached Storage將存儲(chǔ)系統(tǒng)經(jīng)過(guò)纜將存儲(chǔ)系統(tǒng)經(jīng)過(guò)纜線與效力器或任務(wù)線與效力器或任務(wù)站相連站相連包括多個(gè)硬盤(pán)驅(qū)動(dòng)包括多個(gè)硬盤(pán)驅(qū)動(dòng)器，與主機(jī)總線經(jīng)器，與主機(jī)總線經(jīng)過(guò)電纜或光纖銜接過(guò)電纜或光纖銜接存儲(chǔ)設(shè)備和主機(jī)總存儲(chǔ)設(shè)備和主機(jī)總線適配器之間不存線適配器之間不存在其它網(wǎng)絡(luò)設(shè)備在其它網(wǎng)絡(luò)設(shè)備實(shí)現(xiàn)了計(jì)算機(jī)內(nèi)存實(shí)現(xiàn)了計(jì)算機(jī)內(nèi)存儲(chǔ)到存儲(chǔ)子系統(tǒng)的儲(chǔ)到存儲(chǔ)子系統(tǒng)的跨越

4、跨越11.2 網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造11.2.2 網(wǎng)絡(luò)附加網(wǎng)絡(luò)附加存儲(chǔ)存儲(chǔ)NAS：Network Attached Storage文件級(jí)計(jì)算機(jī)數(shù)文件級(jí)計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)架構(gòu)據(jù)存儲(chǔ)架構(gòu)計(jì)算機(jī)銜接到一計(jì)算機(jī)銜接到一個(gè)僅為其它設(shè)備個(gè)僅為其它設(shè)備提供基于文件數(shù)提供基于文件數(shù)據(jù)存儲(chǔ)效力據(jù)存儲(chǔ)效力 的網(wǎng)絡(luò)的網(wǎng)絡(luò)NAS與與DAS的區(qū)的區(qū)別別DAS是對(duì)已有效是對(duì)已有效力器的簡(jiǎn)單擴(kuò)展，力器的簡(jiǎn)單擴(kuò)展，并未真正實(shí)現(xiàn)網(wǎng)并未真正實(shí)現(xiàn)網(wǎng)絡(luò)互聯(lián)絡(luò)互聯(lián)NAS那么將網(wǎng)絡(luò)那么將網(wǎng)絡(luò)作為存儲(chǔ)實(shí)體，作為存儲(chǔ)實(shí)體，更容易實(shí)現(xiàn)文件更容易實(shí)現(xiàn)文件級(jí)別的共享級(jí)別的共享NAS性能比性能比DAS有所加強(qiáng)有所加強(qiáng)11.2 網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造

5、網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造11.2.3 存儲(chǔ)區(qū)域存儲(chǔ)區(qū)域網(wǎng)絡(luò)網(wǎng)絡(luò) SAN：Storage Area Network經(jīng)過(guò)網(wǎng)絡(luò)方式銜經(jīng)過(guò)網(wǎng)絡(luò)方式銜接存儲(chǔ)設(shè)備和運(yùn)接存儲(chǔ)設(shè)備和運(yùn)用效力器的存儲(chǔ)用效力器的存儲(chǔ)架構(gòu)架構(gòu)由效力器、存儲(chǔ)由效力器、存儲(chǔ)設(shè)備和設(shè)備和SAN銜接銜接設(shè)備組成設(shè)備組成特點(diǎn)特點(diǎn)存儲(chǔ)共享存儲(chǔ)共享支持效力器從支持效力器從SAN直接啟動(dòng)直接啟動(dòng)11.2 網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造網(wǎng)絡(luò)存儲(chǔ)體系構(gòu)造DAS：易管理，構(gòu)：易管理，構(gòu)造簡(jiǎn)單；集中式體造簡(jiǎn)單；集中式體系構(gòu)造，不能滿足系構(gòu)造，不能滿足大規(guī)模數(shù)據(jù)訪問(wèn)的大規(guī)模數(shù)據(jù)訪問(wèn)的需求；存儲(chǔ)資源利需求；存儲(chǔ)資源利用率低，資源共享用率低，資源共享才干差，呵斥才干差，呵斥“信息信

6、息孤島孤島NAS：網(wǎng)絡(luò)存儲(chǔ)實(shí)：網(wǎng)絡(luò)存儲(chǔ)實(shí)體，實(shí)現(xiàn)文件級(jí)別體，實(shí)現(xiàn)文件級(jí)別共享；性能依賴于共享；性能依賴于網(wǎng)絡(luò)流量，用戶數(shù)網(wǎng)絡(luò)流量，用戶數(shù)過(guò)多，讀寫(xiě)過(guò)于頻過(guò)多，讀寫(xiě)過(guò)于頻繁時(shí)性能受限繁時(shí)性能受限SAN：存儲(chǔ)管理簡(jiǎn)：存儲(chǔ)管理簡(jiǎn)化，存儲(chǔ)容量利用化，存儲(chǔ)容量利用率提高；無(wú)直接文率提高；無(wú)直接文件級(jí)別的訪問(wèn)才干，件級(jí)別的訪問(wèn)才干，但可在但可在SAN根底上根底上建立文件系統(tǒng)建立文件系統(tǒng)11.3 數(shù)據(jù)中心數(shù)據(jù)中心11.3 數(shù)據(jù)中心數(shù)據(jù)中心維基百科維基百科數(shù)據(jù)中心是一整套復(fù)雜的設(shè)備。不僅包括計(jì)算機(jī)系統(tǒng)和與之?dāng)?shù)據(jù)中心是一整套復(fù)雜的設(shè)備。不僅包括計(jì)算機(jī)系統(tǒng)和與之配套的設(shè)備如通訊和存儲(chǔ)系統(tǒng)，還包含冗余的數(shù)據(jù)通訊配套

7、的設(shè)備如通訊和存儲(chǔ)系統(tǒng)，還包含冗余的數(shù)據(jù)通訊銜接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種平安安裝銜接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種平安安裝Google多功能網(wǎng)絡(luò)建筑物，包容多個(gè)效力器及通訊設(shè)備。這些設(shè)備多功能網(wǎng)絡(luò)建筑物，包容多個(gè)效力器及通訊設(shè)備。這些設(shè)備被放置在一同是由于它們具有一樣的環(huán)境要求及物理平安需被放置在一同是由于它們具有一樣的環(huán)境要求及物理平安需求，并且這樣放置便于維護(hù)求，并且這樣放置便于維護(hù)11.3 數(shù)據(jù)中心數(shù)據(jù)中心大型機(jī)大型機(jī)微型機(jī)微型機(jī)大規(guī)模數(shù)據(jù)中心大規(guī)模數(shù)據(jù)中心Mega Data Center11.3.1 數(shù)據(jù)中心的來(lái)源及開(kāi)展數(shù)據(jù)中心的來(lái)源及開(kāi)展11.3 數(shù)據(jù)中心數(shù)據(jù)中心11.3.

8、2 數(shù)據(jù)中心的相關(guān)規(guī)范數(shù)據(jù)中心的相關(guān)規(guī)范數(shù)據(jù)中心建立的難題數(shù)據(jù)中心建立的難題如何規(guī)劃一個(gè)新的數(shù)據(jù)中心？如何規(guī)劃一個(gè)新的數(shù)據(jù)中心？怎樣對(duì)數(shù)據(jù)中心進(jìn)展晉級(jí)？怎樣對(duì)數(shù)據(jù)中心進(jìn)展晉級(jí)？數(shù)據(jù)中心的規(guī)范對(duì)相關(guān)閱歷進(jìn)展了總結(jié)數(shù)據(jù)中心的規(guī)范對(duì)相關(guān)閱歷進(jìn)展了總結(jié)ANSI/TIA/EIA-942簡(jiǎn)稱簡(jiǎn)稱TIA-942：數(shù)據(jù)中心規(guī)范：數(shù)據(jù)中心規(guī)范由電信產(chǎn)業(yè)協(xié)會(huì)由電信產(chǎn)業(yè)協(xié)會(huì)TIA提出，并經(jīng)美國(guó)國(guó)家規(guī)范學(xué)提出，并經(jīng)美國(guó)國(guó)家規(guī)范學(xué)會(huì)會(huì)ANSI同意同意11.3 數(shù)據(jù)中心數(shù)據(jù)中心1、選址與規(guī)劃、選址與規(guī)劃需求思索的要素需求思索的要素建立和運(yùn)營(yíng)本錢(qián)建立和運(yùn)營(yíng)本錢(qián)運(yùn)用需求運(yùn)用需求政策優(yōu)惠政策優(yōu)惠規(guī)劃規(guī)劃按功能區(qū)域劃分按功能區(qū)域

9、劃分11.3 數(shù)據(jù)中心數(shù)據(jù)中心1入口室：放置互聯(lián)網(wǎng)接入點(diǎn)設(shè)備的場(chǎng)所入口室：放置互聯(lián)網(wǎng)接入點(diǎn)設(shè)備的場(chǎng)所2主分布區(qū)：中心區(qū)域，各個(gè)主分布區(qū)：中心區(qū)域，各個(gè)LAN與與SAN構(gòu)造的中心路由構(gòu)造的中心路由 器及交換機(jī)所放置的區(qū)域，同時(shí)放置光纖、電纜等器及交換機(jī)所放置的區(qū)域，同時(shí)放置光纖、電纜等3程度分布區(qū)：主分布區(qū)的下層，程度纜線集中點(diǎn)程度分布區(qū)：主分布區(qū)的下層，程度纜線集中點(diǎn)4設(shè)備分布區(qū)：放置效力器和其它設(shè)備的機(jī)架與機(jī)柜設(shè)備分布區(qū)：放置效力器和其它設(shè)備的機(jī)架與機(jī)柜5區(qū)段分布區(qū)：程度分布區(qū)與設(shè)備分布區(qū)間的銜接點(diǎn)，可區(qū)段分布區(qū)：程度分布區(qū)與設(shè)備分布區(qū)間的銜接點(diǎn)，可 放置獨(dú)立設(shè)備放置獨(dú)立設(shè)備6主干纜線和程度

10、纜線：各個(gè)區(qū)域間的銜接主干纜線和程度纜線：各個(gè)區(qū)域間的銜接11.3 數(shù)據(jù)中心數(shù)據(jù)中心TIA-942規(guī)定了纜線系統(tǒng)、能源系統(tǒng)、降溫系統(tǒng)、可靠性分級(jí)規(guī)定了纜線系統(tǒng)、能源系統(tǒng)、降溫系統(tǒng)、可靠性分級(jí)四個(gè)等級(jí)，四個(gè)等級(jí)，P228229，表，表11.1纜線系統(tǒng)纜線系統(tǒng)規(guī)格規(guī)格如何放置如何放置能源系統(tǒng)能源系統(tǒng)外部電力供外部電力供應(yīng)應(yīng)電池組電池組發(fā)電機(jī)發(fā)電機(jī)降溫系統(tǒng)降溫系統(tǒng)降溫設(shè)備降溫設(shè)備架空地板架空地板冷通道與熱通冷通道與熱通道道11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.4.1 Google數(shù)據(jù)中心數(shù)據(jù)中心每月將近每月將近3.8億用戶、億用戶、30億次查詢億次查詢

11、每天處置每天處置20 PB數(shù)據(jù)、存有數(shù)十億網(wǎng)頁(yè)地址與個(gè)人資數(shù)據(jù)、存有數(shù)十億網(wǎng)頁(yè)地址與個(gè)人資料料Google站點(diǎn)可靠性超越站點(diǎn)可靠性超越99.99%全球共建有近全球共建有近40個(gè)大規(guī)模數(shù)據(jù)中心個(gè)大規(guī)模數(shù)據(jù)中心單個(gè)數(shù)據(jù)中心需求至少單個(gè)數(shù)據(jù)中心需求至少50兆瓦功率，約等于一個(gè)小型兆瓦功率，約等于一個(gè)小型城市一切家庭的用電量城市一切家庭的用電量獨(dú)特的硬件設(shè)備：定制的以太網(wǎng)交換機(jī)、能源系統(tǒng)等獨(dú)特的硬件設(shè)備：定制的以太網(wǎng)交換機(jī)、能源系統(tǒng)等11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*選址思索選址思索大量而廉價(jià)的電能大量而廉價(jià)的電能有利于獲得風(fēng)能、水利等低碳電能有利于獲得風(fēng)能、水利等低碳電能接近大型水源，為降溫設(shè)

12、備運(yùn)用接近大型水源，為降溫設(shè)備運(yùn)用較大面積空地，提供緩沖帶，添加嚴(yán)密性較大面積空地，提供緩沖帶，添加嚴(yán)密性與其它數(shù)據(jù)中心的間隔，保證數(shù)據(jù)高速互連與其它數(shù)據(jù)中心的間隔，保證數(shù)據(jù)高速互連稅收優(yōu)惠稅收優(yōu)惠自行研發(fā)的軟件技術(shù)：自行研發(fā)的軟件技術(shù)：Google File System、MapReduce、BigTable等等11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.4.2 Google File SystemGFSGoogle處置超大規(guī)模數(shù)據(jù)密集型運(yùn)用的分布文件系統(tǒng)處置超大規(guī)模數(shù)據(jù)密集型運(yùn)用的分布文件系統(tǒng)GFS的設(shè)計(jì)觀念的設(shè)計(jì)觀念組件失效不再被以為是不測(cè)，而是被看做正常的景象組件失效不再被以為是不測(cè)

13、，而是被看做正常的景象GFS的文件非常宏大的文件非常宏大對(duì)文件的操作具有特定的方式對(duì)文件的操作具有特定的方式文件系統(tǒng)運(yùn)用程序編程接口文件系統(tǒng)運(yùn)用程序編程接口API：Application Programming Interface和運(yùn)用程序的協(xié)同設(shè)計(jì)和運(yùn)用程序的協(xié)同設(shè)計(jì)提高了整個(gè)系統(tǒng)的靈敏性提高了整個(gè)系統(tǒng)的靈敏性11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*GFS的設(shè)計(jì)架構(gòu)的設(shè)計(jì)架構(gòu)GFS集群包含集群包含一個(gè)主效力器一個(gè)主效力器和多個(gè)塊效力和多個(gè)塊效力器，并被多個(gè)器，并被多個(gè)客戶端訪問(wèn)客戶端訪問(wèn)文件分成固定大小的文件分成固定大小的“塊。每個(gè)塊創(chuàng)建時(shí)都由主塊。每個(gè)塊創(chuàng)建時(shí)都由主效力效力 器分配一個(gè)固定

14、不變的器分配一個(gè)固定不變的64位獨(dú)一標(biāo)識(shí)位獨(dú)一標(biāo)識(shí)塊效力器把塊效力器把“塊作為塊作為L(zhǎng)inux文件存儲(chǔ)在本地磁盤(pán)上，文件存儲(chǔ)在本地磁盤(pán)上，并并 根據(jù)指定的塊字節(jié)范圍對(duì)數(shù)據(jù)進(jìn)展讀寫(xiě)操作根據(jù)指定的塊字節(jié)范圍對(duì)數(shù)據(jù)進(jìn)展讀寫(xiě)操作11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心* 主效力器維護(hù)一切文件系統(tǒng)的元數(shù)據(jù)，包括名字空間、訪主效力器維護(hù)一切文件系統(tǒng)的元數(shù)據(jù)，包括名字空間、訪 問(wèn)控制信息、文件到塊的映射信息以及塊當(dāng)前的位置。問(wèn)控制信息、文件到塊的映射信息以及塊當(dāng)前的位置。此此 外，主效力器還控制其它的系統(tǒng)級(jí)活動(dòng)。主效力器周外，主效力器還控制其它的系統(tǒng)級(jí)活動(dòng)。主效力器周期性期性 與塊效力器通訊，以下達(dá)指令和搜集

15、形狀與塊效力器通訊，以下達(dá)指令和搜集形狀 GFS客戶端代碼嵌入到每個(gè)運(yùn)用中，實(shí)現(xiàn)文件系統(tǒng)客戶端代碼嵌入到每個(gè)運(yùn)用中，實(shí)現(xiàn)文件系統(tǒng)API、主效力器與塊效力器的通訊，從而代表運(yùn)用實(shí)現(xiàn)讀寫(xiě)操作主效力器與塊效力器的通訊，從而代表運(yùn)用實(shí)現(xiàn)讀寫(xiě)操作 客戶端與效力器交互，從而實(shí)現(xiàn)元數(shù)據(jù)操作，但一切數(shù)據(jù)客戶端與效力器交互，從而實(shí)現(xiàn)元數(shù)據(jù)操作，但一切數(shù)據(jù)操作都經(jīng)過(guò)直接與塊效力器交互而完成操作都經(jīng)過(guò)直接與塊效力器交互而完成11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.4.3 MapReduceMapReduce：一種針對(duì)超大規(guī)模數(shù)據(jù)集的編程模型和：一種針對(duì)超大規(guī)模數(shù)據(jù)集的編程模型和系統(tǒng)系統(tǒng)用用MapReduce開(kāi)

16、發(fā)的程序可在計(jì)算機(jī)集群上并行執(zhí)行、開(kāi)發(fā)的程序可在計(jì)算機(jī)集群上并行執(zhí)行、處置處置計(jì)算機(jī)失效、調(diào)度計(jì)算機(jī)間的通訊計(jì)算機(jī)失效、調(diào)度計(jì)算機(jī)間的通訊MapReduce的根本思想的根本思想用戶編寫(xiě)兩個(gè)程序：用戶編寫(xiě)兩個(gè)程序：Map和和Reduce一個(gè)在計(jì)算機(jī)集群上執(zhí)行多個(gè)程序?qū)嵗目蚣芤粋€(gè)在計(jì)算機(jī)集群上執(zhí)行多個(gè)程序?qū)嵗目蚣?1.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*MapReduce的執(zhí)行流程共的執(zhí)行流程共7步，步，P23523611.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*11.4.4 BigTableBigTable：在海量數(shù)據(jù)規(guī)模下包含：在海量數(shù)據(jù)規(guī)模下包含PB量級(jí)數(shù)據(jù)和數(shù)量級(jí)數(shù)據(jù)和數(shù)千臺(tái)計(jì)千臺(tái)計(jì)算機(jī)管理構(gòu)

17、造化數(shù)據(jù)的分布式存儲(chǔ)的系統(tǒng)算機(jī)管理構(gòu)造化數(shù)據(jù)的分布式存儲(chǔ)的系統(tǒng)運(yùn)用運(yùn)用Google地球地球網(wǎng)頁(yè)索引網(wǎng)頁(yè)索引RSS閱讀器閱讀器11.4 典型的數(shù)據(jù)中心典型的數(shù)據(jù)中心*每個(gè)每個(gè)BigTable都是一個(gè)稀疏的、分布式的多維有序圖，按行都是一個(gè)稀疏的、分布式的多維有序圖，按行鍵值、列鍵值和時(shí)間戳建立索引鍵值、列鍵值和時(shí)間戳建立索引P23623811.5 Hadoop*11.5 Hadoop*HadoopApache開(kāi)源發(fā)布的分布式計(jì)算開(kāi)源框架開(kāi)源發(fā)布的分布式計(jì)算開(kāi)源框架用于大型集群廉價(jià)效力器設(shè)備上運(yùn)轉(zhuǎn)數(shù)據(jù)密集型分布式運(yùn)用用于大型集群廉價(jià)效力器設(shè)備上運(yùn)轉(zhuǎn)數(shù)據(jù)密集型分布式運(yùn)用程序程序早期是早期是Googl

18、e文件系統(tǒng)與文件系統(tǒng)與MapReduce分布式分布式計(jì)算框架及相關(guān)計(jì)算框架及相關(guān)IT根底效力的開(kāi)源實(shí)現(xiàn)根底效力的開(kāi)源實(shí)現(xiàn)包括多個(gè)子工程包括多個(gè)子工程HDFS、 MapReduce、 HBase 、Chukwa、Pig、ZooKeeper11.5 Hadoop*HDFSHadoop Distributed File System系統(tǒng)架構(gòu)及特點(diǎn)系統(tǒng)架構(gòu)及特點(diǎn)P239240設(shè)計(jì)前提與目的設(shè)計(jì)前提與目的硬件錯(cuò)誤是常態(tài)而不是異常硬件錯(cuò)誤是常態(tài)而不是異常流式數(shù)據(jù)訪問(wèn)流式數(shù)據(jù)訪問(wèn)大規(guī)模數(shù)據(jù)集大規(guī)模數(shù)據(jù)集簡(jiǎn)單的一致性模型簡(jiǎn)單的一致性模型挪動(dòng)計(jì)算比挪動(dòng)數(shù)據(jù)更經(jīng)濟(jì)挪動(dòng)計(jì)算比挪動(dòng)數(shù)據(jù)更經(jīng)濟(jì)輕便的訪問(wèn)異構(gòu)軟硬件平臺(tái)輕

19、便的訪問(wèn)異構(gòu)軟硬件平臺(tái)11.6 數(shù)據(jù)中心的研討熱點(diǎn)數(shù)據(jù)中心的研討熱點(diǎn)11.6 數(shù)據(jù)中心的研討熱點(diǎn)數(shù)據(jù)中心的研討熱點(diǎn)2006年年Google在數(shù)據(jù)中心工程破費(fèi)在數(shù)據(jù)中心工程破費(fèi)19億美圓億美圓2007年該項(xiàng)支出添加到年該項(xiàng)支出添加到24億美圓億美圓Google俄勒岡州數(shù)據(jù)中心近俄勒岡州數(shù)據(jù)中心近100兆瓦的功率，滿負(fù)荷運(yùn)轉(zhuǎn)時(shí)能兆瓦的功率，滿負(fù)荷運(yùn)轉(zhuǎn)時(shí)能耗根本上與紐卡斯?fàn)柡母旧吓c紐卡斯?fàn)朜ewcastle全市一切家庭用電量一樣全市一切家庭用電量一樣研討熱點(diǎn)：如何在保證效力質(zhì)量的前提下降低本錢(qián)？研討熱點(diǎn)：如何在保證效力質(zhì)量的前提下降低本錢(qián)？11.6 數(shù)據(jù)中心的研討熱點(diǎn)數(shù)據(jù)中心的研討熱點(diǎn)根底設(shè)備包括能源系統(tǒng)、降溫系統(tǒng)、各種防火設(shè)備、安保設(shè)根底設(shè)備包括能源系統(tǒng)、降溫系統(tǒng)、各種防火設(shè)備、安保設(shè)備等。降低該部分本錢(qián)涉及機(jī)械制造技術(shù)或政策優(yōu)惠等，與備等。降低該部分本錢(qián)涉及機(jī)械制造技術(shù)或政策優(yōu)惠等，與計(jì)算機(jī)學(xué)科的關(guān)聯(lián)程度較低計(jì)算機(jī)學(xué)科的關(guān)聯(lián)程度較低在此，分別從效力器，網(wǎng)絡(luò)設(shè)備，能源三個(gè)方面對(duì)呵斥高成在此，分別從效力器，網(wǎng)絡(luò)設(shè)備，能源三個(gè)