云計算（第三版）配套之36第11章中國云計算技術(shù)（一）

11.1國內(nèi)云計算發(fā)展概況11.2國產(chǎn)云存儲技術(shù)11.3國產(chǎn)大數(shù)據(jù)庫技術(shù)11.4云視頻監(jiān)控技術(shù)11.5阿里巴巴阿里云服務(wù)11.6云創(chuàng)存儲萬物云服務(wù)11.1國內(nèi)云計算開展概況311.1國內(nèi)云計算開展概況以“BAT〞等為代表的互聯(lián)網(wǎng)企業(yè)成為現(xiàn)階段中國云計算效勞創(chuàng)新開展的主導(dǎo)力量。后起之秀UCloud、QingCloud等，也希望能夠在未來的龐大的企業(yè)級市場占據(jù)領(lǐng)導(dǎo)地位。11.1國內(nèi)云計算開展概況未來云計算的開展離不開以下四大開展趨勢：第一，隨著云計算創(chuàng)新水平的不斷提升，產(chǎn)業(yè)鏈上中下游整合趨勢更加明顯。第二，國內(nèi)云計算應(yīng)用市場進(jìn)一步開展成熟，市場空間顯著擴(kuò)大。第三，云計算效勞開展迅速，公共云效勞和大型企業(yè)、機(jī)構(gòu)內(nèi)部的私有云建設(shè)與運(yùn)維將成為重點(diǎn)。第四，云計算公共化程度將進(jìn)一步提升。國內(nèi)云計算應(yīng)用市場進(jìn)一步開展與成熟，市場空間顯著擴(kuò)大。11.1國內(nèi)云計算發(fā)展概況11.2國產(chǎn)云存儲技術(shù)11.3國產(chǎn)大數(shù)據(jù)庫技術(shù)11.4云視頻監(jiān)控技術(shù)11.5阿里巴巴阿里云服務(wù)11.6云創(chuàng)存儲萬物云服務(wù)11.2.1淘寶分布式文件系統(tǒng)TFS11.2.2云創(chuàng)存儲cStor分布式文件系統(tǒng)11.2.3A8000超低功耗云存儲一體機(jī)7淘寶分布式文件系統(tǒng)TFSTaobaoFileSystem〔TFS〕是一個高可擴(kuò)展、高可用、高性能、面向互聯(lián)網(wǎng)效勞的分布式文件系統(tǒng)，主要針對海量的非結(jié)構(gòu)化數(shù)據(jù)，它構(gòu)建在普通的Linux機(jī)器集群上，可對外提供高可靠和高并發(fā)的存儲訪問。淘寶提供海量小文件存儲采用了高容錯架構(gòu)和平滑擴(kuò)容扁平化的數(shù)據(jù)組織結(jié)構(gòu)淘寶分布式文件系統(tǒng)TFSApplication/ClientBlockid<.>dataserverNameServerBlockid<.>dataserverNameServerDataServerdsp1dsp2dsp3hdahdahdaDataServerdsp1dsp2dsp3hdahdahdaBlockid,fildid/AllocateDataserverid(blockid,fileid)HeartbeatmessagecontrolmessageHeartbeatmessage89wBlockblockmasterblockmasterblockmasterblockmasterWirtableBlockListBlockListDataServerListSERVERWriteLeaseListBlock淘寶分布式文件系統(tǒng)TFS10淘寶分布式文件系統(tǒng)TFS1〕集群容錯TFS可以配置主輔集群，一般主輔集群會存放在兩個不同的機(jī)房。主集群提供所有功能，輔集群只提供讀。2〕NameServer容錯Namserve負(fù)責(zé)維護(hù)Block列表和DataServer與Block之間的關(guān)系。

NameServer和DataServer之間也會有定時的heartbeat。3〕DataServer容錯TFS采用Block存儲多份的方式來實(shí)現(xiàn)DataServer的容錯。TFS對每一個文件會記錄校驗CRC對于每一個寫入請求，必須在所有的Block寫入成功時才算成功。11淘寶分布式文件系統(tǒng)TFS平滑擴(kuò)容TFS集群容量缺乏時，只需新增DataServer，在上面部署好應(yīng)用程序后啟動即可。在集群負(fù)載較輕時，NameServer會對DataServer上的Block進(jìn)行均衡，保證每個DataServer的Block數(shù)盡可能均衡。11.2.1淘寶分布式文件系統(tǒng)TFS11.2.2云創(chuàng)存儲cStor分布式文件系統(tǒng)11.2.3A8000超低功耗云存儲一體機(jī)卷配置節(jié)點(diǎn)參數(shù)配置存儲參數(shù)配置用戶配額管理QoS管理告警配置存儲空間監(jiān)控設(shè)備狀態(tài)監(jiān)控程序狀態(tài)監(jiān)控網(wǎng)絡(luò)狀態(tài)監(jiān)控磁盤狀態(tài)監(jiān)控流量監(jiān)控全面告警監(jiān)控中心配置中心管理監(jiān)控中心客戶端1客戶端2客戶端3客戶端4客戶端N主卷管理服務(wù)器備卷管理服務(wù)器用戶掛載客戶端卷管理節(jié)點(diǎn)主元數(shù)據(jù)管理節(jié)點(diǎn)1備元數(shù)據(jù)管理節(jié)點(diǎn)1卷A主元數(shù)據(jù)管理節(jié)點(diǎn)2備元數(shù)據(jù)管理節(jié)點(diǎn)2卷B主元數(shù)據(jù)管理節(jié)點(diǎn)3備元數(shù)據(jù)管理節(jié)點(diǎn)3卷C數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)N數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)N數(shù)據(jù)節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)2數(shù)據(jù)節(jié)點(diǎn)3數(shù)據(jù)節(jié)點(diǎn)N元數(shù)據(jù)管理節(jié)點(diǎn)塊數(shù)據(jù)存儲節(jié)點(diǎn)總體架構(gòu)存儲機(jī)制cStor客戶端向系統(tǒng)中寫數(shù)據(jù)流程如圖云創(chuàng)存儲cStor分布式文件系統(tǒng)1cStor客戶端向元數(shù)據(jù)服務(wù)器發(fā)起數(shù)據(jù)寫請求2元數(shù)據(jù)服務(wù)器根據(jù)存儲服務(wù)器的負(fù)載情況，選擇負(fù)載較輕的存儲服務(wù)器1和存儲服務(wù)器2存儲數(shù)據(jù)的兩個副本，在存儲服務(wù)器1上預(yù)留存儲空間保存數(shù)據(jù)3存儲服務(wù)器1存儲空間足夠，向元數(shù)據(jù)服務(wù)器返回預(yù)留存儲空間成功4元數(shù)據(jù)服務(wù)器同時向存儲服務(wù)器2發(fā)起預(yù)留存儲空間申請5存儲服務(wù)器2存儲空間足夠，向元數(shù)據(jù)服務(wù)器返回預(yù)留存儲空間成功6主元數(shù)據(jù)服務(wù)器同步元數(shù)據(jù)信息到備元數(shù)據(jù)服務(wù)器，保證元數(shù)據(jù)始終保存兩份15云創(chuàng)存儲cStor分布式文件系統(tǒng)7同步元數(shù)據(jù)成功8元數(shù)據(jù)服務(wù)器向客戶端返回數(shù)據(jù)可以寫到存儲服務(wù)器1和29客戶端向存儲服務(wù)器1發(fā)起數(shù)據(jù)請求10存儲服務(wù)器1保存數(shù)據(jù)11存儲服務(wù)器1同時把數(shù)據(jù)副本發(fā)送到存儲服務(wù)器2，存儲服務(wù)器2保存數(shù)據(jù)副本12存儲服務(wù)器2副本寫成功，返回寫成功給存儲服務(wù)器113客戶端收到成功信號后，即完成數(shù)據(jù)的存儲1617cStor客戶端從系統(tǒng)中讀數(shù)據(jù)流程如下圖云創(chuàng)存儲cStor分布式文件系統(tǒng)18云創(chuàng)存儲cStor分布式文件系統(tǒng)cStor云存儲系統(tǒng)的控制流和數(shù)據(jù)流是別離的：一方面降低了元數(shù)據(jù)管理節(jié)點(diǎn)的負(fù)擔(dān)，使得其處理能力更強(qiáng)；另一方面將數(shù)據(jù)讀/寫的負(fù)擔(dān)分?jǐn)偟礁鞔鎯?jié)點(diǎn)，使得系統(tǒng)的整體性能得到了提高，系統(tǒng)整體性能與節(jié)點(diǎn)數(shù)目成正相關(guān)。1cStor客戶端向元數(shù)服務(wù)器發(fā)起數(shù)據(jù)讀請求2元數(shù)據(jù)服務(wù)器查找文件保存在存儲服務(wù)器1上，然后告知客戶端3客戶端存儲服務(wù)器1發(fā)出數(shù)據(jù)讀請求，并從存儲服務(wù)器1讀取數(shù)據(jù)4存儲服務(wù)器1返回數(shù)據(jù)內(nèi)容給客戶端0102030405數(shù)據(jù)可擴(kuò)展性20D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8D1D2D3D4D5D6D7D8三副本超安存8:2編碼P1P2云創(chuàng)存儲cStor分布式文件系統(tǒng)11.2.1淘寶分布式文件系統(tǒng)TFS11.2.2云創(chuàng)存儲cStor分布式文件系統(tǒng)11.2.3A8000超低功耗云存儲一體機(jī)22A8000超低功耗云存儲一體機(jī)3600TB3000W10倍23A8000采用了標(biāo)準(zhǔn)42U機(jī)架。其中4U空間用于部署交換機(jī)、供電模塊和RMC模塊，其余38U用于部署38個1U的效勞器，包括2個E5系列的主控節(jié)點(diǎn)，36個Atom系列的存儲節(jié)點(diǎn)。供電模塊由電源模塊、配電板〔PDU〕、母排、背板組成。電源支持250VAC輸入，集中輸出至12VDC母排，機(jī)柜內(nèi)母排分為上下兩段，效勞器節(jié)點(diǎn)通過母排或背板直接取電。風(fēng)扇模塊采用了風(fēng)扇墻共享設(shè)計，由RMC實(shí)現(xiàn)獨(dú)立風(fēng)扇控制，其N+1冗余設(shè)計可以實(shí)現(xiàn)獨(dú)立維護(hù)，對節(jié)點(diǎn)透明。A8000超低功耗云存儲一體機(jī)機(jī)架結(jié)構(gòu)24A8000超低功耗云存儲一體機(jī)產(chǎn)品特性優(yōu)異性能超低功耗簡單通用全面監(jiān)控便捷管理超高密度高度可靠25單塊主板最大可接18個SATA3.0硬盤，對外網(wǎng)絡(luò)提供4個千兆以太網(wǎng)，支持四網(wǎng)口綁定，網(wǎng)絡(luò)帶寬速率可達(dá)4千兆。處理器是Intel64位低功耗CPU，支持8GBDDR3內(nèi)存，單板可直接安裝Linux發(fā)行版操作系統(tǒng)。A8000超低功耗云存儲一體機(jī)26A8000超低功耗云存儲一體機(jī)27A8000超低功耗云存儲一體機(jī)28服務(wù)器服務(wù)器RMC管理模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊散熱模塊冷風(fēng)道熱風(fēng)道A8000超低功耗云存儲一體機(jī)A8000整套系統(tǒng)通過RMC管理模塊，對整個機(jī)架8個散熱模塊進(jìn)行實(shí)時控制，每個散熱模塊由6個獨(dú)立的風(fēng)扇組成，通過RMC集中管理模塊，根據(jù)每個區(qū)域的溫度，自動調(diào)節(jié)風(fēng)扇轉(zhuǎn)速，針對整個系統(tǒng)的問題進(jìn)行有效散熱，從而到達(dá)