大規(guī)模分布式數(shù)據(jù)的管理

1、大規(guī)模分布式數(shù)據(jù)的管理大規(guī)模分布式數(shù)據(jù)的管理2/22主要內(nèi)容數(shù)據(jù)管理需求1分布式數(shù)據(jù)管理技術(shù)2網(wǎng)格環(huán)境下的數(shù)據(jù)管理3云計(jì)算存儲(chǔ)模式43/22數(shù)據(jù)快速增長(zhǎng)v 數(shù)據(jù)量增長(zhǎng)到底有多快？視頻、音頻、圖片v EMC&IDC報(bào)告“數(shù)字宇宙十年你是否準(zhǔn)備好（2010.5.5）”稱2010年數(shù)據(jù)量相當(dāng)于750億部16GB的iPad： 擺滿北京國(guó)家體育場(chǎng)(鳥巢)15.5次， 倫敦溫布利體育場(chǎng) 41次， 臺(tái)北101大樓23次， LHC隧道151次 全球每人平均擁有11臺(tái)iPad ?？怂闺娨暸_(tái)熱門電視連續(xù)劇24小時(shí)連續(xù)播放1.25億年 數(shù)據(jù)量達(dá)到1.2ZB1MB=1024KB 1GB=1024MB1TB=1

2、024GB 1PB=1024TB1EB=1024PB 1ZB=1024EB4/22高能物理數(shù)據(jù)量v Hepix 2010 14個(gè)主要站點(diǎn)在線存儲(chǔ)空間達(dá)到87PB，而2007年才14PB，增加了5倍倍多v WLCG 在線存儲(chǔ)：62PB，近線存儲(chǔ)：58PBv 大型實(shí)驗(yàn) LHC: 15PB/year BES: 累積5PB5PB光盤5/22數(shù)據(jù)管理需求v數(shù)據(jù)量大 存的下v高速訪問(wèn) 取得到v廣域分布 易分享v長(zhǎng)期保存 存的妥6/22數(shù)據(jù)存儲(chǔ)技術(shù)v在IT界，存儲(chǔ)技術(shù)一直很火，為什么？ 看似簡(jiǎn)單的需求，實(shí)際上要求很高 數(shù)據(jù)存儲(chǔ)技術(shù)從軟件到硬件都在不斷發(fā)展，以滿足需求v存儲(chǔ)連接方式 單機(jī)存儲(chǔ)（DAS） 網(wǎng)絡(luò)存

3、儲(chǔ)（NAS, SAN）v存儲(chǔ)管理軟件 本地存儲(chǔ)系統(tǒng) 分布式網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)7/22存儲(chǔ)連接方式v 直接連接存儲(chǔ) DAS: Direct-Attached Storage 計(jì)算與存儲(chǔ)集中v 網(wǎng)絡(luò)存儲(chǔ) FAS: Fabric-Attached Storage 存儲(chǔ)與計(jì)算分離存儲(chǔ)與計(jì)算分離（一場(chǎng)革命）（一場(chǎng)革命）存儲(chǔ)設(shè)備文件系統(tǒng)應(yīng)用軟件存儲(chǔ)設(shè)備文件系統(tǒng)應(yīng)用軟件存儲(chǔ)設(shè)備文件系統(tǒng)應(yīng)用軟件網(wǎng)絡(luò)FC/GbEDASNASSAN8/22存儲(chǔ)管理軟件v存儲(chǔ)設(shè)備連接方式的變化，存儲(chǔ)管理軟件也隨之發(fā)展v本地文件系統(tǒng) 管理本地的存儲(chǔ)系統(tǒng)，為本地的應(yīng)用服務(wù) 在DAS以及SAN服務(wù)器上比較常見v分布式網(wǎng)絡(luò)存儲(chǔ)管理系統(tǒng) 將分布在

4、網(wǎng)絡(luò)上的存儲(chǔ)設(shè)備統(tǒng)一管理，為多個(gè)連接在網(wǎng)絡(luò)上的應(yīng)用服務(wù) NAS服務(wù)器上的網(wǎng)絡(luò)文件系統(tǒng)（NFS,CIFS）以及分布式文件系統(tǒng)（AFS, Lustre）等v趨勢(shì)：數(shù)據(jù)量爆炸性的增長(zhǎng)、計(jì)算模式的集群化發(fā)展、開放標(biāo)準(zhǔn)的存儲(chǔ)設(shè)備，導(dǎo)致存儲(chǔ)系統(tǒng)朝著集群化、分布式的方向發(fā)展9/22典型的高能物理存儲(chǔ)環(huán)境計(jì)算集群計(jì)算網(wǎng)絡(luò)存儲(chǔ)網(wǎng)絡(luò)存儲(chǔ)網(wǎng)絡(luò)磁盤服務(wù)器磁帶庫(kù)磁帶服務(wù)器存儲(chǔ)設(shè)備連接磁盤陣列存儲(chǔ)網(wǎng)絡(luò)與計(jì)算網(wǎng)絡(luò)分離；存儲(chǔ)設(shè)備與存儲(chǔ)服務(wù)器是網(wǎng)絡(luò)分布的；普遍采用基于磁盤-磁帶的分級(jí)存儲(chǔ)；采用分布式存儲(chǔ)管理軟件來(lái)管理存儲(chǔ)空間10/22分布式存儲(chǔ)系統(tǒng)典型結(jié)構(gòu)用戶態(tài)內(nèi)核態(tài)客戶端元數(shù)據(jù)服務(wù)器I/O服務(wù)器傳輸流與控制流的分離I/O服務(wù)

5、器集群化分布，易于實(shí)現(xiàn)性能和容量的雙向增長(zhǎng)元數(shù)據(jù)服務(wù)器統(tǒng)一管理，提供統(tǒng)一存儲(chǔ)空間11/22存儲(chǔ)管理的功能組件磁盤磁帶數(shù)據(jù)分發(fā)POSIX I/O集群文件系統(tǒng)聚合訪問(wèn)分級(jí)存儲(chǔ)管理傳輸流管理認(rèn)證/授權(quán)磁帶調(diào)度邏輯連接名字空間介質(zhì)遷移錯(cuò)誤處理I/O調(diào)度數(shù)據(jù)遷移帶寬預(yù)留磁盤池磁帶庫(kù)管理12/22分布式存儲(chǔ)管理系統(tǒng)v共享Home目錄 AFS, NFSv大型實(shí)驗(yàn)數(shù)據(jù)空間 GPFS, LUSTRE, XROOTD, dCACHE, CASTOR, HPSSv磁帶遷移 HPSS, TSM, ENSTORE, CASTOR/STAGER13/22困惑v有這么多的系統(tǒng)可以選擇，是否值得高興呢？ 值得高興是肯定的，因

6、為有系統(tǒng)可以用，但是同樣也有不少困惑v困惑一：如何選擇？ 可擴(kuò)展性 客戶端訪問(wèn)協(xié)議 軟件是否能夠長(zhǎng)期維護(hù)？v困惑二： 眾多的存儲(chǔ)系統(tǒng)，在網(wǎng)格環(huán)境下如何管理？ 網(wǎng)格強(qiáng)調(diào)：局部自治，全局統(tǒng)一 因此，對(duì)于這點(diǎn)，不再僅僅是困惑，而是一個(gè)必須要解決的問(wèn)題！14/22SRMv 既然大家不能統(tǒng)一使用同一個(gè)存儲(chǔ)系統(tǒng)，就只能通過(guò)標(biāo)準(zhǔn)化來(lái)解決v CERN, FNAL, DESY, INFN等單位成立標(biāo)準(zhǔn)工作組，制定了SRM（Storage Resource Manager ）接口標(biāo)準(zhǔn) 包括了空間管理、文件管理、數(shù)據(jù)傳輸、協(xié)議發(fā)現(xiàn)等多組函數(shù)dCache(FNAL)DPM(IHEP)CASTOR(CERN)SRM通過(guò)

7、統(tǒng)一的SRM接口同各種存儲(chǔ)系統(tǒng)交互；可以在目標(biāo)系統(tǒng)預(yù)留空間；可以調(diào)用相應(yīng)的協(xié)議傳輸文件LUSTRE(CNAF)15/22WLCG網(wǎng)格存儲(chǔ)管理VO 數(shù)據(jù)管理系統(tǒng)文件傳輸服務(wù)FTS (Tier 0)網(wǎng)格文件目錄文件傳輸服務(wù)FTS(Tier 1)Tier 0站點(diǎn)存儲(chǔ)(CASTOR)SRM接口Tier 1站點(diǎn)存儲(chǔ)(dCache)SRM接口Tier 2站點(diǎn)存儲(chǔ)(Lustre)SRM接口大規(guī)模數(shù)據(jù)傳輸通信與認(rèn)證高速網(wǎng)絡(luò)(10Gb)高速網(wǎng)絡(luò)(1Gb)16/22其它領(lǐng)域v 以上的方案在高能物理領(lǐng)域應(yīng)用非常廣泛v 高能物理只是大規(guī)模分布式數(shù)據(jù)應(yīng)用的其中一個(gè)，還有更多的領(lǐng)域，比如搜索、社交網(wǎng)站、WEB2.0等等v

8、 每個(gè)領(lǐng)域的解決方案各有不同，但是核心都是采用分布式數(shù)據(jù)管理技術(shù)v 隨著數(shù)據(jù)量的快速增長(zhǎng)以及計(jì)算模式的改變，Google、Yahoo等公司，推出了以GFS、HDFS等為代表云計(jì)算存儲(chǔ)v 試想這么一個(gè)例子：從一個(gè)1TB的文件中統(tǒng)計(jì)包含“IHEP”的行，如何來(lái)做？?jī)H網(wǎng)絡(luò)傳輸數(shù)據(jù)就需要大量時(shí)間!17/22HadoopvHadoop文件系統(tǒng)HDFS將文件分成若干個(gè)數(shù)據(jù)塊，并將它們放置在服務(wù)器群的計(jì)算節(jié)點(diǎn)中MapReduce就可以在它們所在的節(jié)點(diǎn)上處理這些數(shù)據(jù)18/22MapReduce簡(jiǎn)單過(guò)程v傳統(tǒng)的做法Cat input | grep IHEP | sort| uniq c |cat outputv

9、MapReduceInput | Map | shuffle&sort | Reduce | OutputInput0Input1Input2Map0Map0Map0Reduce0Reduce1Out1shuffle19/22計(jì)算與存儲(chǔ)的協(xié)同v以GFS、HDFS等為代表云計(jì)算存儲(chǔ)系統(tǒng)在設(shè)計(jì)時(shí)普遍遵守一個(gè)前提：“移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)劃算”v存儲(chǔ)系統(tǒng)在存儲(chǔ)數(shù)據(jù)時(shí)把數(shù)據(jù)切成小塊，任務(wù)調(diào)度器把計(jì)算任務(wù)正好調(diào)度到有數(shù)據(jù)的地方，直接在本地做計(jì)算，免去網(wǎng)絡(luò)傳輸v計(jì)算與存儲(chǔ)的協(xié)同統(tǒng)一，是一次新的變革。事物的發(fā)展總是波浪式前進(jìn)、螺旋式的上升20/22其它特點(diǎn)v 可靠性設(shè)計(jì) 設(shè)計(jì)時(shí)認(rèn)為：”硬件故障是常態(tài)” 存儲(chǔ)系統(tǒng)有成千上百個(gè)節(jié)點(diǎn)組成，壞掉任何一個(gè)對(duì)系統(tǒng)運(yùn)行沒(méi)有任何影響 機(jī)架感知的復(fù)制策略 故障檢測(cè)：心跳包、塊報(bào)告、完整性檢測(cè)v 存儲(chǔ)空間自動(dòng)平衡 存儲(chǔ)節(jié)點(diǎn)需要頻繁更換或增加 新增節(jié)點(diǎn)或更換節(jié)點(diǎn)，副本會(huì)自動(dòng)增加，并保證各個(gè)節(jié)點(diǎn)間的水位平衡v 簡(jiǎn)單一致性模型 以支持“一次寫入多次讀取”的訪問(wèn)模型為主，大大簡(jiǎn)化數(shù)據(jù)一致性問(wèn)題，使得高吞吐量的數(shù)據(jù)訪問(wèn)成為可能21/22小結(jié)v數(shù)據(jù)爆炸性增長(zhǎng)對(duì)存儲(chǔ)系統(tǒng)提出了持續(xù)的需求，網(wǎng)絡(luò)