大禹文件系統(tǒng)介紹(7.16)課件

1、大禹文件系統(tǒng) The DayuFS每18個(gè)月產(chǎn)生的數(shù)據(jù) = 以往數(shù)據(jù)總和數(shù)據(jù)“摩爾定律”存儲(chǔ)又不夠了！存儲(chǔ)領(lǐng)域的現(xiàn)狀與問(wèn)題數(shù)據(jù)總量巨大數(shù)據(jù)增長(zhǎng)迅速數(shù)據(jù)的管理和訪問(wèn)難度增大數(shù)據(jù)可用性和可靠性要求普遍提高現(xiàn)有存儲(chǔ)系統(tǒng)的問(wèn)題擁有成本高高昂的構(gòu)建成本高昂的管理維護(hù)成本系統(tǒng)擴(kuò)展困難技術(shù)存在瓶頸（垂直擴(kuò)展模式的問(wèn)題）成本難以控制可用性問(wèn)題突出易于出現(xiàn)單點(diǎn)故障功能/接口單一需要整合各種第三方軟件實(shí)現(xiàn)高級(jí)功能存儲(chǔ)系統(tǒng)的發(fā)展趨勢(shì)高可擴(kuò)展的海量存儲(chǔ)高容錯(cuò)、高可用經(jīng)濟(jì)的系統(tǒng)構(gòu)建成本自動(dòng)管理，自動(dòng)修復(fù)管理和運(yùn)行成本低功能/接口豐富復(fù)制，快照，備份，檢索等市場(chǎng)需要新一代存儲(chǔ)系統(tǒng)！解決方案基本思路：使用冗余的低成本硬件和

2、智能軟件來(lái)構(gòu)建高可用、高可靠、低成本的海量存儲(chǔ)系統(tǒng)。解決方案（要素）低成本組件業(yè)界標(biāo)準(zhǔn)的低成本硬件：通用服務(wù)器，普通SATA硬盤(pán)開(kāi)源Linux系統(tǒng)和平臺(tái)支撐軟件低成本網(wǎng)絡(luò)互聯(lián)（以太網(wǎng)）彈性架構(gòu) （Scale out）高可擴(kuò)展的分布式架構(gòu)，可適應(yīng)不同規(guī)模的需求容量，性能兩個(gè)維度上按需擴(kuò)展。（搭積木式構(gòu)建和擴(kuò)展）智能軟件軟件方式保證系統(tǒng)的高性能、高可用性、高可靠性自動(dòng)管理、自動(dòng)修復(fù)目標(biāo)應(yīng)用（數(shù)據(jù)密集型應(yīng)用）多媒體服務(wù)（如視頻、音頻、圖片等）數(shù)據(jù)備份與歸檔（近線存儲(chǔ)）視頻監(jiān)控?cái)?shù)據(jù)存儲(chǔ)醫(yī)學(xué)影像數(shù)據(jù)企業(yè)內(nèi)部文件系統(tǒng)存儲(chǔ)服務(wù)提供商科學(xué)計(jì)算（如核物理、地球物理、石油勘探等） 目標(biāo)客戶中小型Internet服

3、務(wù)提供商 (ISP)電信運(yùn)營(yíng)商媒體機(jī)構(gòu)（如電視臺(tái)等）傳統(tǒng)企業(yè)IT部門(mén)政府、醫(yī)院、學(xué)校等云存儲(chǔ)服務(wù)運(yùn)營(yíng)商 (在線備份)系統(tǒng)架構(gòu)特點(diǎn)分析(續(xù))高可靠、高可用文件級(jí)別的多副本復(fù)制文件副本自動(dòng)同步基于策略的副本定制智能的副本存放（基于性能、容錯(cuò)等因素）數(shù)據(jù)完整性自校驗(yàn) (checksum)沒(méi)有單點(diǎn)故障特點(diǎn)分析 (續(xù))易于管理單一命名空間方便的資源添加/刪除/更換副本自動(dòng)修復(fù)系統(tǒng)狀態(tài)監(jiān)測(cè)與事件通知特點(diǎn)分析 (續(xù))豐富的訪問(wèn)接口特點(diǎn)分析 (續(xù))靈活的SQL查詢支持SELECT *FROM metadata, usermetadataOn metadata.oid=usermetadata.oidWHERE

4、 name LIKE %.jpgAND ukey LIKE locationAND udata LIKE BJ查詢所有位置為北京的JPG文件應(yīng)用舉例(醫(yī)療影像數(shù)據(jù)存儲(chǔ))應(yīng)用舉例(視頻監(jiān)控)同類(lèi)產(chǎn)品分析（傳統(tǒng)存儲(chǔ)系統(tǒng)）競(jìng)爭(zhēng)對(duì)手產(chǎn)品方案不足之處EMCIBMHPNetApp等DASNASSAN傳統(tǒng)的塊級(jí)存儲(chǔ)系統(tǒng)構(gòu)建成本高昂（采用專用的硬件設(shè)備）可擴(kuò)展性差（采用垂直擴(kuò)展模式）系統(tǒng)維護(hù)和運(yùn)行成本可觀內(nèi)置功能有限CFSPanasasLustreObjectStore分布式文件系統(tǒng)可擴(kuò)展性和可用性有限內(nèi)嵌的高級(jí)功能有限性能、可靠性以及資源利用率有待進(jìn)一步驗(yàn)證同類(lèi)產(chǎn)品分析（新型存儲(chǔ)系統(tǒng)）競(jìng)爭(zhēng)對(duì)手產(chǎn)品方案不足之

5、處GoogleYahooMSN GFSBigTable等分布式文件系統(tǒng)目標(biāo)應(yīng)用和目標(biāo)客戶不同（側(cè)重于Web應(yīng)用和開(kāi)發(fā)平臺(tái)，直接面向用戶） 不對(duì)外銷(xiāo)售（利用其存儲(chǔ)平臺(tái)來(lái)構(gòu)建技術(shù)壁壘，減少在Web應(yīng)用領(lǐng)域的競(jìng)爭(zhēng)者）目標(biāo)應(yīng)用單一（針對(duì)其特定業(yè)務(wù)，不通用）開(kāi)源社區(qū)HadoopMogileFS分布式文件系統(tǒng) 性能差（尤其是元數(shù)據(jù)性能）可靠性和穩(wěn)定不足。（開(kāi)源軟件）僅針對(duì)定業(yè)務(wù)，不通用。 如， 不支持文件重寫(xiě)，無(wú)通用的文件接口（NFS/CIFS）等。AmazonNirvanixBAmazon S3CloudNAs云存儲(chǔ)服務(wù)商業(yè)模式不同（只提供云存儲(chǔ)服務(wù)，不銷(xiāo)售存儲(chǔ)產(chǎn) 品，利用其內(nèi)部存儲(chǔ)平臺(tái)來(lái)構(gòu)建技術(shù)壁壘）

6、數(shù)據(jù)安全和保密問(wèn)題EMCParaScaleAtomsParaScaleFS分布式存儲(chǔ)系統(tǒng)性能、可用性、廣域支持等關(guān)鍵指標(biāo)還有待考證產(chǎn)品剛剛發(fā)布，不成熟，只有少量客戶性能對(duì)比 (DayuFS vs Hadoop DFS )性能對(duì)比 (DayuFS vs Hadoop DFS )性能對(duì)比 DayuFS vs Hadoop DFS 部署模式軟件 + 硬件 模式統(tǒng)一提供經(jīng)過(guò)認(rèn)證的硬件DAYU預(yù)先安裝，無(wú)需配置調(diào)優(yōu)純軟件模式客戶自行提供硬件設(shè)備需要安裝DAYU，并進(jìn)行配置和調(diào)優(yōu)配置舉例設(shè)備名稱配置參數(shù)數(shù)量IO服務(wù)器DELL PowerEdge R210 (1U規(guī)格)Xeon X3430 2.4GHz4G

7、B ECC內(nèi)存250G SATA II 磁盤(pán) x 1, SAS雙口HBA卡8x SATA DVD-ROM,千兆網(wǎng)卡8JBOD盤(pán)陣DELL PowerVault MD 1000 (15盤(pán)位, 3U規(guī)格)151TB SATA II 7200轉(zhuǎn)可熱插拔磁盤(pán) 8元數(shù)據(jù)服務(wù)器DELL PowerEdge R610 （2U規(guī)格）四核 Xeon E5506 2.13GHz32GB ECC內(nèi)存146G SAS 磁盤(pán) x 2,8x SATA DVD-ROM ，千兆網(wǎng)卡2交換機(jī)Cisco SLM 2024 千兆無(wú)阻塞24口可網(wǎng)管1機(jī)柜1面向大規(guī)模應(yīng)用配置（120TB、高性能）配置舉例 (續(xù))設(shè)備名稱配置參數(shù)數(shù)量服務(wù)器(IO服務(wù)器和元數(shù)據(jù)服務(wù)器)DELL PowerEdge R210 (1U規(guī)格)Xeon X3430 2.4GHz4GB ECC內(nèi)存250G SATA II 磁盤(pán) x 1, SAS雙口HBA卡8x SATA DVD-ROM,千兆網(wǎng)卡4JBOD盤(pán)陣DELL