大禹文件系統(tǒng)介紹(7.16)

大禹文件系統(tǒng)

TheDayuFS

每18個月產生的數據=以往數據總和數據“摩爾定律”存儲又不夠了！存儲領域的現狀與問題數據總量巨大數據增長迅速數據的管理和訪問難度增大數據可用性和可靠性要求普遍提高現有存儲系統(tǒng)的問題擁有成本高高昂的構建成本高昂的管理維護成本系統(tǒng)擴展困難技術存在瓶頸（垂直擴展模式的問題）成本難以控制可用性問題突出易于出現單點故障功能/接口單一需要整合各種第三方軟件實現高級功能存儲系統(tǒng)的發(fā)展趨勢高可擴展的海量存儲高容錯、高可用經濟的系統(tǒng)構建成本自動管理，自動修復管理和運行成本低功能/接口豐富復制，快照，備份，檢索等市場需要新一代存儲系統(tǒng)！大禹文件系統(tǒng)新一代存儲系統(tǒng)海量存儲(PB,EB)高可擴展架構(按需的容量和性能擴展)高可靠、高容錯一體化存儲解決方案用戶擁有成本（TCO）低豐富的訪問接口可在大多數應用場景中取代傳統(tǒng)存儲系統(tǒng)如，NAS/SAN/DAS等解決方案

基本思路：使用冗余的低成本硬件和智能軟件來構建高可用、高可靠、低成本的海量存儲系統(tǒng)。解決方案（要素）低成本組件業(yè)界標準的低成本硬件：通用服務器，普通SATA硬盤開源Linux系統(tǒng)和平臺支撐軟件低成本網絡互聯（以太網）彈性架構（Scaleout）高可擴展的分布式架構，可適應不同規(guī)模的需求容量，性能兩個維度上按需擴展。（搭積木式構建和擴展）智能軟件軟件方式保證系統(tǒng)的高性能、高可用性、高可靠性自動管理、自動修復DAYU的產品特性（技術優(yōu)勢）系統(tǒng)硬件的構建和擴展的成本低高可靠、高可用、無單點故障高可擴展的分布式彈性架構，易于擴展一體化信息存儲平臺，整合多種企業(yè)級功能自動管理、自動修復，減少管理成本豐富的訪問接口目標應用（數據密集型應用）多媒體服務（如視頻、音頻、圖片等）數據備份與歸檔（近線存儲）視頻監(jiān)控數據存儲醫(yī)學影像數據企業(yè)內部文件系統(tǒng)存儲服務提供商科學計算（如核物理、地球物理、石油勘探等）

…目標客戶中小型Internet服務提供商(ISP)電信運營商媒體機構（如電視臺等）傳統(tǒng)企業(yè)IT部門政府、醫(yī)院、學校等云存儲服務運營商(在線備份)系統(tǒng)架構特點分析(續(xù))海量存儲支持PB級存儲容量。例：20個機架（每個300TB)～6PB，可滿足絕大部分應用需求。高可擴展性存儲容量按需增加。系統(tǒng)吞吐量隨DS數量線性增長特點分析(續(xù))高可靠、高可用文件級別的多副本復制文件副本自動同步基于策略的副本定制智能的副本存放（基于性能、容錯等因素）數據完整性自校驗(checksum)沒有單點故障特點分析(續(xù))易于管理單一命名空間方便的資源添加/刪除/更換副本自動修復系統(tǒng)狀態(tài)監(jiān)測與事件通知自動恢復流程特點分析(續(xù))豐富的訪問接口特點分析(續(xù))靈活的SQL查詢支持SELECT*FROMmetadata,usermetadataOnmetadata.oid=usermetadata.oidWHEREnameLIKE'%.jpg‘ANDukeyLIKE'location‘ANDudataLIKE'BJ'查詢所有位置為北京的JPG文件應用舉例(醫(yī)療影像數據存儲)應用舉例(視頻監(jiān)控)同類產品分析（傳統(tǒng)存儲系統(tǒng)）競爭對手產品方案不足之處EMCIBMHPNetApp等DASNASSAN傳統(tǒng)的塊級存儲系統(tǒng)構建成本高昂（采用專用的硬件設備）可擴展性差（采用垂直擴展模式）系統(tǒng)維護和運行成本可觀內置功