Lindorm助力攜程HBase混合云體系的建設(shè)

HBase混合AVE■吳宙旭攜程數(shù)據(jù)庫專家Contents01HBase運維面臨挑戰(zhàn)目錄02公有云Lindorm的引入及應(yīng)用03混合云的基礎(chǔ)化建設(shè)及應(yīng)用AZ-AAZ-BAZ-AM攜程數(shù)據(jù)庫架構(gòu)攜程數(shù)據(jù)庫架構(gòu)·AZ級別的高可用Redis/rorHBaseOceanbase/tidbMysql/mongoZookeeperZookeeperZookeeper物理機帶來計算、存儲的利用率問題ZookeeperZookeeperZookeeperHMasterHMasterNameNodeHMasterNameNode計算密集型存儲空間浪費RegionServerDataNodeRegionServerDataNodeRegionServerDataNode業(yè)務(wù)季節(jié)性影響應(yīng)對五一、國慶、寒暑假等算存資源溢出場景RegionServerRegionRegionServerRegionServer服務(wù)的高可用性及單元化部署服務(wù)SLA的要求性能型、冷熱分離、容量型低成本兼顧性能算存分離、動態(tài)擴縮服務(wù)資源最小化性能型、冷熱分離、容量型低成本兼顧性能算存分離、動態(tài)擴縮服務(wù)資源最小化HBase生態(tài)完美兼容算、存利用率最大化(按需擴容計算節(jié)點和存儲空間)冷、熱存儲分離(按數(shù)據(jù)讀流量來確定冷熱邊界)AAZ級別故障(切換讀寫路由實現(xiàn))jhh表級別的同步(表為單位同步數(shù)據(jù))云溢出架構(gòu)(多寫單讀)雙讀單寫架構(gòu)(單寫多讀)客戶端Log、Metric埋點管理員工具上傳發(fā)布系統(tǒng)(表的提交、審核、發(fā)布、修改)擴縮容工具(hbase、hadoop、liad-hoc即席查詢混合云雙讀單寫架構(gòu)服務(wù)接口層數(shù)據(jù)查詢服務(wù)工接口層數(shù)據(jù)查詢服務(wù)消費消息隊列數(shù)據(jù)消息隊列消息隊列落地是否成功數(shù)據(jù)查詢服務(wù)層是服務(wù)層是落地是否成功存儲層攜程HBase存儲層攜程HBase雙讀寫架構(gòu)實現(xiàn)架構(gòu)優(yōu)勢多機房部署、服務(wù)高可用數(shù)據(jù)存儲無冗余Lindorm端的數(shù)據(jù)提供冷熱分離，成本大幅降低云溢出架構(gòu)實現(xiàn)云溢出架構(gòu)實現(xiàn)雙寫HBase+Lindorm混合云溢出架構(gòu)TTL=180AliyunCloudLindormTTL=1混合云部署現(xiàn)狀數(shù)據(jù)分布數(shù)據(jù)分布總數(shù)據(jù)量使用Lindorm的結(jié)果收益降本增效經(jīng)綜合測算，采用Lindorm方案的技術(shù)成本降低了20%穩(wěn)定可靠301740750188018101620183018401E?01900121019201930194019502080301740750188018101620183018401E?01900121019201930194019502080-tncomtahk1-Indormteabe2-tntormtebk-3-Ihsermtahk?-Ihsormtebks-Iatomtabee-thsemtahe7-hctermtahea-Intomtahe?-mm*10-temteh-20-Ihtemmtet21-Ihfemtet2g-Imfmts24-Iomtbe25-setb26-mtomtete?日新增數(shù)據(jù)TB+級別PutP99<2ms冷存儲GetP99穩(wěn)定在百msVssDAoPSMSHhOHVssDAoPSMSHhOH20MS0bxoHSoVoWIOV2aVSDNxD混合云服務(wù)感知體系監(jiān)控數(shù)據(jù)采集監(jiān)控數(shù)據(jù)采集HBase通過