大數(shù)據(jù)云存儲HBase實踐與探索

1、大數(shù)據(jù)云存儲HBase實踐與探索技術(shù)創(chuàng)新，變革未來1.HBase大數(shù)據(jù)中價值數(shù)據(jù)庫技術(shù)發(fā)展 單擊此處編輯母版標題樣式2HBase應(yīng)用案例云HBase建設(shè)云HBase未來展望提綱關(guān)系型數(shù)據(jù)庫MySQL解決中小數(shù)據(jù)庫存儲需求！分庫分表分布式存儲HBase分布式存儲，支持海量存儲，高百萬級并發(fā)！不支持事物等數(shù)據(jù)庫傳統(tǒng)需 求！HBase支持實時更新、增量導(dǎo)入、多維刪除、隨機查詢、范圍查詢、高伸縮、高可用、高可靠、高性能、高適應(yīng)在線分布式NOSQL數(shù)據(jù)庫。數(shù)據(jù)庫技術(shù)發(fā)展分庫分表解決一定容量需求，實現(xiàn) 復(fù)雜，業(yè)務(wù)需感知！數(shù) 據(jù) 量數(shù)據(jù)庫技術(shù)發(fā)展 單擊此處編輯母版標題樣式2為了無法計算的價值GBPB成本一般

2、需要高端存儲，成本較高！QPS無法滿足較高的并發(fā)要求， 性能不能橫向擴展！分析計算資源有限，不能滿足 分析類需求！容量QP S成本分析容量數(shù)據(jù)庫技術(shù)發(fā)展 單擊此處編輯母版標題樣式2為了無法計算的價值無法滿足TB、PB級別的數(shù) 據(jù)存儲需求！傳統(tǒng)關(guān)系型數(shù)據(jù)庫面對的問題寫吞吐高不受SSD隨機寫入放大干擾 離線導(dǎo)入效率巨高優(yōu)先寫自動分區(qū)Spark on HBaseHBase on HDFSHadoop生態(tài)存儲無限滿足TB、PB級存儲需求LSM-Tree增加QPS數(shù)據(jù)庫技術(shù)發(fā)展 單擊此處編輯母版標題樣式2為了無法計算的價值可以滿足分析需 求，HDFS共建存儲空間無限分區(qū)自動分裂分區(qū)在線MergeHBas

3、e應(yīng)對辦法業(yè)務(wù)場景關(guān)系型數(shù)據(jù)庫技術(shù)發(fā)展 單擊此處編輯母版標題樣式2為了無法計算的價值HBase歷史數(shù)據(jù)自動過期，比如刪除2年前的日志業(yè)務(wù)邏輯TTL地址維護：每個客戶10個地址業(yè)務(wù)邏輯多版本業(yè)務(wù)添加列DBA添加動態(tài)列離線數(shù)據(jù)導(dǎo)入API寫bulkload數(shù)據(jù)分析無Spark、Hadoop冷熱數(shù)據(jù)無異構(gòu)存儲其它問題應(yīng)用案例-雙十一大屏數(shù)據(jù)收藏交易高速同步TimeTunnel實時計算SparkStreaming/StormHBase集 群每秒流量GB級HBase集 群每秒請 求百萬級HBase集 群實時 數(shù)據(jù) 服務(wù)毫秒級 查詢?yōu)榱藷o法計算的價值應(yīng)用案例-螞蟻風(fēng)控事件人物環(huán)境時間方式行為每秒寫入 百萬級

4、HBase集群離線計算低 價 清 理過 期 淘 汰過 載 淘 汰明細增量導(dǎo)出日賬結(jié)果回流十TB級導(dǎo)入在線風(fēng)控臺明 實 細 時 日 查 賬 詢每秒查詢百萬級為了無法計算的價值應(yīng)用案例-汽車物聯(lián)網(wǎng)傳感器會收集每輛貨車的定位數(shù)據(jù)上傳到MQ中，其中包括經(jīng)度、緯度、設(shè)備上報時 間、車輛狀態(tài)等GPS等傳感器流式計算SparkStreaming/Storm離線計算 補償算法 SparkHBase集 群在線查詢讀寫分離為了無法計算的價值平臺類用戶行為類報表展示類交易聊天監(jiān)控消費IOTKylinTTOpenTSDB大屏報表HBase集群數(shù)據(jù)庫技術(shù)發(fā)展 單擊此處編輯母版標題樣式2為了無法計算的價值HBase三大類

5、應(yīng)用HBase阿里業(yè)務(wù)淘寶為了無法計算的價值B2B菜 鳥天貓螞蟻物流 地址風(fēng) 控智能客服交 易收 藏 夾大 屏云HBase技術(shù)大圖ECS物理機基礎(chǔ)資源A-JDKAli-LinuxAli-HDFSZookeeperAli-HBase多版本強一致二級索引水平擴展自動分區(qū)高可用多版本、動態(tài)列、TTL、多語言支持實時更新、批量導(dǎo)入、隨機查詢、多維刪除基礎(chǔ)軟件集群管控監(jiān)控告警配置管理健康診斷為了無法計算的價值云HBase內(nèi)核改造高性能易運維低成本強安全高可用授信白名單 賬號密碼驗證 黑白名單權(quán)限控制(ACL)寫性能提升30%+ 400%分級存儲 存儲OSS請求全鏈路 增量導(dǎo)出 增量導(dǎo)入 一鍵遷移 自動備

6、份為了無法計算的價值資源分組 MTTR多集群-容災(zāi)450004000035000300002500020000150001000050000社區(qū)服務(wù)端+社區(qū)客戶端云HBase服務(wù)端+社區(qū)客戶端云HBase服務(wù)端+云Hbase客戶端數(shù)據(jù)庫技術(shù)發(fā)展 單擊此處編輯母版標題樣式2為了無法計算的價值社區(qū)版本：1.1.1 VS 阿里云云HBase版本2個slave 4cpu16g 啟動單個RegoinServer單條寫 15byte云HBase內(nèi)核性能云HBase訪問控制ECS機器云HBase集 群安全防護ECS機器云HBase集群安全防護VPC網(wǎng)絡(luò)經(jīng)典網(wǎng)絡(luò)WEB UIWEB UIWEB UI為了無法計算

7、的價值云HBase云HBase云HBase云HBase同城多區(qū)域、異地杭州北京可用區(qū)A可用區(qū)B可用區(qū)B可用區(qū)A云HBase高可用-容災(zāi)為了無法計算的價值云HBase數(shù)據(jù)流API讀寫云HBaseODPSEMR Hivebulkload導(dǎo)入 增量導(dǎo)出LogServiceECSOSSEMR Hadoop/SparkAPI讀寫API寫入bulkload導(dǎo)入 增量導(dǎo)出QuickBIAPI讀產(chǎn)品化為了無法計算的價值DataV云HBase On OSSHLogHRegionServerHRegionStoreFileStoreMemStoreBlockCacheHDFSOSSLocal DiskHFileDataBlockBlockCache為了無法計算的價值新內(nèi)核改進為了無法計算的價值HBase2.0OffheapingSpark IntegrationIn-Memory Flush/CompactionAsync WAL硬件發(fā)展帶來的變化萬兆網(wǎng)絡(luò)普及，存儲計算分離更加徹底固態(tài)存儲容量更大、