大數(shù)據(jù)時(shí)代云數(shù)據(jù)庫(kù)HBase架構(gòu)

1、大數(shù)據(jù)時(shí)代云數(shù)據(jù)庫(kù)HBase架構(gòu)技術(shù)創(chuàng)新，變革未來(lái)提綱業(yè)務(wù)挑戰(zhàn)帶來(lái)的架構(gòu)演進(jìn)大數(shù)據(jù)數(shù)據(jù)庫(kù)的實(shí)際案例業(yè)務(wù)的挑戰(zhàn) - 存儲(chǔ)量/并發(fā)計(jì)算增大MySQLECS數(shù)據(jù)量變大索引計(jì)算力存儲(chǔ)事務(wù)SparkHBaseES/Solr100T存儲(chǔ)量大 分布式復(fù)雜 成本高分布式化 - 大數(shù)據(jù)方案列存磁盤(pán)業(yè)務(wù)的挑戰(zhàn) - 結(jié)構(gòu)化業(yè)務(wù)增多MySQLECS檢索計(jì)算力存儲(chǔ)事務(wù)Graph時(shí)序時(shí)空工程成本 復(fù)雜性關(guān)系關(guān)系NewSQL業(yè)務(wù)的挑戰(zhàn) - 引更多的數(shù)據(jù)復(fù)雜性分布式延遲靈活性計(jì)算復(fù) 雜性靈活性Kylin(滿(mǎn)足讀延遲)Hadoop& Spark延遲分布式數(shù)據(jù)庫(kù)應(yīng)對(duì)的辦法云化復(fù)用資源&彈性 降低成本分層設(shè)計(jì)降低復(fù)雜性分布式提供擴(kuò)

2、展性計(jì)算力延伸算子+SQL基本架構(gòu)Spark提供計(jì)算 能力分布式件系統(tǒng)：盤(pán)古分布式安全隔離保障層：QOS純SSDSSD&SATA 混合純SATA分布式件接口：HDFS&API分布式Region - HBase分布式索引 - ES&Solr時(shí)序數(shù)據(jù)庫(kù)-OpenTSDB圖數(shù)據(jù)庫(kù)-JanusGraph時(shí)空數(shù)據(jù)庫(kù)-GeoMesaCube數(shù)據(jù)庫(kù)-KylinSQL標(biāo)準(zhǔn)的SQL口基于存儲(chǔ)計(jì)算分離HDFS 與 分布式Region分布式索引分離SQL時(shí)空?qǐng)D時(shí)序Cube與分布式Region檢索分離存儲(chǔ)與計(jì)算分離 - 存儲(chǔ)按需計(jì)費(fèi)分層負(fù)責(zé)-規(guī)避工程復(fù)雜性-構(gòu)建各自核心競(jìng)爭(zhēng)力解決成本的方案盤(pán)古QOS純SSDSSD&S

3、ATA 混合純SATAHDFS&API分級(jí)存儲(chǔ)分級(jí)存儲(chǔ)高壓縮比基礎(chǔ)設(shè)施共享 - 庫(kù)存壓力分擔(dān)存儲(chǔ)與計(jì)算分離 - 按需計(jì)費(fèi) 優(yōu)化性能按需計(jì)費(fèi)高壓縮節(jié)點(diǎn)資源資源節(jié)點(diǎn)可用區(qū)A可用區(qū)C節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)節(jié)點(diǎn)資源資源可用區(qū)B資源資源資源資源資源資源資源資源北京區(qū)域杭州區(qū)域降低成本存儲(chǔ)集群 冷熱搭配資源多租戶(hù)、與其它業(yè)務(wù)共享資源存儲(chǔ)集群 冷存儲(chǔ)集群 熱存儲(chǔ)集群 熱存儲(chǔ)集群 熱存儲(chǔ)集群 冷可用區(qū)A可用區(qū)B同城容災(zāi)異地容災(zāi)冷數(shù)據(jù)/備份冷數(shù)據(jù)/備份云數(shù)據(jù)庫(kù)基本部署結(jié)構(gòu)高并發(fā)、海量存儲(chǔ)高并發(fā)海量存儲(chǔ)萬(wàn)列稀疏矩陣1B100M 海量存儲(chǔ)HBase圖片檔網(wǎng)頁(yè)病毒對(duì)象存儲(chǔ)時(shí)序數(shù)據(jù)推薦畫(huà)像消息/訂單存儲(chǔ)時(shí)空數(shù)據(jù)高并發(fā)海量存儲(chǔ)軌跡

4、氣象網(wǎng)格強(qiáng)同步、海量數(shù)據(jù)聊天消息 訂單/保單存儲(chǔ)用戶(hù)特征Feeds流NewSQL實(shí)時(shí)報(bào)表傳感器股票K線監(jiān)控?cái)?shù)據(jù)千萬(wàn)并發(fā)PB存儲(chǔ)KV基礎(chǔ)存儲(chǔ)動(dòng)態(tài)列強(qiáng)同步稀疏表SQL二級(jí)索引Read Replicas100M的對(duì)象存儲(chǔ)高并發(fā)請(qǐng)求訪問(wèn) 朋友圈新聞SQL、二級(jí)索引、動(dòng)態(tài)列索引查詢(xún)、元數(shù)據(jù)庫(kù)Cube分析、支持的場(chǎng)景客戶(hù)案例 - 某車(chē)聯(lián)網(wǎng)公司物聯(lián)網(wǎng)套 件ApsaraDB-HBase流計(jì)算 數(shù)據(jù)清洗分析軌跡100萬(wàn)臺(tái)車(chē)，每輛車(chē) 10s上傳一次，每次1KB1年數(shù)據(jù)存儲(chǔ)300T+，6個(gè)月以上數(shù)據(jù)低頻訪問(wèn)，分級(jí)存儲(chǔ)的能力Rowkey設(shè)計(jì)：Sub(Hash(車(chē)輛ID),5)+ 車(chē)輛ID + 時(shí)間客戶(hù)案例 - 某大數(shù)

5、據(jù)控公司ApsaraDB-HBaseAPP ECSECS實(shí)時(shí)查詢(xún) 返回結(jié)果Spark算法訓(xùn)練Spark SQL報(bào)表HBase數(shù)據(jù) (在線實(shí)時(shí)大數(shù)據(jù)存儲(chǔ))用戶(hù)畫(huà)像、指紋等爬蟲(chóng)、手機(jī)等原始信息數(shù)據(jù)量200T+ApsaraDB-HBaseECS推薦關(guān)系ECSSLA要求高99.99，雙集群保障單集群讀寫(xiě)高峰QPS 1000w+數(shù)據(jù)量：30TApsaraDB-HBase主備集群推薦關(guān)系 實(shí)時(shí)feedSpark Streaming實(shí)時(shí)關(guān)系寫(xiě)定期回補(bǔ)關(guān)系客戶(hù)案例 - 某社交公司ApsaraDB-HBase & PhoenixODPS同步ECSSQL實(shí)時(shí)查詢(xún)批量快速加載交易訂單查詢(xún)單表 10000億 +級(jí)索引 多個(gè)索引字段數(shù)據(jù)量：100T客戶(hù)案例 - 某基公司ApsaraDB-HBaseODPSReport實(shí)時(shí)查詢(xún)離線build cube再數(shù)據(jù)同步到HBase中離線建好Cube實(shí)時(shí)更新數(shù)據(jù)量20T左右客戶(hù)案例 - 某