HBase在車聯網中的應用與實踐

1、HBase在車聯網中的應用與實踐技術創(chuàng)新，變革未來目錄 / Contents01選型與應用02穩(wěn)定性建設03平臺建設04未來規(guī)劃2業(yè)務特性-數據流硬件層采集數據網絡層過濾數據解析層解析數據緩沖層暫存數據加工層處理數據存儲層存儲數據分析層分析數據應用層展示數據自研設備硬件層其它設備網關網絡層SLB防火墻808協議String協議MQTT協議RocketMQKafka解析層緩沖層數據計算中心ETL引擎加工層數據庫入庫機HBase存儲層HDFSRDSDRDSHive數據挖掘指標分析決策支持統(tǒng)計報表機器學習分析層里程軌跡油耗事件更多應用層01選型與應用1存儲選型業(yè)務數據特性HBaseMongoDBCa

2、ssandra數據增長快擴展容易擴展容易逐步可擴展穩(wěn)定性要求高可用性高可用性高可用性高實時性要求高低延時低延時低延時/范圍查詢 弱數據量大海量數據中等數據海量數據過期數據低頻訪 問數據刪除簡單數據刪除較簡單數據刪除簡單數據結構簡單單維度查詢全文索引輔助索引2HBase接入-SDK基本功能&ORM日志上報雙活切換3里程計算設計實時計算小時計算天計算RocketMQHDFSKafkaHBasestorm實時計算ETL實時采集Spark小時 計算/天計算ETL實時采集3Rowkey設計滿足查詢條件防止熱數據性能以及成本Rowkey設計Reverse(imei)+00000+string(date)里

3、程表每天的寫入量：50億+，讀取量100億+4列設計滿足需求提高性能節(jié)約成本所以我們最終是以業(yè)務讀取數據的需求分組，將相同 需求的數據放在同一個列或者列蔟里面，以json的形 式存放，減少元數據。5集群設計正確初始化有瓶頸再談優(yōu)化用數據驗證結果性價比衡量業(yè)務關聯調整讀寫緩存內存分配比例調整讀寫隊列關掉wal log協 議 解 析 端FlumeKafka集群ETL消費HBase集群平臺系統(tǒng)數據量大配置低寫入性能要求高，查詢較少報文系統(tǒng)7數據分層溫數據（近線查詢）冷數據（離線查詢）熱數據（在線查詢）數據實時同步公有云熱數據HBase私有云冷數據HDFS溫數據HBaseHiveSpark Hive

4、MRSDK02穩(wěn)定性建設1遇到的問題HBase Request有時候突 然很低，大量請求都超時HBase總是會定時的出現請 求超時，幾分鐘后，又自動 恢復有自動恢復長時間的RIT，無法提供服 務2基礎監(jiān)控Metrics監(jiān)控組監(jiān)控3表監(jiān)控集群吞吐監(jiān)控表吞吐監(jiān)控連接監(jiān)控4填過的坑限流協處 理器導數 據FixedIntervalRate LimiterAverageIntervalR ateLimitercountSumAvg.SqoopMapreduce.5攻防演練故障庫環(huán)境隔離文檔總結定期演練6雙活數據實時同步Sdk自動切換雙活的實現配置中心管理KafkaHBaseKafkaHBasemasterslave03平臺建設1概覽數據查詢數據修改表管理監(jiān)控報表報警限