月光寶盒雙-hbase集群應(yīng)用和優(yōu)化經(jīng)驗(yàn)

【 程序員hadoop7天全網(wǎng)首發(fā)】月光寶盒項(xiàng)目簡(jiǎn)介HBase集群雙11相關(guān)工作月光寶盒雙11相關(guān)工作總結(jié)的話Q&A【程序員hadoop7天全網(wǎng)首發(fā)】項(xiàng)目背景介紹通用的流量

、實(shí)時(shí)和離線效果計(jì)算平臺(tái)目前主要服務(wù)于各子公司運(yùn)營(yíng)小二實(shí)時(shí)處理淘寶全網(wǎng)流量日志和業(yè)務(wù)日志項(xiàng)目雙11目標(biāo)為天貓所有會(huì)場(chǎng)提供實(shí)時(shí)效果計(jì)算幫劣天貓小二及時(shí)調(diào)整運(yùn)營(yíng)策略，提升當(dāng)天流量利用率【程序員hadoop7天全網(wǎng)首發(fā)】HBase集群HBase集群寫(xiě)讀讀/寫(xiě)同一個(gè)Storm集群，丌同的Topology同一個(gè)HBase集群，丌同的Table吸星月光寶盒【程序員hadoop7天全網(wǎng)首發(fā)】雙11拓?fù)淙蝿?wù)【程序員hadoop7天全網(wǎng)首發(fā)】2012-10-10HBase集群雙11相關(guān)工作【程序員hadoop7天全網(wǎng)首發(fā)】服務(wù)降級(jí)（2012/10/11~2012/10/12）壓力測(cè)試（2012/10/15~2012/10/17）集群擴(kuò)容（2012/10/22~2012/10/26）【程序員hadoop7天全網(wǎng)首發(fā)】2012-10-12HBase集群雙11大促服務(wù)降級(jí)預(yù)案【程序員hadoop7天全網(wǎng)首發(fā)】服務(wù)優(yōu)先級(jí)評(píng)估雙11當(dāng)天HBase集群總的讀寫(xiě)壓力確定雙11當(dāng)天哪些是必須保證運(yùn)行的，哪些是可以停止服務(wù)的服務(wù)降級(jí)預(yù)案業(yè)務(wù)

快速停止服務(wù)由DBA關(guān)閉相關(guān)HBase表的讀寫(xiě)請(qǐng)求【程序員hadoop7天全網(wǎng)首發(fā)】2012-10-17HBase集群雙11大促前壓力測(cè)試【程序員hadoop7天全網(wǎng)首發(fā)】測(cè)試目標(biāo)獲得當(dāng)前應(yīng)用場(chǎng)景下整個(gè)集群的最大讀寫(xiě)能力評(píng)估是否能支撐雙11當(dāng)天的流量壓力為集群擴(kuò)容提供參考依據(jù)測(cè)試方案寫(xiě)入端：吸星暫停從TT3接收日志，緩存一段時(shí)間，然后重新啟勱Storm拓?fù)鋵?xiě)入HBase查詢端：從吸星

暫停接收TT3數(shù)據(jù)的時(shí)間戳開(kāi)始，啟勱Storm拓?fù)?，掃描該時(shí)間戳以后的數(shù)據(jù)【程序員hadoop7天全網(wǎng)首發(fā)】?【程序員hadoop7天全網(wǎng)首發(fā)】結(jié)果分析客戶端未達(dá)到瓶頸網(wǎng)卡未跑滿，且出現(xiàn)大量數(shù)據(jù)堆積增大并發(fā)數(shù)，也無(wú)明顯改善?服務(wù)端出現(xiàn)寫(xiě)入延遲寫(xiě)WAL時(shí)間急劇上升，不HDFS的Sync時(shí)間上升同時(shí)Compact壓力也隨著上升很多測(cè)試初步結(jié)論基本可認(rèn)為已達(dá)到HBase集群的服務(wù)能力上限以吸星的寫(xiě)入方式、月光寶盒的查詢方式，目前

10臺(tái)規(guī)模的集群，整體可提供20w/s左右寫(xiě)入請(qǐng)求，同時(shí)伴隨15w/s左右查詢請(qǐng)求【程序員hadoop7天全網(wǎng)首發(fā)】應(yīng)對(duì)雙11能力預(yù)估還是有必要擴(kuò)容的……【程序員hadoop7天全網(wǎng)首發(fā)】2012-10-26HBase集群雙11大促集群擴(kuò)容情況【程序員hadoop7天全網(wǎng)首發(fā)】原計(jì)劃擴(kuò)容3~5臺(tái)最終決定擴(kuò)容7臺(tái)應(yīng)對(duì)雙11，夠了！【程序員hadoop7天全網(wǎng)首發(fā)】NO！壓測(cè)階段，拋出了Exception……集群準(zhǔn)備好了，月光寶盒計(jì)算業(yè)務(wù)方面呢？【程序員hadoop7天全網(wǎng)首發(fā)】2012/10/30HBase集群Region短暫下線問(wèn)題排查及解決【程序員hadoop7天全網(wǎng)首發(fā)】發(fā)現(xiàn)問(wèn)題壓測(cè)期間，讀寫(xiě)端均拋出異常：org.apache.hadoop.hbase.NotServingRegionException周期性出現(xiàn)，讀寫(xiě)丌可服務(wù)排查問(wèn)題寫(xiě)入數(shù)據(jù)量增大導(dǎo)致的Rowkey包含時(shí)間字段，導(dǎo)致頻繁創(chuàng)建Region，Region進(jìn)一步導(dǎo)致Region分布丌均勻，進(jìn)而觸發(fā)RegionBalance【程序員hadoop7天全網(wǎng)首發(fā)】解決問(wèn)題客戶端增加重試機(jī)制（

線程

/

setAutoFlush）適當(dāng)調(diào)整hbase.client.retries.number和hbase.client.pause配置選項(xiàng)服務(wù)端關(guān)閉Region自勱Balance功能修改Rowkey結(jié)構(gòu)，實(shí)現(xiàn)Region復(fù)用，避免Region無(wú)限上漲Timestamp

=

Timestamp %

TIME_ROTATE_INTERVALTIME_ROTATE_INTERVAL

>=

TTL【程序員hadoop7天全網(wǎng)首發(fā)】Region

0Region

1……0timestamp…………Region

0Region

1……0……Region復(fù)用TIME_ROTATE_INTERVAL【程序員hadoop7天全網(wǎng)首發(fā)】2012/10/31月光寶盒HBase掃描Spout性能測(cè)試【程序員hadoop7天全網(wǎng)首發(fā)】測(cè)試目標(biāo)確保Storm集群和HBase集群能夠滿足天貓雙11各會(huì)場(chǎng)實(shí)時(shí)效果計(jì)算的讀寫(xiě)性能確定Storm流量和業(yè)務(wù)Spout的并發(fā)任務(wù)數(shù)及相關(guān)參數(shù)配置測(cè)試方案按時(shí)間范圍，順序掃描HBase中流量和業(yè)務(wù)日志表，按照月光寶盒的數(shù)據(jù)格式，發(fā)送數(shù)據(jù)流【程序員hadoop7天全網(wǎng)首發(fā)】?【程序員hadoop7天全網(wǎng)首發(fā)】測(cè)試結(jié)論流量日志Spout的Task并發(fā)數(shù)業(yè)務(wù)日志Spout的Task并發(fā)數(shù)流量和業(yè)務(wù)日志是否開(kāi)啟日志壓縮Storm集群機(jī)器負(fù)載丌均衡的影響吸星

輸出Bolt的Task并發(fā)數(shù)【程序員hadoop7天全網(wǎng)首發(fā)】HBase掃描Spout性能測(cè)試HBase優(yōu)化情況優(yōu)化表結(jié)構(gòu)(schema)預(yù)先創(chuàng)建分區(qū)(region)多進(jìn)程多線程(shard)順序掃描(scan)丌同的cache策略(setCaching)批量查詢(get(List<Get>))等等【程序員hadoop7天全網(wǎng)首發(fā)】2012-11-02HBase集群雙11大促突 況預(yù)案【程序員hadoop7天全網(wǎng)首發(fā)】做 的打算……集群服務(wù)能力不足時(shí)的預(yù)案首先，執(zhí)行服務(wù)降級(jí)的預(yù)案，保證月光寶盒和吸星

實(shí)時(shí)數(shù)據(jù)的讀寫(xiě)請(qǐng)求然后，分情況應(yīng)對(duì)：上游TT延遲或丌能正常工作上游TT正常工作而集群讀寫(xiě)能力達(dá)到瓶頸集群不可提供服務(wù)時(shí)的影響NameNode掛掉、HDFS磁盤故障等確定故障影響范圍，以便DBA

響應(yīng)處理【程序員hadoop7天全網(wǎng)首發(fā)】HBase集群運(yùn)行平穩(wěn)……零點(diǎn)峰值：讀寫(xiě)各30w/s全天均值：讀寫(xiě)各15w/s（

時(shí)期均值：讀寫(xiě)各20w/s）月光寶盒任務(wù)運(yùn)行