Hadoop集群監(jiān)控與Hive高可用暴風(fēng)影音

1、LOGOHadoop集群監(jiān)控與集群監(jiān)控與Hive高可用高可用LOGOPage 2Hadoop集群監(jiān)控Cactin 默認(rèn)Cacti模板太少n 增加模板n 我們的模板磁盤IO內(nèi)存詳情單個內(nèi)核使用CPU總和及IOWaitJMX支持監(jiān)控HadoopLOGOPage 3Hadoop集群監(jiān)控Cactin 優(yōu)點(diǎn)監(jiān)控每臺服務(wù)器的詳細(xì)數(shù)據(jù)SNMP采集數(shù)據(jù)可以自己定義相比zabbix：無需客戶端 安裝配置簡單spine采集速度快模板眾多 支持IPMIn 缺點(diǎn)SNMPD為UDP協(xié)議，不夠穩(wěn)定無法獲知集群整體運(yùn)行狀況LOGOPage 4Hadoop集群匯總監(jiān)控GangliaLOGOPage 5Hadoop集群匯總監(jiān)控

2、Ganglian 優(yōu)點(diǎn)集群總體狀況和負(fù)載匯總采用多播地址降低帶寬占用TCP采集 數(shù)據(jù)穩(wěn)定hadoop原生支持ganglia數(shù)據(jù)采集n 缺點(diǎn)配置稍復(fù)雜，需安裝客戶端單臺數(shù)據(jù)不如cacti詳細(xì)LOGOPage 6Hive高可用集群n Hive存在的問題單一節(jié)點(diǎn)Hive Thrift Server故障導(dǎo)致任務(wù)失敗n 高可用方案多個Hive Thrift Server節(jié)點(diǎn)HAProxy+Hiven HAProxy在實際應(yīng)用中出現(xiàn)過的問題和優(yōu)化Hive日志問題輪詢方式優(yōu)化仍存在不穩(wěn)定因素，其他方式解決LOGOHAProxy+Hive 網(wǎng)絡(luò)拓?fù)銺ueriesHAProxyHAProxyHiveHiveHi

3、veHiveHadoopLOGOPage 8HAProxy+Hive高可用集群n HAProxy是什么及優(yōu)勢 OSI 4-7層代理轉(zhuǎn)發(fā) 健康檢查和多種輪詢方式 配置簡單 單點(diǎn)故障自動摘除LOGOHAProxy+Hive高可用集群LOGOPage 10HAProxy問題解決及優(yōu)化n TCP Session超時問題：查詢時間長導(dǎo)致TCP Session進(jìn)入CLOSE_WAIT解決：HAProxy中增大幾種TCP連接模式的timeout時間n Hive日志問題問題：健康檢查創(chuàng)造出太多Hive日志解決：增大健康檢查時間n 輪詢優(yōu)化常用幾種輪詢算法leastconn，round-robin，static

4、-rr，source推薦使用leastconn和static-rrn 仍然存在的不穩(wěn)定因素Job提交給Hadoop后Hive宕機(jī)，Hive代理層無解。調(diào)度系統(tǒng)解決LOGOPage 11phpHiveAdmin測試版0.06 beta4 Molten Coren 界面好看了一點(diǎn)改變了一些CSS和頁面色彩n 功能增加了一點(diǎn)Partition功能，表操作的各種增強(qiáng)，配置文件更加簡單n 查詢增強(qiáng)了一點(diǎn)復(fù)雜查詢直接可實時監(jiān)控map/reduce的全過程，記錄操作日志LOGOPage 12phpHiveAdmin 工作流程圖LOGOPage 13新的phpHiveAdmin測試版表操作表操作創(chuàng)建表創(chuàng)建表LOGOPage 14新的phpHiveAdmin測試版Map/Reduce實時監(jiān)控LOGOPage 15新的phpHiveAdmin測試版n 相比Beeswax，HWI優(yōu)點(diǎn)界面清晰，安裝簡單，運(yùn)行方便節(jié)省Hive操作時間，提高工作效率改變公司內(nèi)部工作流程n 新增功能歷史記錄查詢Meta數(shù)據(jù)查看LOGOPage 16近期開發(fā)計劃