Hadoop集群監(jiān)控與Hive高可用暴風(fēng)影音

1、LOGOHadoop集群監(jiān)控與集群監(jiān)控與Hive高可用高可用LOGOPage 2Hadoop集群監(jiān)控Cactin 默認(rèn)Cacti模板太少n 增加模板n 我們的模板磁盤(pán)IO內(nèi)存詳情單個(gè)內(nèi)核使用CPU總和及IOWaitJMX支持監(jiān)控HadoopLOGOPage 3Hadoop集群監(jiān)控Cactin 優(yōu)點(diǎn)監(jiān)控每臺(tái)服務(wù)器的詳細(xì)數(shù)據(jù)SNMP采集數(shù)據(jù)可以自己定義相比zabbix：無(wú)需客戶端 安裝配置簡(jiǎn)單spine采集速度快模板眾多 支持IPMIn 缺點(diǎn)SNMPD為UDP協(xié)議，不夠穩(wěn)定無(wú)法獲知集群整體運(yùn)行狀況LOGOPage 4Hadoop集群匯總監(jiān)控GangliaLOGOPage 5Hadoop集群匯總監(jiān)控

2、Ganglian 優(yōu)點(diǎn)集群總體狀況和負(fù)載匯總采用多播地址降低帶寬占用TCP采集 數(shù)據(jù)穩(wěn)定hadoop原生支持ganglia數(shù)據(jù)采集n 缺點(diǎn)配置稍復(fù)雜，需安裝客戶端單臺(tái)數(shù)據(jù)不如cacti詳細(xì)LOGOPage 6Hive高可用集群n Hive存在的問(wèn)題單一節(jié)點(diǎn)Hive Thrift Server故障導(dǎo)致任務(wù)失敗n 高可用方案多個(gè)Hive Thrift Server節(jié)點(diǎn)HAProxy+Hiven HAProxy在實(shí)際應(yīng)用中出現(xiàn)過(guò)的問(wèn)題和優(yōu)化Hive日志問(wèn)題輪詢(xún)方式優(yōu)化仍存在不穩(wěn)定因素，其他方式解決LOGOHAProxy+Hive 網(wǎng)絡(luò)拓?fù)銺ueriesHAProxyHAProxyHiveHiveHi

3、veHiveHadoopLOGOPage 8HAProxy+Hive高可用集群n HAProxy是什么及優(yōu)勢(shì) OSI 4-7層代理轉(zhuǎn)發(fā) 健康檢查和多種輪詢(xún)方式 配置簡(jiǎn)單 單點(diǎn)故障自動(dòng)摘除LOGOHAProxy+Hive高可用集群LOGOPage 10HAProxy問(wèn)題解決及優(yōu)化n TCP Session超時(shí)問(wèn)題：查詢(xún)時(shí)間長(zhǎng)導(dǎo)致TCP Session進(jìn)入CLOSE_WAIT解決：HAProxy中增大幾種TCP連接模式的timeout時(shí)間n Hive日志問(wèn)題問(wèn)題：健康檢查創(chuàng)造出太多Hive日志解決：增大健康檢查時(shí)間n 輪詢(xún)優(yōu)化常用幾種輪詢(xún)算法leastconn，round-robin，static

4、-rr，source推薦使用leastconn和static-rrn 仍然存在的不穩(wěn)定因素Job提交給Hadoop后Hive宕機(jī)，Hive代理層無(wú)解。調(diào)度系統(tǒng)解決LOGOPage 11phpHiveAdmin測(cè)試版0.06 beta4 Molten Coren 界面好看了一點(diǎn)改變了一些CSS和頁(yè)面色彩n 功能增加了一點(diǎn)Partition功能，表操作的各種增強(qiáng)，配置文件更加簡(jiǎn)單n 查詢(xún)?cè)鰪?qiáng)了一點(diǎn)復(fù)雜查詢(xún)直接可實(shí)時(shí)監(jiān)控map/reduce的全過(guò)程，記錄操作日志LOGOPage 12phpHiveAdmin 工作流程圖LOGOPage 13新的phpHiveAdmin測(cè)試版表操作表操作創(chuàng)建表創(chuàng)建表LOGOPage 14新的phpHiveAdmin測(cè)試版Map/Reduce實(shí)時(shí)監(jiān)控LOGOPage 15新的phpHiveAdmin測(cè)試版n 相比Beeswax，HWI優(yōu)點(diǎn)界面清晰，安裝簡(jiǎn)單，運(yùn)行方便節(jié)省Hive操作時(shí)間，提高工作效率改變公司內(nèi)部工作流程n 新增功能歷史記錄查詢(xún)Meta數(shù)據(jù)查看LOGOPage 16近期開(kāi)發(fā)計(jì)劃