沙龍年貨datafun張現(xiàn)忠

1、百億數(shù)據(jù)處理實踐張現(xiàn)忠MOOSE目錄Page 2聚合分析數(shù)據(jù)日志收集簡介HadoopPage 3應(yīng)用架構(gòu)Page 4目錄Page 5聚合分析數(shù)據(jù)日志收集簡介背景繁瑣、不及時登錄服務(wù)器查看每個實例日志故障發(fā)生不能實時服務(wù)日志業(yè)務(wù)變更感知延時每天定時業(yè)務(wù)日志進(jìn)行分析Page 6日志平臺Page 7現(xiàn)狀日志多樣化，需求多樣化日志量逐漸增大，性能下降慢agent帶來的機(jī)器負(fù)載影響業(yè)務(wù)機(jī)器宕機(jī)導(dǎo)致數(shù)據(jù)丟失問題Page 8日志格式docker mysql redis php按天按時機(jī)器名稱業(yè)務(wù)類型Page 9日志類型日期日志來源文件名稱日志優(yōu)化Page 10優(yōu)化文件文件級線程TailAgent游標(biāo)保存批量

2、Page 11優(yōu)化Page 12線上應(yīng)用百臺計算/隊列服務(wù)器實時服務(wù)狀態(tài)每天百億日志中轉(zhuǎn)量秒級客戶端平均延遲Page 13目錄Page 14聚合分析數(shù)據(jù)日志收集簡介背景上百億數(shù)據(jù)秒內(nèi)？?上百億數(shù)據(jù)線上服務(wù)24小時無宕機(jī)服務(wù)？數(shù)據(jù)不能丟？Page 15HBase結(jié)構(gòu)Page 16可用性/可靠性Page 17配置優(yōu)化Page 19機(jī)器選型節(jié)點：Zookeeper，NameNode，HMaster數(shù)據(jù)節(jié)點：DataNode，RegionServerPage 20表設(shè)計Page 21rowkeycf1cf2.c1c2c3c1c2key1t1:v111t2:v112key2t1:v122t1:v222.

3、線上服務(wù)緩存管理zookeeper業(yè)務(wù)config服務(wù)化實時備份Raw HBase動態(tài)配置客戶端Cluster B (HA)Cluster APage 23HBaseMOA目錄Page 24聚合分析數(shù)據(jù)日志收集簡介架構(gòu)Page 25現(xiàn)狀磁盤IO，CPU，內(nèi)存，網(wǎng)絡(luò)map過少，map輸出量太大慢job數(shù)過多, join耗時嚴(yán)重數(shù)據(jù)傾斜, reduce階段非常慢Page 26優(yōu)化Page 27優(yōu)化Page 28原則盡量早地過濾數(shù)據(jù)，減少每個階段的數(shù)據(jù)量，分區(qū)表要加分區(qū)且只 選擇需要使用到的字段12盡量原子化操作，避免一個 SQL包含復(fù)雜邏輯，可以使用中間表來完成復(fù)雜邏輯3單個SQL所起的JOB個數(shù)盡量在5個以下4慎重使用mapjoin,否則會引起磁盤和內(nèi)存的大量消耗5寫SQL要先了解數(shù)據(jù)本身的特點，要注意是否