海量日志搜索分析技術(shù)及應(yīng)用案例

1、海量日志搜索分析技術(shù)及應(yīng)用案例86%93%47%72%40%20%0%60%80%100%machine data（日志）wire data（網(wǎng)絡(luò)抓包）agent data（插入代碼）probe data（模擬檢測(cè)） 從 IT Operation Management (ITOM) 到 IT Operation Analytics (ITOA) 大數(shù)據(jù)技術(shù)應(yīng)用于IT運(yùn)維，通過(guò)數(shù)據(jù)分析提升IT運(yùn)維 Gartner估計(jì)，到2017年15%的大企業(yè)會(huì)積極使用ITOA；而在2014年這一數(shù)字只有5%ITOA 4種數(shù)據(jù)占比IT運(yùn)維分析ITOA 四種數(shù)據(jù)來(lái)源的比較機(jī)器數(shù)據(jù)（日志）日志無(wú)所不在但不同應(yīng)用輸出

2、的日 志內(nèi)容的完整性、可 用性不同通信數(shù)據(jù)（網(wǎng)絡(luò)抓 包）網(wǎng)絡(luò)流量信息全面但一些事件未必觸發(fā) 網(wǎng)絡(luò)流量代理數(shù)據(jù)（嵌入代 碼）代碼級(jí)精細(xì)監(jiān)控但侵入性，會(huì)帶來(lái)安 全、穩(wěn)定、性能問(wèn)題探針數(shù)據(jù)（模擬用 戶請(qǐng)求）端到端監(jiān)控但不是真實(shí)用戶度量（Real User Measurement）日志，我們重要的數(shù)據(jù)資產(chǎn)43 - - 15/Apr/2015:00:27:19 +0800 “POST /report HTTP/1.1”200 21 “/search/” “Mozilla/5.0 (Windows NT 6.1; WOW64;rv:37.0) Gecko/20100101 Firefox/37.0” “7

3、4” 0.005clientIPtimestampmethoduristatuslengthreferencespan過(guò)去安全方面 黑客入侵后往往會(huì)刪除修改 日志，抹除入侵痕跡，導(dǎo)致無(wú) 法通過(guò)日志分析攻擊行為 海量的idswaf報(bào)警，根本無(wú) 法辨別是否是誤報(bào)存儲(chǔ)日志性能方面 無(wú)法適應(yīng)每天TB級(jí)海量日志 數(shù)據(jù)庫(kù)的schema無(wú)法適應(yīng)千變?nèi)f化的日志 格式 無(wú)法提供海量日志全文檢索和字段統(tǒng)計(jì)功能運(yùn)維方面 需要登陸每一臺(tái)服務(wù)器，使用腳本命 令或程序查看，操作繁瑣，容易出錯(cuò) 數(shù)據(jù)是孤立分散的，無(wú)法進(jìn)行關(guān)聯(lián)， 無(wú)法提取出其中的共性 只能做簡(jiǎn)單搜索和統(tǒng)計(jì)，無(wú)法滿足分 析要求 沒(méi)有實(shí)時(shí)監(jiān)控和報(bào)警，如程序出錯(cuò)日

4、 志近年都只是一個(gè)開(kāi)發(fā)框架，不是拿 來(lái)即用的產(chǎn)品Storm/Spark批處理，不夠及時(shí)查詢慢數(shù)據(jù)離線挖掘，無(wú)法做 OLAP (On Line Analytic Processing)Hadoop不支持全文檢索NoSQL現(xiàn)在030405非結(jié)構(gòu)化能處理所有機(jī)器數(shù)據(jù)，能適 應(yīng)各種日志格式，而無(wú)需對(duì) 原有日志進(jìn)行改造0102大每天處理 TB 級(jí)的日志量， 數(shù)十TB的日志只需幾秒就 能搜索出結(jié)果Fast big data實(shí)時(shí)大數(shù)據(jù) 無(wú)縫橫向擴(kuò)展 豐富對(duì)外接口快日志從產(chǎn)生到搜 索分析出結(jié)果只 有幾秒的延時(shí)靈活Google for IT， 可搜索、分析任 何日志01020403日志1.0 數(shù)據(jù)庫(kù) 固定的sc

5、hema無(wú) 法適任意日志格式 無(wú)法處理大數(shù)據(jù)量日志2.0 Hadoop Nosql 需要開(kāi)發(fā)成本 批處理，實(shí)時(shí)性差 不支持全文檢索日志3.0 實(shí)時(shí)搜索分 析 實(shí)時(shí) 靈活 全文檢索NG 日志 機(jī)器學(xué)習(xí) 人工智能日志管理系統(tǒng)演進(jìn)日志管理核心技術(shù)Schema on Write索引時(shí)（入庫(kù)前）抽取字段，對(duì)日志做結(jié)構(gòu)化檢索速度快但不夠靈活，必須預(yù)先知道日志格式Schema on Read檢索時(shí)（入庫(kù)后）抽取字段，對(duì)日志結(jié)構(gòu)化靈活，檢索時(shí)根據(jù)需要抽取字段但檢索速度受影響日志管理核心技術(shù)搜索處理語(yǔ)言 （Search Processing Language, SPL）SPL命令用管道符（“|”）串接成腳本程序

6、在搜索框里寫(xiě) SPL 腳本，完成復(fù)雜的查詢分析用 一 條 SPL 語(yǔ) 法 解 決 復(fù) 雜 的 聚 合 邏 輯 ， 以 繳 費(fèi) 業(yè) 務(wù) 關(guān) 聯(lián) 分 析 為 例 ： json.url:“/charge/business.action?BMEBusiness=charge.charge&_cntRecTimeFlag=true” | transaction apache.dimensions.cookie_CURRENT_MENUID startswith=eval(json.action:“ 查 詢 ”& timestamp30m) endswith=json.action:提交1.先通過(guò)url

7、過(guò)濾出所有 繳費(fèi)業(yè)務(wù)日 志2.通過(guò)menuid進(jìn)行分 組聚合3.將“查詢”動(dòng)作作為 步驟起點(diǎn)4.默認(rèn)30分鐘內(nèi)營(yíng)業(yè)員 處理完一筆完整業(yè)務(wù)5.將“提交”動(dòng)作作為 步驟結(jié)束日志應(yīng)用場(chǎng)景統(tǒng)一日志平臺(tái)備份中心2日志集群1主中心日志集群3備份中心2 日志集群2多個(gè)IDC日志易集群之間用同一個(gè)帳號(hào)登錄即可查詢多個(gè) IDC的數(shù)據(jù)日志應(yīng)用場(chǎng)景統(tǒng)一日志平臺(tái)只要在一個(gè)輸入框上輸入需要查詢的關(guān)鍵字，就能在幾 秒鐘查詢出所有機(jī)器，所有類型日志與關(guān)鍵字匹配的日 志信息日志應(yīng)用場(chǎng)景業(yè)務(wù)運(yùn)維分析實(shí)時(shí)監(jiān)控每一筆交易，對(duì)異常和錯(cuò)誤實(shí)時(shí)告警 交易是否正常 交易耗時(shí) 交易的服務(wù)器資源消耗 接口、服務(wù)調(diào)用實(shí)時(shí)統(tǒng)計(jì) 交易量統(tǒng)計(jì)、分析日

8、志應(yīng)用場(chǎng)景業(yè)務(wù)運(yùn)維分析快速統(tǒng)計(jì)任意時(shí)間段，0-50ms操作時(shí)長(zhǎng)的業(yè)務(wù)數(shù)量（low），50-500ms的業(yè)務(wù)數(shù) 量（middle），以及500ms以上的業(yè)務(wù)數(shù)量（high）日志應(yīng)用場(chǎng)景業(yè)務(wù)運(yùn)維分析快速統(tǒng)計(jì)任意時(shí)間段，每臺(tái)服務(wù)器各業(yè)務(wù)類型的業(yè)務(wù)數(shù)量占比日志應(yīng)用場(chǎng)景業(yè)務(wù)運(yùn)維分析快速統(tǒng)計(jì)各臺(tái)服務(wù)器每天各時(shí)段操作時(shí)長(zhǎng)趨勢(shì)，可以看出服務(wù)器操作時(shí)長(zhǎng)變化趨勢(shì) 非常相似，業(yè)務(wù)耗時(shí)長(zhǎng)的操作集中在某1，2臺(tái)機(jī)器日志應(yīng)用場(chǎng)景業(yè)務(wù)關(guān)聯(lián)分析不同的交易，應(yīng)用系統(tǒng)之間的邏輯流程各不一樣，而且出現(xiàn)錯(cuò)誤日志的模塊，很可能不是真正發(fā)生異常的 模塊，但應(yīng)用系統(tǒng)之間有明確的日志關(guān)鍵字進(jìn)行關(guān)聯(lián)，通過(guò)日志關(guān)聯(lián)以及時(shí)間排序，能快速定位出每筆

9、交 易的業(yè)務(wù)流程以及最早的故障源日志應(yīng)用場(chǎng)景業(yè)務(wù)關(guān)聯(lián)分析resFormat=HTML, funCode=BE311001,origAmt=12865,retCode=0000,retMsg= 查 詢 成 功 ,comAmt=0,comAmtType=-99,reqDate=20160801, transferDate=20160801,reqTime=151958, orderId=17453288, accessType=U0801-153205-064SER_29569_WPF153204e561dd3INFO Ser: 【P2P標(biāo)的余額查詢】業(yè)務(wù)網(wǎng)關(guān)返回的P2P標(biāo) 的余額查詢結(jié)果為： S

10、wapresult=0,e=nullmsgNum=0, merId=7001079, rpid=WPF153204e561dd3, reqDate=20160801, transNum=0, balance=00000000000000, accDate=20160801, retCode=0000, Memo=null, reqTime=153205, retMsg=null, funCode=0602, brc=01, bidId=7001079A0005990, avlBal=00000000000000p2plateform日志spay日志2016-08-01 15:19:58.950

11、INFO9800-20160801-17453288PayBusiServiceImpl|httpPostForm2Xml 返 回 結(jié)果：orderState=4, tradeNo=1608011519586161, trace=1608011519584381, orderDate=20160801, merId=9800, transferSettleDate=20160801, purpose= 司 機(jī) 提 現(xiàn) , rpid=WPF153204e561dd3,CRM日志0801-153204-822OUT_35969_PSP153204ad5a11dINFOSer: Encode252B

12、 charSetGBKbody:0000 操作成功 操作成功,9426,9430,9832,9996,7000998,1608011519586161 P日志應(yīng)用場(chǎng)景業(yè)務(wù)關(guān)聯(lián)分析輸入rpid的值自動(dòng)關(guān)聯(lián)自動(dòng)展現(xiàn)搜索結(jié)果日志應(yīng)用場(chǎng)景安全分析某駕校在2014年4月某天被黑客入侵導(dǎo)致網(wǎng)站無(wú)法登錄，用戶提供5GB的web 日志文件，需要從日志文件中快速定位出攻擊源ip通過(guò)把服務(wù)器web日志導(dǎo)入到日志易系統(tǒng)，給日志打上標(biāo)簽“hacking”，標(biāo)簽和日志分組方便日志易系統(tǒng) 同時(shí)處理不同的案件的日志，每個(gè)案件都有自己的標(biāo)簽和分組，方便不同的辦案人查看不同的日志。這批將 近5GB的日志總共有19,556,430條01日志應(yīng)用場(chǎng)景安全分析在服務(wù)器存在web后門(mén)的情況下，該后門(mén)程序格式通常為php文件，并且一般后門(mén)通過(guò)POST方式進(jìn)行請(qǐng)求）。所以在搜索框搜索 “php AND apache.method:POST AND apache.status:200”，得到以下結(jié)果， 共3642條日志，可以清晰發(fā)現(xiàn)請(qǐng)求中存在異常文件02日志應(yīng)用場(chǎng)景安全分析進(jìn)行可視化統(tǒng)計(jì)視圖（統(tǒng)計(jì)請(qǐng)求路徑），可以發(fā)現(xiàn)搜索結(jié)果中（即步驟二篩選出來(lái)的3642條日志）請(qǐng)求數(shù) 量最多的基本都是異常文件，可以統(tǒng)計(jì)這些異常文件的數(shù)量，快速確定了服務(wù)器內(nèi)后門(mén)位置：如/sites/default/files/upload/201404