大數(shù)據(jù)日志分析 - 圖文-

1、ParaAnalytics LA 大數(shù)據(jù)日志分析 關(guān)于派拉派拉日志分析介紹 公司成立于2008年,總部位于上海張江,在上海、北京、廣州、長春、武漢等地設(shè)有服務(wù)機構(gòu)。派拉軟件是企業(yè)級I T管理平臺解決方案提供商,專注于身份安全認證、云計算安全、大數(shù)據(jù)平臺及應(yīng)用。擁有全資子公司“上海安倍思信息技術(shù)有限公司”,提供I B M、C l o u d e r a、M o b i l e l r o n、T i b c o等軟件廠商的產(chǎn)品、咨詢及實施服務(wù)。擁有國際背景的強大技術(shù)團隊,輻射全國的本地化專業(yè)服務(wù),融合風險管理的資深管理團隊。關(guān)于派拉派拉概況關(guān)于派拉發(fā)展歷程上海派拉軟件股份有限公司成立北京分公司成

2、立榮獲“中國信息安全產(chǎn)品創(chuàng)新獎”新三板掛牌上市發(fā)布ParaSecure OSC 安全運維管理軟件發(fā)布ParaSecure ESC企業(yè)安全管理軟件完成A輪融資榮獲“中國創(chuàng)業(yè)大獎賽”大獎完成B輪融資通過CMMI-3級認證發(fā)布大數(shù)據(jù)解決方案上海市科技小巨人培育企業(yè)關(guān)于派拉榮譽、認證、合作派拉建立了精通機器學(xué)習(xí)和數(shù)據(jù)挖掘算法,熟悉Hadoop技術(shù)的大數(shù)據(jù)專家團隊,通過Cloudera 認證的人數(shù)達到14人次,具備Hadoop管理員,開發(fā)員,分析師等多種資質(zhì)認證。 派拉大數(shù)據(jù)管理工程師(管理工程師 派拉大數(shù)據(jù)認證工程師(開發(fā)工程師 派拉大數(shù)據(jù)認證工程師(數(shù)據(jù)分析師 關(guān)于派拉榮譽、認證、合作派拉基于Clo

3、udera大數(shù)據(jù)平臺自主研發(fā)的日志分析軟件ParaAnalytics LA獲得2016年度中國大數(shù)據(jù)領(lǐng)域最佳產(chǎn)品獎。 派拉大數(shù)據(jù)主要客戶制造業(yè)銀行業(yè)保險業(yè)互聯(lián)網(wǎng)政府公安上汽大眾上汽集團中國銀聯(lián)人行征信中心華泰證券陸金所咪咕視訊大連公安派拉日志分析PLA基于大數(shù)據(jù)的運維分析 IT運維面對環(huán)境數(shù)據(jù)多、交易快、種類雜的嚴峻挑戰(zhàn),在如此巨大的外在壓力下,傳統(tǒng)處理手段遠遠跟不上應(yīng)用規(guī)模的發(fā)展。IT運維面臨的挑戰(zhàn)大型數(shù)據(jù)中心: 數(shù)以千記的服務(wù)器+ 網(wǎng)絡(luò)+ 存儲+ 中間件,每天產(chǎn)生大約幾TB 的日志、可用性和性能數(shù)據(jù)互聯(lián)網(wǎng)金融所帶來的Web及移動應(yīng)用所要求的研發(fā)與敏捷開發(fā),產(chǎn)生的數(shù)據(jù)量則大到難以統(tǒng)計每秒交易

4、量可達3000筆+性能與可用性運維覆蓋的指標記錄,通常每分鐘或幾分鐘在各實例上進行采集,平均每分鐘采集與落地的數(shù)據(jù)達到GB 級由異常偵測產(chǎn)生IT事件量若不經(jīng)過壓縮關(guān)聯(lián),每秒都會產(chǎn)生快多雜網(wǎng)絡(luò)流量與事務(wù)處理日志文件報警與事件性能指標核心文件與內(nèi)存痕跡配置文件服務(wù)請求故障通知單社交媒體庫存與資產(chǎn)用戶文檔與技術(shù)文檔調(diào)研發(fā)現(xiàn),IT 運維數(shù)據(jù)的價值被企業(yè)廣泛認同Source:資料來源:“分析:大數(shù)據(jù)在真實世界的應(yīng)用:創(chuàng)新型企業(yè)如何在不確定性數(shù)據(jù)中提煉價值”,IBM 商業(yè)價值研究院及牛津大學(xué)SAID 商學(xué)院運維優(yōu)化交易日志事件電郵IT運維大數(shù)據(jù)分析(ITOA定義IT運維大數(shù)據(jù)分析,國外叫做IT Opera

5、tions Analytics,簡稱ITOAGartner定義:Technology or service that collects, stores, presents, and performs deductive and/or inductive inferences about large volumes of IT operations data.對大量IT運維數(shù)據(jù)進行采集、存儲、展現(xiàn)、進行演繹和/或歸納推理的技術(shù)或者服務(wù)。Forrester定義:The use of mathematical algorithms and other innovations to extract m

6、eaningful information from the sea of raw data collected by management and monitoring technologies.從管理和監(jiān)控技術(shù)所采集的海量原始數(shù)據(jù),通過數(shù)學(xué)算法及其他創(chuàng)新手段來提取有用信息的運用。IT 運維大數(shù)據(jù)分析藍圖系統(tǒng)畫像運維數(shù)據(jù)技術(shù)平臺運維主題基于大數(shù)據(jù)技術(shù)運維主題整理當前運維盲點痛點進行運維打破原有運維壁壘,歸納總結(jié)運維場景主動/預(yù)測式的方法,建立系統(tǒng)畫像。改變原來的豎井式運維,以運維場景為基礎(chǔ)以主動式預(yù)測為手段實現(xiàn)智能化運維運維數(shù)據(jù)采集各種運維結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)通過統(tǒng)一接口進行匯總清洗聚合

7、索引完善數(shù)據(jù)體系建立運維標簽和特征引擎技術(shù)平臺開源軟件Hadoop /SPARK 大數(shù)據(jù)技術(shù)采用可超百臺集群部署X86硬件服務(wù)器通過靈活的算法庫實現(xiàn)智能化運維借助系統(tǒng)畫像,運維人員可以更直觀,更系統(tǒng)的整合運維主題和運維數(shù)據(jù),以推動數(shù)據(jù)中心智能化運維將大數(shù)據(jù)分析技術(shù)應(yīng)用于IT 運維的漸進發(fā)展模式監(jiān)控:現(xiàn)在發(fā)生了什么報告:發(fā)生過什么分析:為什么發(fā)生了預(yù)警:什么將要發(fā)生預(yù)防:如何事先預(yù)防或采取對策業(yè)務(wù)價值復(fù)雜度Log Analysis 產(chǎn)品架構(gòu)更快的搜索日志信息;清晰的定位問題根源;有效的進行問題預(yù)警;更大的發(fā)掘日志價值;整合日志與性能和告警;大大提升運維能力。應(yīng)用性能分析日志數(shù)據(jù)抽取分析實時流式計

8、算Rule Engine 規(guī)則引擎大數(shù)據(jù)存儲(HDFS 、NOSQL 數(shù)據(jù)分析模塊日志全文搜索分析報表大數(shù)據(jù)運維門戶Dashboard 數(shù)據(jù)可視化引擎系統(tǒng)日志數(shù)據(jù)庫/中間件日志日志采集模塊展現(xiàn)層大數(shù)據(jù)分析層采集層日志數(shù)據(jù)應(yīng)用日志網(wǎng)絡(luò)日志系統(tǒng)/網(wǎng)絡(luò)性能數(shù)據(jù)性能采集模塊性能數(shù)據(jù)告警采集模塊告警數(shù)據(jù)告警數(shù)據(jù) 內(nèi)涵意義的解析和提取日志文件10/9/12 5:51:38:295 GMT+05:30 0000006a servlet EUncaught exception created in one of the service methods of the servletTradeAppServlet

9、 in application DayTrader2-EE5. Exception created :selling holding 3111 for user =uid:43 atdeServletAction.java:708日志分析服務(wù)器文本分析以及規(guī)則性表述Schema on WriteSchema on Read出錯代碼線程ID 靈活的搜索可點擊下鉆 視圖化展現(xiàn)Dashboard 報警開關(guān)報警方式 靈活設(shè)置報警條件 常用日志開箱即用的支持系統(tǒng)日志:Syslog,Eventlog,AIX Error Log數(shù)據(jù)庫:Oracle,SQL Server,DB2,MySQL中間件:WAS,W

10、eblogic,T omcat,JBOSS,MQ/MB Web Server:Apache,IIS,NGINXMicrosoft:Exchange,AD 常用日志開箱即用的支持開箱即用的日志解析開箱即用的Dashboard開箱即用的告警設(shè)置 日志分析應(yīng)用場景問題診斷運行在Apache ,WAS ,Oracle 環(huán)境中的Trade Application 。用戶發(fā)現(xiàn)交易響應(yīng)非常慢,運維團隊使用日志分析查詢應(yīng)用和中間件日志進行診斷。應(yīng)用交易響應(yīng)時間升高查找WebServer 日志中的出錯信息查找WAS 日志中的出錯信息查找數(shù)據(jù)庫日志中的出錯信息 日志分析應(yīng)用場景問題診斷從業(yè)務(wù)儀表盤上看到,在應(yīng)用日

11、志中發(fā)現(xiàn)用戶交易響應(yīng)時間異常變慢查看相近時間段的其他日志源,發(fā)現(xiàn)WebServer的AccessLog中出現(xiàn)500返回碼錯誤,表征發(fā)生了交易失敗同時看到WAS中間件的日志中也出現(xiàn)大量出錯信息,點擊查看詳細內(nèi)容,發(fā)現(xiàn)主要是數(shù)據(jù)庫連接的問題進一步查看數(shù)據(jù)庫日志儀表盤,發(fā)現(xiàn)相近時間出現(xiàn)大量鎖等待信息,懷疑是導(dǎo)致交易問題的根源為進一步明確問題根源,在日志搜索界面中選擇WAS和數(shù)據(jù)庫日志源,對問題發(fā)生時間前半小時的日志進行搜索。搜索結(jié)果顯示了交易問題發(fā)生之前應(yīng)用中間件和數(shù)據(jù)庫的日志中的出錯信息對搜索結(jié)果進行圖形化展現(xiàn),可以直觀地看出中間件出錯信息和數(shù)據(jù)庫出錯信息之間的相關(guān)性,從而診斷出問題根DBA解決了

12、數(shù)據(jù)庫鎖的問題,應(yīng)用交易恢復(fù)正常運行在Apache,WAS,Oracle環(huán)境中的Trade Application。用戶發(fā)現(xiàn)交易響應(yīng)非常慢,運維團隊使用日志分析查詢應(yīng)用和中間件日志進行診斷。日志分析應(yīng)用場景應(yīng)用性能監(jiān)控從應(yīng)用的交易日志中提取交易量、響應(yīng)時間、成功率等關(guān)鍵性能指標,是實現(xiàn)APM的主流方式。能夠關(guān)聯(lián)多個交易環(huán)節(jié)的日志實現(xiàn)端到端的交易監(jiān)控交易響應(yīng)時間交易量交易成功率 日志分析應(yīng)用場景日志審計現(xiàn)狀:環(huán)境復(fù)雜,日志分散,難以管理。合規(guī)性要求:重要日志文件不少于半年。能根據(jù)審計記錄進行數(shù)據(jù)分析,并生成統(tǒng)計報表。避免審計記錄遭受未預(yù)期的刪除、修改或覆蓋。實施信息系統(tǒng)的統(tǒng)一安全策略,實現(xiàn)集中審計。搭建統(tǒng)一的日志管理系統(tǒng)各種來源、格式、用途的日志集中存儲集中管理大數(shù)據(jù)技術(shù)提供足夠的存儲空間和備份歸檔策略滿足存儲時間要求數(shù)據(jù)冗余保證日志的完整性便于搜索查詢對審計記錄的保護部署統(tǒng)一策略,實現(xiàn)集中審計。日志分析應(yīng)用場景安全事件分析用戶行為分析發(fā)現(xiàn)用戶訪問中的異常行為和潛在的風險關(guān)聯(lián)系統(tǒng)、應(yīng)用、網(wǎng)絡(luò)等多種日志,追蹤非法訪問的來源建立用戶行為模型惡意軟件和網(wǎng)絡(luò)異常檢測信息泄露檢測垃圾郵件過濾(SP AM Filter IT運維大數(shù)據(jù)分析對IT運維帶來的實