大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件

大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐Splunk軟件初探大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐Splunk軟件初探1ounk軟件初探ounk軟件初探2內(nèi)容Splunk簡介Splunk的安裝與配置Splunk數(shù)據(jù)分析·SPL高級編程小結內(nèi)容3Splunk簡介Splunk是一款成熟的商業(yè)化日志處理分析產(chǎn)品,也是一套開源的方案EK(Elasticsearch+Logstash+Kiana)。punk能讓所有人均可訪問機器數(shù)據(jù),讓機器數(shù)據(jù)對所有人有用。sφpunk是機器數(shù)據(jù)的引擎。使用Splunk可收集、索引和利用所有應用程序、服務器和設備生成的快速移動型計算機數(shù)據(jù)。使用Splunk處理計算機數(shù)據(jù),可在幾分鐘內(nèi)解決問題和調(diào)查安全事件使用Splunk可以監(jiān)視端對端基礎結構,避免服務性能降低或中斷,以較低成本滿足要求;使用Splunk可以關聯(lián)并分析跨越多個系統(tǒng)的復雜事件,獲取新層次的運營可見性以及T和業(yè)務智能。Splunk簡介4數(shù)據(jù)類型表Splunk軟件支持的數(shù)據(jù)類型數(shù)據(jù)類型數(shù)據(jù)位捐來源作用應用日志本日志立件、1g4、log4net,Weic、用戶活動、詐趁測、應用性WetSphere、JB3、EI、PHP踣渠道客戶活動,購買、賬戶變更業(yè)務充程日志業(yè)務流程管理日志及門題報表牙叫信品花條呼叫信泉記錄(DBR)計責數(shù)據(jù)記錄李計費、入保證,客戶保證、合作件數(shù)據(jù)記錄均由電信和網(wǎng)絡交換機所記錄飲結算、營銷智笠We服務器、路由器、代理服務器和廣告可用性分橋數(shù)字項營銷為一般點擊流數(shù)據(jù)服務系配置文件設置基砒設橢、調(diào)試忒疊、后門攻配文件擊、“定時炸彈倆毒數(shù)庫審計日志數(shù)庫日志又件、盲計表如何根據(jù)時問修故數(shù)據(jù)數(shù)據(jù)以及數(shù)據(jù)類型表5數(shù)據(jù)位置據(jù)來源文件系統(tǒng)計日志←敏數(shù)暑,存情在共享文件系統(tǒng)中監(jiān)列并審計敏感數(shù)據(jù)的賣取權蠶用于管理和記錄其他VmN及Ci供應商特定4P的檢側(cè)管理數(shù)和日志事件A類搖。點防火中詞試復雜應用中的問題,并作為消息隊列JMS、RabbntMQ和Aqualogic記錄應用架構的其礎在LN和Linux中的ps與jost上,或者操佇系統(tǒng)度、狀故障拂除勢以發(fā)現(xiàn)潛在Wdow中的性能鑒視器上,用于顯示CpU、態(tài)和診斷的命問并調(diào)查安全事件內(nèi)存利用率和狀態(tài)的信息由pmp積pw雞造用于生成約pp|性能路,起時、瓶頸就可逼活數(shù)據(jù)包流量數(shù)據(jù)或就最數(shù),以及其他有月的數(shù)君包鍛會動可表明網(wǎng)絡被入侵或者要到遠話級信息SCADA數(shù)據(jù)監(jiān)視控制與數(shù)采集(SCADA)心模式和異常情流,并用于實現(xiàn)喜數(shù)據(jù)位置據(jù)來源6存儲傳感器設各中,由監(jiān)測環(huán)粲件生成的位監(jiān)測、機器健康狀態(tài)監(jiān)測和傳感器數(shù)露數(shù)據(jù),如氣溫、聲音、壓力、功奉以水智能家居盜劉路由器、交換機和網(wǎng)絡設備上的故障排除、分析、安全審計Web訪問日志W(wǎng)日志分析報表生戌的每個請求在Wb服務器中用于記錄用戶通過代理發(fā)監(jiān)測并調(diào)查服務條款及數(shù)據(jù)泄露Web代理日志出的每個Web請求Waio事件Windows應用安全和系統(tǒng)事件日志使用業(yè)務關是應用、安全信息和使用模式檢對DNS查找和記錄,協(xié)議級信息,包括標頭、主動監(jiān)測應用性能和可用性、最線上數(shù)據(jù)終客戶體驗、事件調(diào)查及絡威內(nèi)容及流記錄脅檢測、監(jiān)控和臺規(guī)性存儲傳感器設各中,由監(jiān)測環(huán)粲件生成的7Splunk的架構·架構最下層:SplunkSplunkCuISplunkWebInterfaceOtherInterfacesDataroutin:;數(shù)據(jù)路由數(shù)據(jù)Scheduling/AlteringKnowledgecex:顧名思義,它跟索引crlutedse據(jù)和負責查我DataRouting,Cloning,andLoadAccess找它本MonitorFilesListentoNetworkChangesRunscriptexeSearchhead】組Splunk的架構8Splunkindexer集群架構·master結點告chheadClustermaster節(jié)點,searchhead點;3per點復制因子master節(jié)點searchhead書點Per點就返回數(shù)據(jù)以及建立數(shù)摭引傳輸導入平衡女騙g為部黑在備程并搜索燚←per節(jié)點復泡數(shù)據(jù)傳階號入平街數(shù)框第米全蘇有3Splunkindexer集群架構9大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件10SPL語言·概述·從SQL到SplunkSPLSPL語言11大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件12大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件13大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件14大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件15大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件16大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件17大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件18大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件19大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件20大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件21大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件22大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件23大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件24大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件25大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件26大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件27大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件28大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件29大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件30大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件31大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件32大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件33大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件34大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件35大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件36大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件37大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件38大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件39大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件40大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件41大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件42大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件43大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件44大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件45大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件46大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件47大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件48大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件49大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件50大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件51大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件52大數(shù)據(jù)測試技術數(shù)據(jù)采集、分析與測試實踐-Splu課件5366、節(jié)制使快樂增加