海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)在運(yùn)營(yíng)管理中的運(yùn)用

海量非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)在運(yùn)營(yíng)管理中的運(yùn)用大數(shù)據(jù)很有價(jià)值，但數(shù)據(jù)獲取很關(guān)鍵目錄2銀行數(shù)據(jù)全生命周期管理探討1海量非結(jié)構(gòu)化數(shù)據(jù)特點(diǎn)及使用2規(guī)劃、設(shè)計(jì)、線(xiàn)上、近線(xiàn)、離線(xiàn)、下線(xiàn)、調(diào)閱、銷(xiāo)毀？結(jié)構(gòu)化數(shù)據(jù)是哪些，非結(jié)構(gòu)化數(shù)據(jù)是哪些，如何獲取？海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)要點(diǎn)與實(shí)現(xiàn)3銀行數(shù)據(jù)全生命周期管理-系統(tǒng)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)設(shè)計(jì)階段落實(shí)數(shù)據(jù)管理：投產(chǎn)前明確數(shù)據(jù)管控手段：生產(chǎn)數(shù)據(jù)管理備份與歸檔：歷史數(shù)據(jù)調(diào)用分析使用：提出應(yīng)用系統(tǒng)數(shù)據(jù)管理規(guī)范定義應(yīng)用系統(tǒng)數(shù)據(jù)管理協(xié)議明確不同類(lèi)型數(shù)據(jù)的管控手段定義控制維護(hù)使用明確各類(lèi)數(shù)據(jù)的特性確定各類(lèi)數(shù)據(jù)的存在環(huán)境系統(tǒng)及業(yè)務(wù)數(shù)據(jù)的采集方式設(shè)計(jì)各類(lèi)數(shù)據(jù)的備份與恢復(fù)生產(chǎn)數(shù)據(jù)性能及容量管理生產(chǎn)數(shù)據(jù)的備份與歸檔數(shù)據(jù)在線(xiàn)、近線(xiàn)、下線(xiàn)管理備份數(shù)據(jù)有效性驗(yàn)證與管理系統(tǒng)數(shù)據(jù)監(jiān)控與分析業(yè)務(wù)數(shù)據(jù)的調(diào)用與登記業(yè)務(wù)數(shù)據(jù)的翻新與備份3銀行數(shù)據(jù)全生命周期管理目標(biāo)數(shù)據(jù)規(guī)劃數(shù)據(jù)生產(chǎn)數(shù)據(jù)管理數(shù)據(jù)使用數(shù)據(jù)特性識(shí)別使用規(guī)劃設(shè)計(jì)備份需求確認(rèn)

使用周期確定技術(shù)手段落實(shí)生產(chǎn)狀態(tài)監(jiān)控運(yùn)行趨勢(shì)分析整體容量管理歷史數(shù)據(jù)調(diào)閱運(yùn)營(yíng)情況分析業(yè)務(wù)創(chuàng)新支持?jǐn)?shù)據(jù)管理

在線(xiàn)生產(chǎn)數(shù)據(jù)監(jiān)控采集近線(xiàn)查詢(xún)數(shù)據(jù)歸檔處理離線(xiàn)歸檔數(shù)據(jù)備份分析數(shù)據(jù)分析結(jié)果綜合運(yùn)用數(shù)據(jù)采集管理數(shù)據(jù)加工處理備份計(jì)劃管理備份操作執(zhí)行

介質(zhì)歸檔管理備份周期管理科技服務(wù)之一：結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)的全生命周期管理與使用4數(shù)據(jù)管理如何實(shí)現(xiàn)哪些是結(jié)構(gòu)化數(shù)據(jù)哪些是非結(jié)構(gòu)化數(shù)據(jù)銀行各類(lèi)數(shù)據(jù)的產(chǎn)生、分布、狀態(tài)、用途.......基礎(chǔ)運(yùn)行產(chǎn)生技術(shù)相關(guān)數(shù)據(jù)業(yè)務(wù)執(zhí)行產(chǎn)生動(dòng)態(tài)與靜態(tài)數(shù)據(jù)信息操作安全賬務(wù)銀行單筆業(yè)務(wù)的執(zhí)行，引起整體架構(gòu)各層面產(chǎn)生各類(lèi)關(guān)聯(lián)性數(shù)據(jù)審計(jì)安全事故故障單接入網(wǎng)絡(luò)服務(wù)器存儲(chǔ)規(guī)范發(fā)展變更管理虛擬化安全應(yīng)用分析哪里存在數(shù)據(jù)、什么形式、特征如何、如何管理、如何使用應(yīng)用系統(tǒng)數(shù)據(jù)管理協(xié)議、日志輸出標(biāo)準(zhǔn)化........有效運(yùn)用各類(lèi)數(shù)據(jù)的基礎(chǔ)是對(duì)其進(jìn)行全程管理與控制7業(yè)務(wù)標(biāo)識(shí)設(shè)計(jì)：為業(yè)務(wù)全程分析埋下“線(xiàn)索”、染色請(qǐng)求：請(qǐng)求發(fā)起端，超時(shí)、成功率連接網(wǎng)絡(luò)轉(zhuǎn)發(fā)、動(dòng)態(tài)分配，后端狀態(tài)轉(zhuǎn)換快速轉(zhuǎn)接、轉(zhuǎn)換，是否有堵塞服務(wù)業(yè)務(wù)服務(wù)原子交易，速度、可靠短連接：資源共用、容量大、連接耗時(shí)，關(guān)注異常波動(dòng)長(zhǎng)連接：資源專(zhuān)用、效率高，關(guān)注超時(shí)及掛起狀態(tài)系統(tǒng)間會(huì)話(huà)業(yè)務(wù)流程單系統(tǒng)交易業(yè)務(wù)標(biāo)識(shí)：可用于故障定位、容量系數(shù)、業(yè)務(wù)分析.......89銀行數(shù)據(jù)生命周期管理：從源頭控制與實(shí)施日志標(biāo)準(zhǔn)化日志分類(lèi)：應(yīng)用系統(tǒng)，應(yīng)將交易流水日志、系統(tǒng)debug日志，系統(tǒng)報(bào)錯(cuò)日志日志分級(jí)：各類(lèi)日志應(yīng)設(shè)置級(jí)別控制，通過(guò)動(dòng)態(tài)開(kāi)關(guān)，控制日志寫(xiě)出的粒度日志格式：各類(lèi)應(yīng)用日志，尤其是系統(tǒng)報(bào)錯(cuò)日志，應(yīng)遵守統(tǒng)一的格式要求日志傳輸：日志寫(xiě)出并傳輸?shù)姆绞剑瑧?yīng)采用全行統(tǒng)一的傳輸方式交易報(bào)文標(biāo)準(zhǔn)化統(tǒng)一交易標(biāo)識(shí)：全行統(tǒng)一的交易標(biāo)識(shí)，在多系統(tǒng)中傳輸，便于監(jiān)控和故障診斷報(bào)文加密策略：對(duì)中間件、應(yīng)用服務(wù)器的報(bào)文加密進(jìn)行統(tǒng)一規(guī)定數(shù)據(jù)管理基礎(chǔ)：結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)可采集、可加工、可分析利用9數(shù)據(jù)管理如何實(shí)現(xiàn)哪些是結(jié)構(gòu)化數(shù)據(jù)哪些是非結(jié)構(gòu)化數(shù)據(jù)ACompositeWebApplication,InvolvingJ2EE,IntegrationMiddlewareandLegacySystems系統(tǒng)名稱(chēng)是否含有下列內(nèi)容交易流水表交易代碼交易日期交易時(shí)間交易狀態(tài)分類(lèi)統(tǒng)計(jì)圖形化前端管理系統(tǒng)(GTS)有有有有有分行號(hào)理財(cái)產(chǎn)品銷(xiāo)售系統(tǒng)（FUND）有有有有有有電子支付平臺(tái)（EPAY）有有有有有無(wú)外匯買(mǎi)賣(mài)系統(tǒng)（EXCH）有有有有有無(wú)動(dòng)態(tài)口令集中認(rèn)證管理平臺(tái)(OPT)有有有有有渠道現(xiàn)金管理系統(tǒng)（CaMS）有有有有有有手機(jī)銀行（CEMB）有有有有有登錄方式短信平臺(tái)系統(tǒng)(MSG)有有在同一字段內(nèi)有運(yùn)營(yíng)商貴金屬交易系統(tǒng)(GOLD)有有有有有無(wú)核心業(yè)務(wù)系統(tǒng)（ECAS）有有有有有業(yè)務(wù)種類(lèi)Call-Center系統(tǒng)(CCS)有有有有有交易種類(lèi)總行大前置系統(tǒng)（EBIP）前置二期監(jiān)控實(shí)施中總行中間業(yè)務(wù)平臺(tái)（EBMP）有有有有有無(wú)新網(wǎng)絡(luò)銀行系統(tǒng)（NBANK）有有有有有交易渠道基金托管系統(tǒng)(FTS)有有有有有有第三方存管系統(tǒng)(IFTS)有有有有有交易渠道企業(yè)年金系統(tǒng)（EPAMS）有有有有改造后有交易渠道客戶(hù)信息統(tǒng)一管理系統(tǒng)(ECIF)有有有有有無(wú)信貸風(fēng)險(xiǎn)流程管理系統(tǒng)（CECM）有有有無(wú)有無(wú)市場(chǎng)風(fēng)險(xiǎn)管理系統(tǒng)(SUMMIT)有有有有有無(wú)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)及及其其采采集集使使用用：：交易易流流水水......數(shù)據(jù)據(jù)管管理理如如何何實(shí)實(shí)現(xiàn)現(xiàn)哪些些是是結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)哪些些是是非非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)：：運(yùn)行行產(chǎn)產(chǎn)生生的的各各類(lèi)類(lèi)日日志志【【靜靜態(tài)態(tài)】】運(yùn)行行過(guò)過(guò)程程中中產(chǎn)產(chǎn)生生的的各各類(lèi)類(lèi)日日志志為為非非結(jié)結(jié)構(gòu)構(gòu)化化特特性性數(shù)據(jù)據(jù)輸輸入入日志志的的結(jié)結(jié)構(gòu)構(gòu)化化程程度度很很低低日志志的的字字段段標(biāo)標(biāo)示示等等非非標(biāo)標(biāo)準(zhǔn)準(zhǔn)化化跨日日志志關(guān)關(guān)聯(lián)聯(lián)性性高高，，但但搜搜索索線(xiàn)線(xiàn)索索難難以以自自動(dòng)動(dòng)化化日志志生生成成的的形形式式多多種種多多樣樣（（文文件件名名不不定定））難以以采采集集、、歸歸檔檔、、查查詢(xún)?cè)兎菢?biāo)標(biāo)準(zhǔn)準(zhǔn)日日志志難難以以定定期期清清理理難以以保保證證日日志志的的完完整整性性難以以做做上上下下文文關(guān)關(guān)聯(lián)聯(lián)分分析析網(wǎng)絡(luò)端口監(jiān)聽(tīng)所有端口TCP/UDPsyslog,SNMP,IMAP,POP3,JMS計(jì)算機(jī)文件監(jiān)測(cè)運(yùn)行的文件批量上傳文件網(wǎng)絡(luò)，應(yīng)用，服務(wù)器和設(shè)備日志自定義腳本與APIs可設(shè)定測(cè)試WMI,perfmon,AD,LDAP,SQL/DBI,OPSEC,LEA,JMX,VMware,Powershell文件系統(tǒng)監(jiān)測(cè)系統(tǒng)的變化配置密碼文件關(guān)鍵性腳本與代碼13XX系系統(tǒng)統(tǒng)應(yīng)應(yīng)用用協(xié)協(xié)議議分分析析：：WTC+SOP是基基本本結(jié)結(jié)構(gòu)構(gòu)，，SOP內(nèi)還還封封裝裝其其他他協(xié)協(xié)議議封裝裝XML、封封裝裝~|~分隔隔的的key-valuepair非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)：：運(yùn)行行產(chǎn)產(chǎn)生生的的網(wǎng)網(wǎng)絡(luò)絡(luò)報(bào)報(bào)文文【【動(dòng)動(dòng)態(tài)態(tài)】】生產(chǎn)產(chǎn)環(huán)環(huán)境境中中的的各各類(lèi)類(lèi)數(shù)數(shù)據(jù)據(jù)的的關(guān)關(guān)聯(lián)聯(lián)性性、、多多樣樣性性、、復(fù)復(fù)雜雜性性短會(huì)會(huì)話(huà)話(huà)連連接接情情況況（標(biāo)標(biāo)準(zhǔn)準(zhǔn)輸輸出出））網(wǎng)絡(luò)絡(luò)報(bào)報(bào)文文系統(tǒng)統(tǒng)日日志志（（SYSLOG)WEB-SERVER日志志（（文文本本/XML））用戶(hù)戶(hù)打打開(kāi)開(kāi)頁(yè)頁(yè)面面詳細(xì)細(xì)記記錄錄（（文文本本））系統(tǒng)統(tǒng)日日志志（（SYSLOG)中間間件件日日志志（（文文本本，，每臺(tái)臺(tái)服服務(wù)務(wù)器器每每個(gè)個(gè)服服務(wù)務(wù)一個(gè)個(gè)））交易易日日志志（（group文文件件，每每臺(tái)臺(tái)服服務(wù)務(wù)器器50個(gè)個(gè)））程序序報(bào)報(bào)錯(cuò)錯(cuò)日日志志（（XML））系統(tǒng)統(tǒng)日日志志（（SYSLOG））數(shù)據(jù)據(jù)庫(kù)庫(kù)日日志志（（多多個(gè)文文本本））系統(tǒng)統(tǒng)日日志志（SYSLOG））數(shù)據(jù)據(jù)庫(kù)庫(kù)表表系統(tǒng)統(tǒng)間間會(huì)會(huì)話(huà)話(huà)網(wǎng)網(wǎng)絡(luò)絡(luò)報(bào)報(bào)文文、、交交易易報(bào)報(bào)文文、、文文本本日日志志、、數(shù)數(shù)據(jù)據(jù)庫(kù)庫(kù)流流水水目錄錄16銀行行數(shù)數(shù)據(jù)據(jù)全全生生命命周周期期管管理理探探討討1海量量非非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)特特點(diǎn)點(diǎn)及及使使用用2動(dòng)態(tài)態(tài)數(shù)數(shù)據(jù)據(jù)、、靜靜態(tài)態(tài)數(shù)數(shù)據(jù)據(jù)、、結(jié)結(jié)構(gòu)構(gòu)化化、、非非結(jié)結(jié)構(gòu)構(gòu)化化、、多多層層分分布布、、邏邏輯輯相相關(guān)關(guān)運(yùn)行行監(jiān)監(jiān)控控、、趨趨勢(shì)勢(shì)分分析析、、容容量量管管理理、、數(shù)數(shù)據(jù)據(jù)歸歸檔檔、、查查詢(xún)?cè)兘y(tǒng)統(tǒng)計(jì)計(jì)、、運(yùn)運(yùn)營(yíng)營(yíng)分分析析海量量非非結(jié)結(jié)構(gòu)構(gòu)化化數(shù)數(shù)據(jù)據(jù)技技術(shù)術(shù)要要點(diǎn)點(diǎn)與與實(shí)實(shí)現(xiàn)現(xiàn)3數(shù)據(jù)據(jù)分分類(lèi)類(lèi)及及采采集集日志志類(lèi)類(lèi)采采集集及及使使用用報(bào)文文類(lèi)類(lèi)采采集集及及使使用用根據(jù)據(jù)不不同同類(lèi)類(lèi)型型數(shù)數(shù)據(jù)據(jù)的的特特點(diǎn)點(diǎn)，，采采取取不不同同的的技技術(shù)術(shù)手手段段利用用Hadoop、Storm等主主流流大大數(shù)數(shù)據(jù)據(jù)技技術(shù)術(shù)，，采采集集歸歸檔檔并并分分析析海海量量非非結(jié)結(jié)構(gòu)構(gòu)化化日日志志，，可可完完成成跨跨層層面面跨跨節(jié)節(jié)點(diǎn)點(diǎn)的的多多維維度度查查詢(xún)?cè)兣c與分分析析；；網(wǎng)絡(luò)報(bào)文為動(dòng)動(dòng)態(tài)瞬時(shí)存在在數(shù)據(jù)，采集集、解讀、處處理難度大，，但數(shù)據(jù)為強(qiáng)強(qiáng)客觀性，分分析與利用價(jià)價(jià)值高；網(wǎng)絡(luò)交易報(bào)文利用GoldenGate等數(shù)據(jù)庫(kù)同步步技術(shù)采集結(jié)結(jié)構(gòu)化數(shù)據(jù)，，實(shí)現(xiàn)離線(xiàn)狀狀態(tài)下實(shí)時(shí)交交易性能分析析；非結(jié)構(gòu)化日志離線(xiàn)交易流水監(jiān)控預(yù)警運(yùn)營(yíng)分析業(yè)務(wù)支持18網(wǎng)絡(luò)交易報(bào)文采集交易協(xié)議標(biāo)準(zhǔn)、規(guī)范協(xié)議非加密網(wǎng)絡(luò)鏡像流量獲取方便網(wǎng)絡(luò)節(jié)點(diǎn)間交易監(jiān)控

應(yīng)用交易日志采集交易日志保存在文本文件中日志格式標(biāo)準(zhǔn)、規(guī)范對(duì)交易日志有歸檔查詢(xún)、故障診斷分析的需求交易流水鏡像采集交易流水內(nèi)容豐富交易流水信息保存在數(shù)據(jù)庫(kù)中

交易流水表以Inset操作為主采集方式適用場(chǎng)景根據(jù)不同類(lèi)型型數(shù)據(jù)的特點(diǎn)點(diǎn)，采取不同同的技術(shù)手段段19數(shù)據(jù)分類(lèi)及采采集日志類(lèi)采集及及使用報(bào)文類(lèi)采集及及使用日志類(lèi)數(shù)據(jù)采采集：生產(chǎn)日志分析析與監(jiān)控的需需求日志類(lèi)數(shù)據(jù)采采集：日志關(guān)鍵字分分析使用樣例例日志類(lèi)數(shù)據(jù)采采集：非結(jié)構(gòu)數(shù)據(jù)結(jié)結(jié)構(gòu)化的使用用數(shù)據(jù)分類(lèi)及采采集日志類(lèi)采集及及使用報(bào)文類(lèi)采集及及使用25網(wǎng)絡(luò)交換機(jī)流量交換機(jī)探針監(jiān)控服務(wù)器將流量通過(guò)網(wǎng)網(wǎng)絡(luò)交換機(jī)鏡鏡像端口鏡像像到流量交換換機(jī)流量過(guò)濾，報(bào)報(bào)文拆分不影響網(wǎng)絡(luò)運(yùn)運(yùn)行將二進(jìn)制流轉(zhuǎn)轉(zhuǎn)換為可讀的的Pcap包按照通訊協(xié)議議和報(bào)文格式式解包網(wǎng)絡(luò)交易報(bào)文文采集分析實(shí)實(shí)現(xiàn)原理25通過(guò)網(wǎng)絡(luò)報(bào)文文分析、提前前預(yù)警故障隱患前置->Connex上海前置->connex北京26通過(guò)網(wǎng)絡(luò)報(bào)文文分析、觀察察關(guān)鍵業(yè)務(wù)會(huì)會(huì)話(huà)狀態(tài)業(yè)務(wù)分析、創(chuàng)創(chuàng)新支持?jǐn)?shù)據(jù)歸檔、查查詢(xún)服務(wù)運(yùn)行采集、容容量管理估值預(yù)警、隱隱患分析綜合監(jiān)控、聚聚焦定位綜合采集使用用日志+報(bào)文+數(shù)據(jù)庫(kù)28運(yùn)行狀態(tài)綜合合展現(xiàn)：觀測(cè)發(fā)現(xiàn)、聚聚焦定位、診診斷分析服務(wù)臺(tái)視圖告警中心視圖圖告警大屏視圖圖交易視圖應(yīng)用關(guān)聯(lián)性視視圖交易詳情視圖圖交易路徑視圖圖資源使用視圖圖告警熱度圖會(huì)話(huà)性能視圖圖一線(xiàn)視圖二線(xiàn)視圖通過(guò)各種視圖圖有效運(yùn)用，，能夠把監(jiān)控控系統(tǒng)采集到到的各類(lèi)數(shù)據(jù)據(jù)，展示給不不同角色的用用戶(hù)，在日常常運(yùn)維、重保保值守，故障障影響分析、、故障定向定定位等方面發(fā)發(fā)揮重要作用用。29系統(tǒng)容量數(shù)據(jù)據(jù)采集：系統(tǒng)數(shù)據(jù)、應(yīng)應(yīng)用數(shù)據(jù)、交交易數(shù)據(jù)31歷史數(shù)據(jù)綜合合查詢(xún)：海量歸檔、轉(zhuǎn)轉(zhuǎn)結(jié)構(gòu)化、多多維查詢(xún)32業(yè)務(wù)運(yùn)行狀態(tài)態(tài)分析：業(yè)務(wù)類(lèi)型分布布、業(yè)務(wù)類(lèi)型型趨勢(shì)用戶(hù)行為分析析：操作行為、過(guò)過(guò)程行為、結(jié)結(jié)果選擇目錄34銀行數(shù)據(jù)全生生命周期管理理探討1海量非結(jié)構(gòu)化化數(shù)據(jù)特點(diǎn)及及使用2采集與傳輸、、歸檔與處理理、查詢(xún)與統(tǒng)統(tǒng)計(jì)、分析與與展現(xiàn)、集成成與運(yùn)用采集的復(fù)雜性性、傳輸?shù)目煽煽啃?、處理理的高效性、、結(jié)構(gòu)化能力力..........海量非結(jié)構(gòu)化化數(shù)據(jù)技術(shù)要要點(diǎn)與實(shí)現(xiàn)335類(lèi)型采集方式日志來(lái)源管理目標(biāo)歸檔周期過(guò)期處理備注syslogsyslogTCPsyslogUDP網(wǎng)絡(luò)采集，查詢(xún)，歸檔6個(gè)月銷(xiāo)毀記錄采集時(shí)間，日志發(fā)生時(shí)間。加工采集數(shù)據(jù)。防火墻webServerAPP服務(wù)器DBServerOracle-tracetailDB采集，查詢(xún)，歸檔，實(shí)時(shí)監(jiān)控6個(gè)月銷(xiāo)毀文本tailwebServer采集，查詢(xún)，歸檔，實(shí)時(shí)監(jiān)控12個(gè)月留存中間件應(yīng)用日志性能tailOVO采集，查詢(xún)，實(shí)時(shí)監(jiān)控1個(gè)月銷(xiāo)毀ITM事件tailOMNIBUS采集，查詢(xún)，實(shí)時(shí)監(jiān)控，歸檔6個(gè)月銷(xiāo)毀資產(chǎn)tail交易流水采集，查詢(xún)，實(shí)時(shí)監(jiān)控，歸檔12個(gè)月留存統(tǒng)一監(jiān)控平臺(tái)網(wǎng)絡(luò)報(bào)文tailBPC采集，查詢(xún)，實(shí)時(shí)監(jiān)控，歸檔6個(gè)月銷(xiāo)毀WRT技術(shù)要點(diǎn)與實(shí)實(shí)現(xiàn)架構(gòu)：明確數(shù)據(jù)對(duì)象象、設(shè)計(jì)技術(shù)術(shù)手段日志類(lèi)采集技技術(shù)要點(diǎn)網(wǎng)絡(luò)報(bào)文采集集技術(shù)要點(diǎn)數(shù)據(jù)整體管理理與展現(xiàn)采集與傳輸：采集：根據(jù)業(yè)務(wù)、、運(yùn)維、監(jiān)控控、審計(jì)的需需要，能夠按按照關(guān)聯(lián)性、完整整性、統(tǒng)計(jì)性性等要求，采集集各技術(shù)層面、、各類(lèi)生產(chǎn)環(huán)環(huán)境、各中類(lèi)類(lèi)型的生產(chǎn)日志；；傳輸：能夠?qū)⒉杉降母黝?lèi)日日志，按照要要求（是否可可丟失），安安全、穩(wěn)定、、可靠的進(jìn)行行傳輸，傳送送到日志采集集服務(wù)器；歸檔與查詢(xún)：歸檔：將采集到的的各類(lèi)日志，，按照系統(tǒng)、模塊、、節(jié)點(diǎn)等架構(gòu)構(gòu)規(guī)則，采集時(shí)間、保保存周期等周周期規(guī)則，業(yè)務(wù)、系統(tǒng)等等屬性規(guī)則，進(jìn)行多維度度歸檔與備份份；查詢(xún)：按照歸檔的的多維度屬性性，能夠進(jìn)行行跨系統(tǒng)、跨跨節(jié)點(diǎn)、跨文文件綜合查詢(xún)?cè)?；分析與使用：分析：針對(duì)非結(jié)構(gòu)構(gòu)化數(shù)據(jù)，能能夠完成各類(lèi)類(lèi)邏輯分析（（如：周期內(nèi)內(nèi)同一事件的的發(fā)生次數(shù)、、比例等）使用：根據(jù)分析規(guī)規(guī)則，能夠產(chǎn)產(chǎn)生各類(lèi)、各各級(jí)報(bào)警信息息，并集成到到監(jiān)控系統(tǒng)，，提供業(yè)務(wù)運(yùn)運(yùn)行狀態(tài)實(shí)時(shí)時(shí)數(shù)據(jù)及分析析結(jié)果，提供供業(yè)務(wù)運(yùn)行特特征分析結(jié)果果；日志類(lèi)數(shù)據(jù)采采集關(guān)鍵技術(shù)術(shù)要點(diǎn)虛擬設(shè)備VS管道程序開(kāi)發(fā)和移植方方面：管道兼容普普通LINUX及類(lèi)UNIX系統(tǒng)，而設(shè)備備方式除了linux通用外，每一一個(gè)UNIX都是一套新的的設(shè)備程序。。日志采集能力力方面：設(shè)備方式可可以采集任何何寫(xiě)入文件的的日志，而管管道方式只能能采集”a+”(無(wú)文件則創(chuàng)建建，有文件則則追加)文件。日志采集范圍圍方面：設(shè)備方式是是一個(gè)設(shè)備可可以采集該操操作系統(tǒng)上所所有應(yīng)用日志志，而管道方方式，每多一一個(gè)日志文件件，必須對(duì)應(yīng)應(yīng)多增加一個(gè)個(gè)進(jìn)程或線(xiàn)程程來(lái)采集。在不修改應(yīng)用用系統(tǒng)的情況況下，采集各各類(lèi)日志：固定文件名、、時(shí)間變量文文件、名稱(chēng)變變量、路徑變變化、目錄下下新增日志................38虛擬設(shè)備日志志采集方式開(kāi)始記錄日志系統(tǒng)VFS日志文件設(shè)備控制信息息攔截write日志輸出設(shè)置攔截路徑徑開(kāi)啟/關(guān)閉采集應(yīng)用虛擬設(shè)備配置控制程序序攔截syslog控制其他相關(guān)設(shè)置置管道程序采集集日志方式開(kāi)始打開(kāi)日志文件件(管道文件)寫(xiě)入日志(管道文件)建立日志文件件(管道文件)讀取日志文件件(管道文件)日志輸出應(yīng)用管道程序讀取管道syslog采集系統(tǒng)Data->IP：日志文件全全路徑Ip+地址Ip+地址MappingHadoop塊塊塊塊App標(biāo)識(shí)塊塊塊塊App標(biāo)識(shí)塊塊塊塊App標(biāo)識(shí)HDFSm\r()NameNode/應(yīng)用1應(yīng)用2應(yīng)用3….日志的歸檔與與索引大數(shù)據(jù)平臺(tái)-邏輯架構(gòu)Flume：是Cloudera提供的一個(gè)高高可用的、高高可靠的、分分布式的海量量日志采集、、聚合和傳輸輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系系統(tǒng)中定制各各類(lèi)數(shù)據(jù)發(fā)送送方，用于收收集數(shù)據(jù)；同同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)進(jìn)行簡(jiǎn)單處理理，并寫(xiě)到各各種數(shù)據(jù)接受受方（可定制制）的能力。。42大數(shù)據(jù)平臺(tái)-邏輯架構(gòu)Kafka是由LinkedIn開(kāi)發(fā)，主要是是用來(lái)處理LinkedIn的大面積活躍躍數(shù)據(jù)流處理理(activitystream)1.可持久化消息息2．目標(biāo)是高流流量處理3．消費(fèi)費(fèi)狀態(tài)態(tài)信息息并不不保存存在服服務(wù)端端，而而是保保存在在消費(fèi)費(fèi)端4．支持持分布布式。。43大數(shù)據(jù)據(jù)平臺(tái)臺(tái)-邏輯架架構(gòu)Storm：是一一套分分布式式的、、可靠靠的，，可容容錯(cuò)的的用于于處理理流式式數(shù)據(jù)據(jù)的系系統(tǒng)。。處理理工作作會(huì)被被委派派給不不同的的任務(wù)務(wù)處理理組件件，每每個(gè)組組件負(fù)負(fù)責(zé)一一項(xiàng)簡(jiǎn)簡(jiǎn)單的的、特特定的的處理理任務(wù)務(wù)。44大數(shù)據(jù)據(jù)平臺(tái)臺(tái)-邏輯架架構(gòu)Hadoop：：是是一種種可靠靠、高高效、、可伸伸縮的的數(shù)據(jù)據(jù)處理理平臺(tái)臺(tái)。Hadoop是是可可靠的的，因因?yàn)樗僭O(shè)設(shè)計(jì)算算元素素和存存儲(chǔ)會(huì)會(huì)失敗敗，因因此它它維護(hù)護(hù)多個(gè)個(gè)工作作數(shù)據(jù)據(jù)副本本，確確保能能夠針針對(duì)失失敗的的節(jié)點(diǎn)點(diǎn)重新新分布布處理理。Hadoop是是高效效的，，因?yàn)闉樗砸圆⑿行械姆椒绞焦すぷ?，，通過(guò)過(guò)并行行處理理加快快處理理速度度。Hadoop還還是是可伸伸縮的的，能能夠處處理PB級(jí)級(jí)數(shù)據(jù)據(jù)。此此外，，Hadoop依賴(lài)賴(lài)于普普通的的服務(wù)務(wù)器，，因此此它的的成本本比較較低。。45日志類(lèi)類(lèi)采集集技術(shù)術(shù)要點(diǎn)點(diǎn)網(wǎng)絡(luò)報(bào)報(bào)文采采集技技術(shù)要要點(diǎn)數(shù)據(jù)整整體管管理與與展現(xiàn)現(xiàn)確認(rèn)應(yīng)用協(xié)議類(lèi)型暫未支持的協(xié)議獲取協(xié)議規(guī)范理解應(yīng)用報(bào)文編碼和封裝方式等獲取樣本數(shù)據(jù)包逐一比對(duì)和驗(yàn)證解碼已支持的協(xié)議修改配置文件實(shí)施開(kāi)發(fā)解解碼程程序SOA中廣泛泛使用用的協(xié)協(xié)議：：XML、SOAP、XML_over_TCP、Java序列化化傳輸輸（RMI、Socket、EJB、JMS）、JSON、BSON等金融行行業(yè)常常用協(xié)協(xié)議：：8583類(lèi)、IFXforATM/POS、SNA、CICS(http封裝)、WAS(soap/jms)、WESB/WMB(soap/jms)、DB2_DRDA、OracleTNS、CUPS、VISA、Mastercard、AE、JCB、三大大運(yùn)營(yíng)營(yíng)商短短信、、Flexcube（核心心銀行行）、、TATABancs（核心心銀行行）、、FiServe（核心心銀行行）、、先進(jìn)進(jìn)數(shù)通通前置置、天天源迪迪科ESB、上交交所新新一代代等網(wǎng)絡(luò)報(bào)報(bào)文分分析：：應(yīng)用用協(xié)議議及交交易4748應(yīng)用報(bào)報(bào)文應(yīng)用報(bào)文TCP報(bào)頭IP報(bào)頭幀頭幀尾SOP/XML報(bào)文報(bào)文解解析過(guò)過(guò)程讀取交交易代代碼、、返回回碼。。計(jì)算交交易量量，響響應(yīng)時(shí)時(shí)間、、成功功率、、響應(yīng)應(yīng)率request應(yīng)用報(bào)文TCP報(bào)頭IP報(bào)頭幀頭幀尾應(yīng)用報(bào)文TCP報(bào)頭IP報(bào)頭應(yīng)用報(bào)文TCP報(bào)頭網(wǎng)絡(luò)報(bào)報(bào)文分分析：：應(yīng)用協(xié)協(xié)議及及交易易解碼碼分析析系統(tǒng)信息頭的格式如下：（55bytes）數(shù)據(jù)包長(zhǎng)度

（SHJBCD） unsignedshort(2)報(bào)文MAC (BAWMAC) char(16)MAC機(jī)構(gòu)號(hào) MACJGHchar(4) PIN種子 PINZHZ char(16) 目標(biāo)地址(YNDIZH) unsignedchar(4) 源地址(MBIODZ) unsignedchar(4) …..前臺(tái)日期 QANTRQ char(8)根據(jù)報(bào)文規(guī)范中規(guī)定的長(zhǎng)度和編碼等信息，對(duì)數(shù)據(jù)包payload中對(duì)應(yīng)位置的數(shù)據(jù)進(jìn)行解碼，并驗(yàn)證正確性，例如最前面兩個(gè)字節(jié)按照規(guī)定應(yīng)該是報(bào)文長(zhǎng)度，這段報(bào)文中是00B2，是短整型，轉(zhuǎn)換成十進(jìn)制是178，與真實(shí)的payload長(zhǎng)度178對(duì)應(yīng)。49日志類(lèi)類(lèi)采集集技術(shù)術(shù)要點(diǎn)點(diǎn)網(wǎng)絡(luò)報(bào)報(bào)文采采集技技術(shù)要要點(diǎn)數(shù)據(jù)整整體管管理與與展現(xiàn)現(xiàn)運(yùn)維數(shù)數(shù)據(jù)采采集與與運(yùn)用用整體體技術(shù)術(shù)架構(gòu)構(gòu)通過(guò)配配套方方式將將各類(lèi)類(lèi)數(shù)據(jù)據(jù)轉(zhuǎn)換換為SysLog和GroupLog等形式式，轉(zhuǎn)轉(zhuǎn)發(fā)到到采集集機(jī)。。Flume負(fù)責(zé)采采集日日志數(shù)數(shù)據(jù)，，并把把數(shù)據(jù)據(jù)發(fā)送送給Kafka。Storm負(fù)責(zé)對(duì)對(duì)日志志進(jìn)行行實(shí)時(shí)時(shí)計(jì)算算。Hadoop負(fù)責(zé)對(duì)對(duì)日志志歸檔檔，離離線(xiàn)計(jì)計(jì)算。ElasticSearch負(fù)責(zé)創(chuàng)創(chuàng)建實(shí)實(shí)時(shí)查查詢(xún)索索引，，提供供實(shí)時(shí)時(shí)查詢(xún)?cè)児δ苣堋?1感謝交交流哈爾濱濱銀行行姜姜巖9、靜靜夜夜四四無(wú)無(wú)鄰鄰，，荒荒居居舊舊業(yè)業(yè)貧貧。。。。12月月-2212月月-22Sunday,December25,202210、雨中黃黃葉樹(shù)，，燈下白白頭人。。。04:17:4704:17:4704:1712/25/20224:17:47AM11、以我獨(dú)獨(dú)沈久，，愧君相相見(jiàn)頻。。。12月-2204:17:4704:17Dec-2225-Dec-2212、故人江江海別，，幾度隔隔山川。。。04:17:4704:17:4704:17Sunday,December25,202213、乍見(jiàn)見(jiàn)翻疑疑夢(mèng)，，相悲悲各問(wèn)問(wèn)年。。。12月月-2212月月-2204:17:4704:17:47December25,202214、他鄉(xiāng)鄉(xiāng)生白白發(fā)，，舊國(guó)國(guó)見(jiàn)青青山。。。25十十二二月20224:17:47上上午04:17:4712月月-2215、比不不了得得就不不比，，得不不到的的就不不要。。。。。十二月月224:17上上午午12月-2204:17December25,202216、行動(dòng)出成成果，工作作出財(cái)富。。。2022/12/254:17:4704:17:4725December202217、做前，能能夠環(huán)視四四周；做時(shí)時(shí)，你只能能或者最好好沿著以腳腳為起點(diǎn)的的射線(xiàn)向前前。。4:17:47上上午4:17上上午04:17:4712月-229、沒(méi)有失敗敗，只有暫暫時(shí)停止成成功！。12月-2212月-22Sunday,December25,202210、很多事情情努力了未未必有結(jié)果果，但是不不努力卻什什么改變也也沒(méi)有。。。04:17:4704:17:4704:1712/25/20224:17:47AM11、成功就就是日復(fù)復(fù)一日那那一點(diǎn)點(diǎn)點(diǎn)小小努努力的積積累。。。12月-2204:17:4704:17Dec-2225-Dec-2212、世間成成事，不不求其絕絕對(duì)圓滿(mǎn)滿(mǎn)，留一一份不足足，可得得無(wú)限完完美。。。04:17:4704:17:4704:17Sunday,December25,202213、不知香積寺寺，數(shù)里入云云峰。。12月-2212月-2204:17:4704:17:47December25,202214、意志堅(jiān)強(qiáng)的的人能把世界界放在手中像像泥塊一樣任任意揉捏。25十二月月20224:17:47上午04:17:4712月-2215、楚塞三湘接接，荊門(mén)九派派通。。。十二月224:17上上午12月-220