海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)在運(yùn)營(yíng)管理中的運(yùn)用ppt課件

1、海量非構(gòu)造化數(shù)據(jù)處置技術(shù)在運(yùn)營(yíng)管理中的運(yùn)用大數(shù)據(jù)很有價(jià)值，但數(shù)據(jù)獲取很關(guān)鍵目錄2銀行數(shù)據(jù)全生命周期管理討論1海量非構(gòu)造化數(shù)據(jù)特點(diǎn)及運(yùn)用2規(guī)劃、設(shè)計(jì)、線上、近線、離線、下線、調(diào)閱、銷毀？構(gòu)造化數(shù)據(jù)是哪些，非構(gòu)造化數(shù)據(jù)是哪些，如何獲取？海量非構(gòu)造化數(shù)據(jù)技術(shù)要點(diǎn)與實(shí)現(xiàn)3銀行數(shù)據(jù)全生命周期管理-系統(tǒng)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)設(shè)計(jì)階段落實(shí)數(shù)據(jù)管理：投產(chǎn)前明確數(shù)據(jù)管控手段：消費(fèi)數(shù)據(jù)管理備份與歸檔：歷史數(shù)據(jù)調(diào)用分析運(yùn)用：提出運(yùn)用系統(tǒng)數(shù)據(jù)管理規(guī)范定義運(yùn)用系統(tǒng)數(shù)據(jù)管理協(xié)議明確不同類型數(shù)據(jù)的管控手段定義控制維護(hù)運(yùn)用明確各類數(shù)據(jù)的特性確定各類數(shù)據(jù)的存在環(huán)境系統(tǒng)及業(yè)務(wù)數(shù)據(jù)的采集方式設(shè)計(jì)各類數(shù)據(jù)的備份與恢復(fù)消費(fèi)數(shù)據(jù)性能及容量管理消

2、費(fèi)數(shù)據(jù)的備份與歸檔數(shù)據(jù)在線、近線、下線管理備份數(shù)據(jù)有效性驗(yàn)證與管理系統(tǒng)數(shù)據(jù)監(jiān)控與分析業(yè)務(wù)數(shù)據(jù)的調(diào)用與登記業(yè)務(wù)數(shù)據(jù)的翻新與備份3銀行數(shù)據(jù)全生命周期管理目的數(shù)據(jù)規(guī)劃數(shù)據(jù)消費(fèi)數(shù)據(jù)管理數(shù)據(jù)運(yùn)用 數(shù)據(jù)特性識(shí)別 運(yùn)用規(guī)劃設(shè)計(jì) 備份需求確認(rèn) 運(yùn)用周期確定 技術(shù)手段落實(shí)消費(fèi)形狀監(jiān)控運(yùn)轉(zhuǎn)趨勢(shì)分析整體容量管理歷史數(shù)據(jù)調(diào)閱運(yùn)營(yíng)情況分析業(yè)務(wù)創(chuàng)新支持?jǐn)?shù)據(jù)管理 在線消費(fèi)數(shù)據(jù)監(jiān)控采集 近線查詢數(shù)據(jù)歸檔處置 離線歸檔數(shù)據(jù)備份分析 數(shù)據(jù)分析結(jié)果綜合運(yùn)用數(shù)據(jù)采集管理數(shù)據(jù)加工處置備份方案管理備份操作執(zhí)行 介質(zhì)歸檔管理備份周期管理科技效力之一：構(gòu)造化/非構(gòu)造化數(shù)據(jù)的全生命周期管理與運(yùn)用4數(shù)據(jù)管理如何實(shí)現(xiàn)哪些是構(gòu)造化數(shù)據(jù)哪些是非構(gòu)造化

3、數(shù)據(jù)銀行各類數(shù)據(jù)的產(chǎn)生、分布、形狀、用途.根底運(yùn)轉(zhuǎn)產(chǎn)生技術(shù)相關(guān)數(shù)據(jù)業(yè)務(wù)執(zhí)行產(chǎn)生動(dòng)態(tài)與靜態(tài)數(shù)據(jù)信息操作平安賬務(wù)銀行單筆業(yè)務(wù)的執(zhí)行，引起整體架構(gòu)各層面產(chǎn)生各類關(guān)聯(lián)性數(shù)據(jù)審計(jì)平安事故缺點(diǎn)單接入網(wǎng)絡(luò)效力器存儲(chǔ)規(guī)范開(kāi)展變卦管理虛擬化平安運(yùn)用分析哪里存在數(shù)據(jù)、什么方式、特征如何、如何管理、如何運(yùn)用運(yùn)用系統(tǒng)數(shù)據(jù)管理協(xié)議、日志輸出規(guī)范化.有效運(yùn)用各類數(shù)據(jù)的根底是對(duì)其進(jìn)展全程管理與控制7業(yè)務(wù)標(biāo)識(shí)設(shè)計(jì)：為業(yè)務(wù)全程分析埋下“線索、染色懇求：懇求發(fā)起端，超時(shí)、勝利率銜接網(wǎng)絡(luò)轉(zhuǎn)發(fā)、動(dòng)態(tài)分配，后端形狀轉(zhuǎn)換快速轉(zhuǎn)接、轉(zhuǎn)換，能否有堵塞效力業(yè)務(wù)效力原子買賣，速度、可靠短銜接：資源共用、容量大、銜接耗時(shí)，關(guān)注異常動(dòng)搖長(zhǎng)銜接：資源

4、公用、效率高，關(guān)注超時(shí)及掛起形狀系統(tǒng)間會(huì)話業(yè)務(wù)流程單系統(tǒng)買賣業(yè)務(wù)標(biāo)識(shí)：可用于缺點(diǎn)定位、容量系數(shù)、業(yè)務(wù)分析.89銀行數(shù)據(jù)生命周期管理：從源頭控制與實(shí)施日志規(guī)范化日志分類：運(yùn)用系統(tǒng)，應(yīng)將買賣流水日志、系統(tǒng)debug日志，系統(tǒng)報(bào)錯(cuò)日志日志分級(jí)：各類日志應(yīng)設(shè)置級(jí)別控制，經(jīng)過(guò)動(dòng)態(tài)開(kāi)關(guān)，控制日志寫出的粒度日志格式：各類運(yùn)用日志，尤其是系統(tǒng)報(bào)錯(cuò)日志，應(yīng)遵守一致的格式要求日志傳輸：日志寫出并傳輸?shù)姆绞剑瑧?yīng)采用全行一致的傳輸方式買賣報(bào)文規(guī)范化一致買賣標(biāo)識(shí)：全行一致的買賣標(biāo)識(shí)，在多系統(tǒng)中傳輸，便于監(jiān)控和缺點(diǎn)診斷報(bào)文加密戰(zhàn)略：對(duì)中間件、運(yùn)用效力器的報(bào)文加密進(jìn)展一致規(guī)定數(shù)據(jù)管理根底：構(gòu)造化/非構(gòu)造化數(shù)據(jù)可采集、可加工

5、、可分析利用9數(shù)據(jù)管理如何實(shí)現(xiàn)哪些是構(gòu)造化數(shù)據(jù)哪些是非構(gòu)造化數(shù)據(jù)A Composite Web Application, Involving J2EE, Integration Middleware and Legacy Systems 系統(tǒng)名稱是否含有下列內(nèi)容交易流水表交易代碼交易日期交易時(shí)間交易狀態(tài)分類統(tǒng)計(jì)圖形化前端管理系統(tǒng)(GTS)有有有有有分行號(hào)理財(cái)產(chǎn)品銷售系統(tǒng)（FUND）有有有有有有電子支付平臺(tái)（EPAY）有有有有有無(wú)外匯買賣系統(tǒng)（EXCH）有有有有有無(wú)動(dòng)態(tài)口令集中認(rèn)證管理平臺(tái)(OPT)有有有有有渠道現(xiàn)金管理系統(tǒng)（CaMS）有有有有有有手機(jī)銀行（CEMB）有有有有有登錄方式短信平臺(tái)系

6、統(tǒng)(MSG)有有在同一字段內(nèi)有運(yùn)營(yíng)商貴金屬交易系統(tǒng)(GOLD)有有有有有無(wú)核心業(yè)務(wù)系統(tǒng)（ECAS）有有有有有業(yè)務(wù)種類Call-Center系統(tǒng)(CCS)有有有有有交易種類總行大前置系統(tǒng)（EBIP）前置二期監(jiān)控實(shí)施中總行中間業(yè)務(wù)平臺(tái)（EBMP）有有有有有無(wú)新網(wǎng)絡(luò)銀行系統(tǒng)（NBANK）有有有有有交易渠道基金托管系統(tǒng)(FTS)有有有有有有第三方存管系統(tǒng)(IFTS)有有有有有交易渠道企業(yè)年金系統(tǒng)（EPAMS）有有有有改造后有交易渠道客戶信息統(tǒng)一管理系統(tǒng)(ECIF)有有有有有無(wú)信貸風(fēng)險(xiǎn)流程管理系統(tǒng)（CECM）有有有無(wú)有無(wú)市場(chǎng)風(fēng)險(xiǎn)管理系統(tǒng)(SUMMIT)有有有有有無(wú)構(gòu)造化數(shù)據(jù)及其采集運(yùn)用：買賣流水.數(shù)據(jù)管

7、理如何實(shí)現(xiàn)哪些是構(gòu)造化數(shù)據(jù)哪些是非構(gòu)造化數(shù)據(jù)非構(gòu)造化數(shù)據(jù)：運(yùn)轉(zhuǎn)產(chǎn)生的各類日志【靜態(tài)】運(yùn)轉(zhuǎn)過(guò)程中產(chǎn)生的各類日志為非構(gòu)造化特性數(shù)據(jù)輸入日志的構(gòu)造化程度很低日志的字段標(biāo)示等非規(guī)范化跨日志關(guān)聯(lián)性高，但搜索線索難以自動(dòng)化日志生成的方式多種多樣文件名不定難以采集、歸檔、查詢非規(guī)范日志難以定期清理難以保證日志的完好性難以做上下文關(guān)聯(lián)分析網(wǎng)絡(luò)端口監(jiān)聽(tīng)一切端口TCP/UDPsyslog, SNMP, IMAP, POP3, JMS計(jì)算機(jī)文件監(jiān)測(cè)運(yùn)轉(zhuǎn)的文件批量上傳文件網(wǎng)絡(luò)，運(yùn)用，效力器和設(shè)備日志自定義腳本與APIs可設(shè)定測(cè)試WMI, perfmon, AD, LDAP, SQL/DBI, OPSEC, LEA,

8、JMX, VMware, Powershell文件系統(tǒng)監(jiān)測(cè)系統(tǒng)的變化配置密碼文件關(guān)鍵性腳本與代碼13XX系統(tǒng)運(yùn)用協(xié)議分析：WTC+SOP是根本構(gòu)造，SOP內(nèi)還封裝其他協(xié)議封裝XML、封裝|分隔的key-value pair非構(gòu)造化數(shù)據(jù)：運(yùn)轉(zhuǎn)產(chǎn)生的網(wǎng)絡(luò)報(bào)文【動(dòng)態(tài)】消費(fèi)環(huán)境中的各類數(shù)據(jù)的關(guān)聯(lián)性、多樣性、復(fù)雜性短會(huì)話銜接情況規(guī)范輸出網(wǎng)絡(luò)報(bào)文系統(tǒng)日志SYSLOG)WEB-SERVER日志文本/XML用戶翻開(kāi)頁(yè)面詳細(xì)記錄文本系統(tǒng)日志SYSLOG)中間件日志文本，每臺(tái)效力器每個(gè)效力一個(gè)買賣日志group文件，每臺(tái)效力器50個(gè)程序報(bào)錯(cuò)日志XML系統(tǒng)日志SYSLOG數(shù)據(jù)庫(kù)日志多個(gè)文本系統(tǒng)日志SYSLOG數(shù)據(jù)庫(kù)

9、表系統(tǒng)間會(huì)話網(wǎng)絡(luò)報(bào)文、買賣報(bào)文、文本日志、數(shù)據(jù)庫(kù)流水目錄16銀行數(shù)據(jù)全生命周期管理討論1海量非構(gòu)造化數(shù)據(jù)特點(diǎn)及運(yùn)用2動(dòng)態(tài)數(shù)據(jù)、靜態(tài)數(shù)據(jù)、構(gòu)造化、非構(gòu)造化、多層分布、邏輯相關(guān)運(yùn)轉(zhuǎn)監(jiān)控、趨勢(shì)分析、容量管理、數(shù)據(jù)歸檔、查詢統(tǒng)計(jì)、運(yùn)營(yíng)分析海量非構(gòu)造化數(shù)據(jù)技術(shù)要點(diǎn)與實(shí)現(xiàn)3數(shù)據(jù)分類及采集日志類采集及運(yùn)用報(bào)文類采集及運(yùn)用根據(jù)不同類型數(shù)據(jù)的特點(diǎn)，采取不同的技術(shù)手段利用Hadoop、Storm等主流大數(shù)據(jù)技術(shù)，采集歸檔并分析海量非構(gòu)造化日志，可完成跨層面跨節(jié)點(diǎn)的多維度查詢與分析；網(wǎng)絡(luò)報(bào)文為動(dòng)態(tài)瞬時(shí)存在數(shù)據(jù)，采集、解讀、處置難度大，但數(shù)據(jù)為強(qiáng)客觀性，分析與利用價(jià)值高；網(wǎng)絡(luò)買賣報(bào)文利用GoldenGate等數(shù)據(jù)庫(kù)同

10、步技術(shù)采集構(gòu)造化數(shù)據(jù)，實(shí)現(xiàn)離線形狀下實(shí)時(shí)買賣性能分析；非構(gòu)造化日志離線買賣流水監(jiān)控預(yù)警運(yùn)營(yíng)分析業(yè)務(wù)支持18網(wǎng)絡(luò)買賣報(bào)文采集買賣協(xié)議規(guī)范、規(guī)范協(xié)議非加密網(wǎng)絡(luò)鏡像流量獲取方便網(wǎng)絡(luò)節(jié)點(diǎn)間買賣監(jiān)控 運(yùn)用買賣日志采集買賣日志保管在文本文件中日志格式規(guī)范、規(guī)范對(duì)買賣日志有歸檔查詢、缺點(diǎn)診斷分析的需求買賣流水鏡像采集買賣流水內(nèi)容豐富買賣流水信息保管在數(shù)據(jù)庫(kù)中 買賣流水表以Inset操作為主采集方式適用場(chǎng)景根據(jù)不同類型數(shù)據(jù)的特點(diǎn)，采取不同的技術(shù)手段19數(shù)據(jù)分類及采集日志類采集及運(yùn)用報(bào)文類采集及運(yùn)用日志類數(shù)據(jù)采集：消費(fèi)日志分析與監(jiān)控的需求日志類數(shù)據(jù)采集：日志關(guān)鍵字分析運(yùn)用樣例日志類數(shù)據(jù)采集：非構(gòu)造數(shù)據(jù)構(gòu)造化的運(yùn)

11、用數(shù)據(jù)分類及采集日志類采集及運(yùn)用報(bào)文類采集及運(yùn)用25網(wǎng)絡(luò)交換機(jī)流量交換機(jī)探針監(jiān)控效力器將流量經(jīng)過(guò)網(wǎng)絡(luò)交換機(jī)鏡像端口鏡像到流量交換機(jī)流量過(guò)濾，報(bào)文拆分不影響網(wǎng)絡(luò)運(yùn)轉(zhuǎn)將二進(jìn)制流轉(zhuǎn)換為可讀的Pcap包按照通訊協(xié)議和報(bào)文格式解包網(wǎng)絡(luò)買賣報(bào)文采集分析實(shí)現(xiàn)原理25經(jīng)過(guò)網(wǎng)絡(luò)報(bào)文分析、提早預(yù)警缺點(diǎn)隱患前置-Connex上海 前置-connex北京26經(jīng)過(guò)網(wǎng)絡(luò)報(bào)文分析、察看關(guān)鍵業(yè)務(wù)會(huì)話形狀業(yè)務(wù)分析、創(chuàng)新支持?jǐn)?shù)據(jù)歸檔、查詢效力運(yùn)轉(zhuǎn)采集、容量管理估值預(yù)警、隱患分析綜合監(jiān)控、聚焦定位綜合采集運(yùn)用日志+報(bào)文+數(shù)據(jù)庫(kù)28運(yùn)轉(zhuǎn)形狀綜合展現(xiàn)：觀測(cè)發(fā)現(xiàn)、聚焦定位、診斷分析效力臺(tái)視圖告警中心視圖告警大屏視圖買賣視圖運(yùn)用關(guān)聯(lián)性視圖

12、買賣概略視圖買賣途徑視圖資源運(yùn)用視圖告警熱度圖會(huì)話性能視圖一線視圖二線視圖 經(jīng)過(guò)各種視圖有效運(yùn)用，可以把監(jiān)控系統(tǒng)采集到的各類數(shù)據(jù)，展現(xiàn)給不同角色的用戶，在日常運(yùn)維、重保值守，缺點(diǎn)影響分析、缺點(diǎn)定向定位等方面發(fā)揚(yáng)重要作用。29系統(tǒng)容量數(shù)據(jù)采集：系統(tǒng)數(shù)據(jù)、運(yùn)用數(shù)據(jù)、買賣數(shù)據(jù)31歷史數(shù)據(jù)綜合查詢：海量歸檔、轉(zhuǎn)構(gòu)造化、多維查詢32業(yè)務(wù)運(yùn)轉(zhuǎn)形狀分析：業(yè)務(wù)類型分布、業(yè)務(wù)類型趨勢(shì)用戶行為分析：操作行為、過(guò)程行為、結(jié)果選擇目錄34銀行數(shù)據(jù)全生命周期管理討論1海量非構(gòu)造化數(shù)據(jù)特點(diǎn)及運(yùn)用2采集與傳輸、歸檔與處置、查詢與統(tǒng)計(jì)、分析與展現(xiàn)、集成與運(yùn)用采集的復(fù)雜性、傳輸?shù)目煽啃?、處置的高效性、?gòu)造化才干.海量非構(gòu)造化數(shù)

13、據(jù)技術(shù)要點(diǎn)與實(shí)現(xiàn)335類型采集方式日志來(lái)源管理目標(biāo)歸檔周期過(guò)期處理備注syslogsyslogTCPsyslogUDP網(wǎng)絡(luò)采集，查詢，歸檔6個(gè)月銷毀記錄采集時(shí)間，日志發(fā)生時(shí)間。加工采集數(shù)據(jù)。防火墻webServerAPP服務(wù)器DBServerOracle-tracetailDB采集，查詢，歸檔，實(shí)時(shí)監(jiān)控6個(gè)月銷毀文本tailwebServer采集，查詢，歸檔，實(shí)時(shí)監(jiān)控12個(gè)月留存中間件應(yīng)用日志性能tailOVO采集，查詢，實(shí)時(shí)監(jiān)控1個(gè)月銷毀ITM事件tailOMNIBUS采集，查詢，實(shí)時(shí)監(jiān)控，歸檔6個(gè)月銷毀資產(chǎn)tail交易流水采集，查詢，實(shí)時(shí)監(jiān)控，歸檔12個(gè)月留存統(tǒng)一監(jiān)控平臺(tái)網(wǎng)絡(luò)報(bào)文tailB

14、PC采集，查詢，實(shí)時(shí)監(jiān)控，歸檔6個(gè)月銷毀WRT技術(shù)要點(diǎn)與實(shí)現(xiàn)架構(gòu)：明確數(shù)據(jù)對(duì)象、設(shè)計(jì)技術(shù)手段日志類采集技術(shù)要點(diǎn)網(wǎng)絡(luò)報(bào)文采集技術(shù)要點(diǎn)數(shù)據(jù)整體管理與展現(xiàn)采集與傳輸：采集：根據(jù)業(yè)務(wù)、運(yùn)維、監(jiān)控、審計(jì)的需求，可以按照關(guān)聯(lián)性、完好性、統(tǒng)計(jì)性等要求，采集各技術(shù)層面、各類消費(fèi)環(huán)境、各中類型的消費(fèi)日志；傳輸：可以將采集到的各類日志，按照要求能否可喪失，平安、穩(wěn)定、可靠的進(jìn)展傳輸，傳送到日志采集效力器；歸檔與查詢：歸檔：將采集到的各類日志，按照系統(tǒng)、模塊、節(jié)點(diǎn)等架構(gòu)規(guī)那么，采集時(shí)間、保管周期等周期規(guī)那么，業(yè)務(wù)、系統(tǒng)等屬性規(guī)那么，進(jìn)展多維度歸檔與備份；查詢：按照歸檔的多維度屬性，可以進(jìn)展跨系統(tǒng)、跨節(jié)點(diǎn)、跨文件綜合

15、查詢；分析與運(yùn)用：分析：針對(duì)非構(gòu)造化數(shù)據(jù)，可以完成各類邏輯分析如：周期內(nèi)同一事件的發(fā)生次數(shù)、比例等運(yùn)用：根據(jù)分析規(guī)那么，可以產(chǎn)生各類、各級(jí)報(bào)警信息，并集成到監(jiān)控系統(tǒng)，提供業(yè)務(wù)運(yùn)轉(zhuǎn)形狀實(shí)時(shí)數(shù)據(jù)及分析結(jié)果，提供業(yè)務(wù)運(yùn)轉(zhuǎn)特征分析結(jié)果；日志類數(shù)據(jù)采集關(guān)鍵技術(shù)要點(diǎn)虛擬設(shè)備VS 管道程序開(kāi)發(fā)和移植方面：管道兼容普通LINUX 及類UNIX 系統(tǒng)，而設(shè)備方式除了linux 通用外，每一個(gè)UNIX都是一套新的設(shè)備程序。日志采集才干方面：設(shè)備方式可以采集任何寫入文件的日志，而管道方式只能采集 a+(無(wú)文件那么創(chuàng)建，有文件那么追加) 文件。日志采集范圍方面：設(shè)備方式是一個(gè)設(shè)備可以采集該操作系統(tǒng)上一切運(yùn)用日志，而管

16、道方式，每多一個(gè)日志文件，必需對(duì)應(yīng)多添加一個(gè)進(jìn)程或線程來(lái)采集。在不修正運(yùn)用系統(tǒng)的情況下，采集各類日志：固定文件名、時(shí)間變量文件、稱號(hào)變量、途徑變化、目錄下新增日志.38虛擬設(shè)備日志采集方式開(kāi)場(chǎng)記錄日志系統(tǒng)VFS日志文件設(shè)備控制信息 攔截write日志輸出設(shè)置攔截途徑開(kāi)啟/封鎖采集運(yùn)用虛擬設(shè)備配置控制程序攔截syslog控制其他相關(guān)設(shè)置管道程序采集日志方式開(kāi)場(chǎng)翻開(kāi)日志文件(管道文件)寫入日志(管道文件)建立日志文件(管道文件)讀取日志文件(管道文件)日志輸出運(yùn)用管道程序讀取管道syslog采集系統(tǒng)Data-IP：日志文件全途徑Ip+地址Ip+地址MappingHadoop塊塊塊塊App標(biāo)識(shí)塊塊塊

17、塊App標(biāo)識(shí)塊塊塊塊App標(biāo)識(shí)HDFS mr() NameNode/運(yùn)用1運(yùn)用2運(yùn)用3.日志的歸檔與索引大數(shù)據(jù)平臺(tái)-邏輯架構(gòu)Flume：是Cloudera提供的一個(gè)高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于搜集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)展簡(jiǎn)單處置，并寫到各種數(shù)據(jù)接受方可定制的才干。42大數(shù)據(jù)平臺(tái)-邏輯架構(gòu)Kafka 是由 LinkedIn 開(kāi)發(fā)，主要是用來(lái)處置 LinkedIn的大面積活潑數(shù)據(jù)流處置(activity stream)1. 可耐久化音訊2目的是高流量處置3消費(fèi)形狀信息并不保管在效力端，而是保管在消費(fèi)端 4

18、支持分布式。43大數(shù)據(jù)平臺(tái)-邏輯架構(gòu)Storm ：是一套分布式的、可靠的，可容錯(cuò)的用于處置流式數(shù)據(jù)的系統(tǒng)。處置任務(wù)會(huì)被委派給不同的義務(wù)處置組件，每個(gè)組件擔(dān)任一項(xiàng)簡(jiǎn)單的、特定的處置義務(wù)。44大數(shù)據(jù)平臺(tái)-邏輯架構(gòu)Hadoop ：是一種可靠、高效、可伸縮的數(shù)據(jù)處置平臺(tái)。Hadoop 是可靠的，由于它假設(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)任務(wù)數(shù)據(jù)副本，確?？梢葬槍?duì)失敗的節(jié)點(diǎn)重新分布處置。Hadoop是高效的，由于它以并行的方式任務(wù)，經(jīng)過(guò)并行處置加快處置速度。Hadoop 還是可伸縮的，可以處置 PB 級(jí)數(shù)據(jù)。此外，Hadoop依賴于普通的效力器，因此它的本錢比較低。45日志類采集技術(shù)要點(diǎn)網(wǎng)絡(luò)報(bào)文采集

19、技術(shù)要點(diǎn)數(shù)據(jù)整體管理與展現(xiàn)確認(rèn)運(yùn)用協(xié)議類型暫未支持的協(xié)議獲取協(xié)議規(guī)范了解運(yùn)用報(bào)文編碼和封裝方式等獲取樣本數(shù)據(jù)包逐一比對(duì)和驗(yàn)證解碼已支持的協(xié)議修正配置文件實(shí)施開(kāi)發(fā)解碼程序SOA中廣泛運(yùn)用的協(xié)議：XML、SOAP、XML_over_TCP、Java序列化傳輸RMI、Socket、EJB、JMS、JSON、BSON等金融行業(yè)常用協(xié)議：8583類、IFX for ATM/POS、SNA、CICS(http封裝)、WAS(soap/jms)、WESB/WMB(soap/jms)、DB2_DRDA、Oracle TNS、CUPS、VISA、Mastercard、AE、JCB、三大運(yùn)營(yíng)商短信、Flexcube中心銀行、TATA Bancs中心銀行、FiServe中心銀行、先進(jìn)數(shù)通前置、天源迪科ESB、上交所新一代等網(wǎng)絡(luò)報(bào)文分析：