華為LogCenter安全事件管理中心技術(shù)建議書-通用解決方案-設(shè)計報告

1、華為LogCenter安全事件管理中心技術(shù)建議書華為技術(shù)有限公司版權(quán)所有 © 華為技術(shù)有限公司 2015。 保留一切權(quán)利。非經(jīng)本公司書面許可，任何單位和個人不得擅自摘抄、復(fù)制本文檔內(nèi)容的部分或全部，并不得以任何形式傳播。商標(biāo)聲明和其他華為商標(biāo)均為華為技術(shù)有限公司的商標(biāo)。本文檔提及的其他所有商標(biāo)或注冊商標(biāo)，由各自的所有人擁有。注意您購買的產(chǎn)品、服務(wù)或特性等應(yīng)受華為公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分產(chǎn)品、服務(wù)或特性可能不在您的購買或使用范圍之內(nèi)。除非合同另有約定，華為公司對本文檔內(nèi)容不做任何明示或默示的聲明或保證。由于產(chǎn)品版本升級或其他原因，本文檔內(nèi)容會不定期進(jìn)行更新。除

2、非另有約定，本文檔僅作為使用指導(dǎo)，本文檔中的所有陳述、信息和建議不構(gòu)成任何明示或暗示的擔(dān)保。華為技術(shù)有限公司地址：深圳市龍崗區(qū)坂田華為總部辦公樓 郵編：518129網(wǎng)址：客戶服務(wù)郵箱：ChinaEnterprise_TAC客戶服務(wù)電話：400-822-9999華為專有保密信息Error! Unknown document property name.i華為LogCenter安全事件管理中心技術(shù)建議書目 錄目 錄1 概述12 ××企業(yè)網(wǎng)絡(luò)現(xiàn)狀和日志需求23 華為LogCenter典型應(yīng)用場景33.1 安全業(yè)務(wù)分析 （含上網(wǎng)行為管理）33.2 全網(wǎng)日志審計43.3 安全態(tài)勢感知

3、43.4 NAT溯源54 華為LogCenter系統(tǒng)介紹64.1 系統(tǒng)組成64.2 系統(tǒng)主要功能64.3 系統(tǒng)主要性能指標(biāo)74.4 典型組網(wǎng)74.4.1 集中式組網(wǎng)74.4.2 分布式組網(wǎng)84.5 關(guān)鍵技術(shù)94.5.1 超強采集性能94.5.2 超快查詢速度94.5.3 海量存儲94.5.4 低資源占用94.5.5 日志歸一化管理94.5.6 可靠性114.5.7 水平擴展114.5.8 分級部署114.5.9 采集方式114.5.10 話單關(guān)聯(lián)114.5.11 智能檢索114.5.12 北向接口125 華為服務(wù)135.1 服務(wù)理念135.2 服務(wù)內(nèi)容135.3 服務(wù)保障13華為專有保密信息E

4、rror! Unknown document property name.ii華為LogCenter安全事件管理中心技術(shù)建議書5 華為服務(wù)1 概述網(wǎng)絡(luò)中有大量的安全設(shè)備，這些設(shè)備都有自己的獨立的管理界面，通過管理界面可以查看基于單個設(shè)備的安全報表。但是每臺設(shè)備的報表只能展示整個企業(yè)的部分安全狀態(tài)，客戶非常希望有一套系統(tǒng)能夠集中采集全部安全設(shè)備的日志，同時輸出基于全網(wǎng)數(shù)據(jù)的安全報表。這套系統(tǒng)最好還能夠展現(xiàn)園區(qū)全局的安全態(tài)勢，能清晰展現(xiàn)網(wǎng)絡(luò)中當(dāng)前正在發(fā)生或者歷史上已經(jīng)發(fā)生的安全事件，從而能快速做出應(yīng)對。同時，企業(yè)的安全設(shè)備和網(wǎng)絡(luò)設(shè)備，每種設(shè)備都會發(fā)各種各樣的日志?？蛻粜枰惶紫到y(tǒng)能夠?qū)⒉煌O(shè)備的不

5、同種類的日志都采集并存儲起來，并通過提供查詢功能實現(xiàn)日志審計。在大型企業(yè)中，客戶也需要這套系統(tǒng)能提供NAT溯源能力。 2 ××企業(yè)網(wǎng)絡(luò)現(xiàn)狀和日志需求通過與××企業(yè)進(jìn)行深入的交流，我們對其網(wǎng)絡(luò)進(jìn)行了充分的了解與分析。××企業(yè)內(nèi)部網(wǎng)絡(luò)拓?fù)鋱D，需要通過LogCenter進(jìn)行日志管理的安全設(shè)備，需要進(jìn)行管理的日志內(nèi)容。 3 華為LogCenter典型應(yīng)用場景3.1 安全業(yè)務(wù)分析 （含上網(wǎng)行為管理）在企業(yè)員工上網(wǎng)行為管理的應(yīng)用場景下，LogCenter對防火墻等網(wǎng)絡(luò)網(wǎng)元的會話日志和安全日志進(jìn)行采集和分析，從而追蹤企業(yè)員工的上網(wǎng)行為（上網(wǎng)流量To

6、pN，上網(wǎng)時長TopN，WEB訪問分析，郵件分析等），分析企業(yè)員工上網(wǎng)行為。LogCenter可以進(jìn)行按用戶的上網(wǎng)流量、上網(wǎng)時長、上網(wǎng)關(guān)鍵字、Web訪問、郵件收發(fā)、上網(wǎng)應(yīng)用、網(wǎng)絡(luò)威脅、文件外發(fā)等的分析和查詢，管理人員可以根據(jù)分析結(jié)果對用戶上網(wǎng)行為進(jìn)行管理。圖3-1 企業(yè)員工上網(wǎng)行為管理場景圖3.2 全網(wǎng)日志審計企業(yè)內(nèi)部部署了大量的路由器、交換機、防火墻等網(wǎng)絡(luò)網(wǎng)元，由于存在網(wǎng)元日志格式不統(tǒng)一、可讀性差、海量日志存儲困難、日志難于統(tǒng)一管理等問題，網(wǎng)管很難及時從日志中發(fā)現(xiàn)重大安全隱患。LogCenter能夠?qū)崿F(xiàn)日志統(tǒng)一管理，支持SYSLOG、NAT日志、SFTP、FTP靜態(tài)文件、FTP動態(tài)文件多種日

7、志采集方式。LogCenter能夠采集、分類、過濾、歸并、分析、存儲和監(jiān)控網(wǎng)元上報的日志，幫助用戶對海量日志進(jìn)行管理，使用戶能及時了解安全網(wǎng)元和網(wǎng)絡(luò)網(wǎng)元的運行情況，跟蹤網(wǎng)絡(luò)用戶行為，迅速識別并消除安全威脅。LogCenter在日志管理的基礎(chǔ)上，提供日志的實時告警響應(yīng)功能，能夠?qū)θ罩具M(jìn)行實時的分析，并實時產(chǎn)生告警。圖3-2 安全事件管理場景圖3.3 安全態(tài)勢感知LogCenter可以基于華為NGFW的檢測日志，從海量數(shù)據(jù)中分析統(tǒng)計出網(wǎng)絡(luò)中存在的威脅，并通過拓?fù)鋱D、趨勢圖、占比圖清晰展示全網(wǎng)的安全態(tài)勢。協(xié)助網(wǎng)絡(luò)管理員以最快速度定位全網(wǎng)高風(fēng)險點，分析攻擊威脅形式，及時采取合理應(yīng)對措施。配合華為NGF

8、W和沙箱設(shè)備的檢測日志，LogCenter能夠展示網(wǎng)絡(luò)中存在風(fēng)險的文件。這些風(fēng)險文件是APT攻擊關(guān)鍵環(huán)節(jié)文件擴散的重要載體。網(wǎng)絡(luò)管理員可通過LogCenter查找到高風(fēng)險的惡意/可疑文件，并且能夠以此為線索，關(guān)聯(lián)查詢到曾接觸這些風(fēng)險文件的用戶、設(shè)備，便于管理員展開進(jìn)一步的防護(hù)，及時消滅可能存在的APT攻擊。圖3-3 安全態(tài)勢感知3.4 NAT溯源對NE40E/80E、Eudemon防火墻等網(wǎng)絡(luò)網(wǎng)元和安全網(wǎng)元的會話日志進(jìn)行采集和分析，獲取NAT信息（包括目的IP地址、目的端口、NAT前源IP地址和協(xié)議等），結(jié)合身份關(guān)聯(lián)數(shù)據(jù)源（如AAA服務(wù)器），從而對NAT用戶進(jìn)行IP溯源和身份溯源。 4 華為L

9、ogCenter系統(tǒng)介紹4.1 系統(tǒng)組成圖4-1 LogCenter系統(tǒng)組成圖在該圖中，各組件功能如下表所示：表4-1 各組件的功能與接口組件功能分析器提供日志源管理，采集器管理，報表查詢，安全態(tài)勢，日志審計等功能。提供北向接口供第三方查詢數(shù)據(jù)。同時提供基于https的WEB GUI訪問接口，管理員可以通過瀏覽器對整套LogCenter系統(tǒng)進(jìn)行管理。采集器負(fù)責(zé)來自不同設(shè)備不同類別的日志的采集、分類、格式化、存儲等功能。同時定時匯聚報表數(shù)據(jù)發(fā)送給分析器。4.2 系統(tǒng)主要功能表4-2 系統(tǒng)主要功能提供各類安全報表，如IPS報表，AV報表等。 提供安全態(tài)勢感知，展示全網(wǎng)實時安全狀態(tài)和安全趨勢。提供智

10、能檢索，能對全網(wǎng)日志進(jìn)行快速查詢和審計。提供基于IPV4會話日志的NAT溯源4.3 系統(tǒng)主要性能指標(biāo)表4-3 系統(tǒng)主要性能指標(biāo)單采集器能處理峰值250000EPS的二進(jìn)制會話日志單采集器能處理峰值15000EPS的業(yè)務(wù)日志（syslog/Dataflow）最多支持15臺采集器水平擴展4.4 典型組網(wǎng)4.4.1 集中式組網(wǎng)集中式組網(wǎng)方案成本較低，適用于網(wǎng)元數(shù)量低于100臺，網(wǎng)絡(luò)中日志量未超過集中式部署的LogCenter系統(tǒng)處理性能，且網(wǎng)元分布集中的網(wǎng)絡(luò)環(huán)境，選擇該組網(wǎng)方式需要考慮以下因素：所管理網(wǎng)元的組網(wǎng)情況 集中式組網(wǎng)時，建議所管理的網(wǎng)元部署在相同的局域網(wǎng)，如果網(wǎng)元部署在廣域網(wǎng)，集中式部署會

11、導(dǎo)致大量的日志信息占用廣域網(wǎng)的帶寬，影響正常的業(yè)務(wù)。日志量 集中式組網(wǎng)時，建議日志量不要超過一臺日志采集器的處理能力。如果現(xiàn)網(wǎng)的日志量超過了一臺日志采集器的處理能力，應(yīng)該考慮使用分布式部署。LogCenter分析器與采集器集中式部署的組網(wǎng)如下圖所示。圖4-4 LogCenter分析器與采集器集中式部署的組網(wǎng)圖日志采集器和LogCenter分析器安裝在同一臺服務(wù)器上，日志采集器集中接收和采集網(wǎng)元的日志。4.4.2 分布式組網(wǎng)分布式組網(wǎng)方案適用于性能要求高或者網(wǎng)元分布分散的網(wǎng)絡(luò)環(huán)境。日志量超過集中式部署處理能力，或者網(wǎng)元超過100臺，或者網(wǎng)元分散在多個不同城市等場景均建議采用分布式組網(wǎng)方案。選擇該

12、組網(wǎng)方式需要考慮以下因素：所管理網(wǎng)元的組網(wǎng)情況 網(wǎng)元分布在多個區(qū)域，區(qū)域間需要通過廣域網(wǎng)或者VPN連接。每個區(qū)域部署一臺日志采集器，可以避免大量的日志信息占用帶寬，節(jié)約租用帶寬的成本。日志量 當(dāng)現(xiàn)網(wǎng)的日志量超過了一臺日志采集器的處理能力，需要使用分布式部署。LogCenter分析器與采集器分布式部署的組網(wǎng)如下圖所示。圖4-5 LogCenter分析器與采集器分布式部署的組網(wǎng)圖日志采集器和LogCenter分析器安裝在不同的物理服務(wù)器上，多臺日志采集器可以共用一臺LogCenter分析器，一臺LogCenter分析器最多可管理15臺日志采集器。日志采集器可以部署在不同的子網(wǎng)，采集所在子網(wǎng)的網(wǎng)元日

13、志。分布式部署時，請勿將LogCenter分析器與日志采集器部署在同一物理服務(wù)器上，以免影響系統(tǒng)性能。4.5 關(guān)鍵技術(shù)4.5.1 超強采集性能采集器采用華為RH2288H V3服務(wù)器（雙核Intel® Xeon® E5-2640 v3處理器；采用2條內(nèi)存速度為2133MHZ的DDR4內(nèi)存32G）為業(yè)務(wù)提供強勁動力。結(jié)合分布式的文件數(shù)據(jù)庫，單臺采集器可處理每秒高達(dá)5萬EPS的二進(jìn)制會話日志或7000條syslog/Dataflow業(yè)務(wù)日志。4.5.2 超快查詢速度基于業(yè)務(wù)日志，實現(xiàn)了分布式全文索引庫，提供基于關(guān)鍵字和表達(dá)式的快速查詢能力。針對會話日志，在分布式的文件數(shù)據(jù)庫的基

14、礎(chǔ)上，結(jié)合經(jīng)過優(yōu)化的，實時的分布式索引，提供了超快的查詢速度。在典型的溯源場景，原始NAT日志有數(shù)萬億條，相關(guān)的數(shù)據(jù)也有數(shù)億條。LogCenter可以在幾分鐘內(nèi)返回查詢結(jié)果，提供給客戶極致的體驗。4.5.3 海量存儲采集器配置了10塊6T的磁盤，配合實時壓縮，可以應(yīng)對海量日志的長時間的留存。分析器配置了6塊2T的本地磁盤，可以存儲海量的報表數(shù)據(jù)。4.5.4 低資源占用單臺高配置采集器，雖然提供了超強性能和海量存儲，但只會占用客戶機房2U的空間。為客戶的運營節(jié)省了成本。同時，采用高能效電源模塊，采用80PLUS®白金高能效電源模塊，滿足能源之星標(biāo)準(zhǔn)，并通過中國環(huán)境標(biāo)志產(chǎn)品認(rèn)證。采用DE

15、MT(Dynamic Energy Management Technology)節(jié)能技術(shù)，可按需動態(tài)調(diào)整服務(wù)器運行狀態(tài)，提高各種負(fù)載下能效，將電能損耗控制在最合理水平。4.5.5 日志歸一化管理日志信息來自不同類型的設(shè)備和應(yīng)用程序，日志格式和采集方式差異性很大，通過統(tǒng)一的日志模型，對日志處理的全過程進(jìn)行歸一化處理。可輕松適配來自第三方的NAT日志和話單日志。圖4-6 日志處理流程如上圖所示，日志需要經(jīng)過一下的處理步驟：日志采集通過多種途徑接收和采集設(shè)備和應(yīng)用系統(tǒng)產(chǎn)生的日志。Logcenter可以支持無代理的日志采集方式?？梢灾С滞ㄟ^Syslog、NAT，F(xiàn)TP/SFTP的采集方式，可以對設(shè)備日

16、志和文本日志進(jìn)行采集；日志分類Logcenter根據(jù)對設(shè)備和應(yīng)用系統(tǒng)日志的長期積累經(jīng)驗，提供了一套簡潔而有效的日志統(tǒng)一分類。相同分類的日志具有相同的日志結(jié)構(gòu)，可以方便的進(jìn)行查詢和分析；日志格式化Logcenter使用自有的專利技術(shù)對日志進(jìn)行格式化，格式化的規(guī)則支持快速升級。通過日志格式化，可以將異構(gòu)的日志轉(zhuǎn)換為統(tǒng)一的日志格式；日志過濾Logcenter提供日志過濾功能，根據(jù)用戶設(shè)置的過濾策略對日志進(jìn)行過濾。丟棄無用的噪音信息，節(jié)省磁盤空間和提供日志分析的性能；日志存儲針對日志管理系統(tǒng)的存儲特點，Logcenter將日志保持在文件數(shù)據(jù)庫。相對于關(guān)系數(shù)據(jù)庫，文件數(shù)據(jù)庫具有吞吐量大，資源占用率低的特

17、點，能夠很好的滿足日志管理系統(tǒng) 存儲海量數(shù)據(jù)的要求；日志統(tǒng)計日志管理系統(tǒng)需要輸出大量的日志分析報表，滿足用戶的巡檢要求和法規(guī)遵從性要求。Logcenter通過對格式化后的日志數(shù)據(jù)進(jìn)行統(tǒng)計分析，將分析結(jié)果記錄在數(shù)據(jù)庫中，可以支持快速的日志報表輸出；日志分析（日志轉(zhuǎn)告警）快速的從海量的日志中發(fā)現(xiàn)安全事件是日志管理系統(tǒng)提供的一個主要功能。Logcenter提供基于策略的實時分析。符合策略的日志會觸發(fā)告警，并可通過多種方式（Email告警、短信告警、聲音告警）通知管理員。4.5.6 可靠性通過RAID6+熱備盤的方式提供針對磁盤的三重保護(hù)。針對LogCenter的采集器提供線程級別的監(jiān)控，一旦發(fā)現(xiàn)問題

18、，可迅速恢復(fù)故障并告警。4.5.7 水平擴展單臺采集器的處理能力最高可達(dá)5萬EPS，通過采集器的水平擴展，整套LogCenter系統(tǒng)的處理能力可達(dá)80萬EPS。4.5.8 分級部署針對多站點的系統(tǒng)，下級采集器可以部署在異地的子站點，上級采集器和分析器部署在中心站點。下級采集器將采集器到的數(shù)據(jù)定時通過FTP/SFTP傳到上級采集器，上級采集器提供本地留存和查詢服務(wù)。4.5.9 采集方式支持二進(jìn)制會話，syslog，Dataflow， XDR，Netflow，F(xiàn)TP，Radius等多種采集方式。并且通過靈活的架構(gòu)可輕松擴展新的采集方式。4.5.10 話單關(guān)聯(lián)支持多種格式話單的解析。包括：文本格式的話單syslog格式的話單（rfc3164，rfc5424）radius格式的話單 （rfc2865，rfc2866，rfc2869）4.5.11 智能檢索可針對收到的業(yè)務(wù)日志（包括Syslog、Dataflow）進(jìn)行基于關(guān)鍵字的分詞和分布式索引，并且提供類似搜索引擎的查詢功能。針對查詢結(jié)果可以進(jìn)行分類鉆取和統(tǒng)計。4.5.12 北向接口提供通用的，基于日志模型的北向接口。只要通過認(rèn)證，第三方系統(tǒng)可以通過這個接口去查詢需要的數(shù)據(jù)。 5 華為服務(wù)5.1 服務(wù)理念1)實現(xiàn)客戶滿意 樹立以客戶為中心的工作作風(fēng)，強化服務(wù)意識和服務(wù)技能，以優(yōu)質(zhì)服務(wù)切實保障網(wǎng)絡(luò)