華為HiSec LogAuditor1500系列日志審計系統(tǒng)技術(shù)白皮書

日志審計系統(tǒng)技術(shù)白皮書華為技術(shù)有限公司HuaweiTechnologiesCo.,Ltd.華為HiSecLogAuditor1500系列日志審計系統(tǒng)技術(shù)白皮書目錄1概述 32產(chǎn)品綜述 42.1產(chǎn)品簡介 42.2技術(shù)架構(gòu) 4 52.2.2通信服務(wù)器 5 62.2.4上層展現(xiàn) 63主要功能 63.1日志信息接收 63.2日志信息解析 63.3日志信息標(biāo)準(zhǔn)化 7 73.5聚合處理 7 73.7狀態(tài)檢測處理 83.8通信服務(wù)器的功能 83.9關(guān)聯(lián)引擎的功能 84產(chǎn)品優(yōu)勢 84.1全面的智能采集功能 84.2標(biāo)準(zhǔn)化日志 84.3創(chuàng)新的日志解析能力 94.4先進(jìn)的關(guān)聯(lián)算法 94.5可維護(hù)性及可擴展性 94.6采用通用的安全事件標(biāo)準(zhǔn) 94.7分布式設(shè)計 5典型部署應(yīng)用 5.1簡單環(huán)境部署 5.2復(fù)雜環(huán)境部署 近年來，隨著信息技術(shù)的飛速發(fā)展和信息化建設(shè)的不斷深入，無論是國家還是企業(yè)，對安全建設(shè)都越來越重視，先后部署了一定數(shù)量的、多種類型的安全產(chǎn)品，如防火墻、漏洞掃描系統(tǒng)、IDS、IPS等等，安全防御體系已初具規(guī)模。但設(shè)備之間各自為政，互為安全孤島，難以統(tǒng)一建設(shè)和管理，加之網(wǎng)絡(luò)攻擊和威脅的手法也越來越復(fù)雜，導(dǎo)致企業(yè)和組織即使進(jìn)行了安全建設(shè)，也無法避免安全事件的頻頻發(fā)生。安全建設(shè)面臨著新的挑戰(zhàn)：●海量日志，無法有效管理：當(dāng)發(fā)生安全事件時，管理人員需要登錄一臺臺設(shè)備進(jìn)行日志的查看與排錯，安全管理人員有限，但不同設(shè)備每天都會產(chǎn)生數(shù)以千萬的日志信息，無法有效地進(jìn)行監(jiān)控和管理?！穹N類繁多，格式多樣：海量的設(shè)備日志有著各種各樣的格式和含義，這無疑對安全管理人員的專業(yè)要求也提出了頗高的要求。如果沒有專業(yè)的系統(tǒng)，人工地從各個設(shè)備的界面和彼此割裂的信息中處理安全事件，往往會造成高成本低效率的局面●信息孤島，日志無法關(guān)聯(lián)：大量的安全事件需要多端溯源與關(guān)聯(lián)分析才能被發(fā)現(xiàn)，日志單獨查看能發(fā)現(xiàn)的問題有限，需結(jié)合其他相關(guān)的日志分析，才可能發(fā)現(xiàn)潛在的攻擊威脅?！翊罅空`報，關(guān)鍵告警淹沒：各臺設(shè)備都會產(chǎn)生海量告警，而其中不乏多種誤報信息，關(guān)鍵的告警容易被淹沒另一方面，法律法規(guī)的健全和完善，也對安全建設(shè)提出了明確的要求。其中《中華人民共和國網(wǎng)絡(luò)安全法》中明確規(guī)定了日志留存不得少于六個月?！毒W(wǎng)絡(luò)安全等級保護(hù)安全設(shè)計技術(shù)要求2.0》和《關(guān)鍵信息基礎(chǔ)設(shè)施網(wǎng)絡(luò)安全保護(hù)基本要求》中，也對日志審計作出了明確規(guī)定。另外，其他行業(yè)法規(guī)例如《企業(yè)內(nèi)部控制基本規(guī)范》中也對日志審計做出了相應(yīng)的要求。綜上所述，企業(yè)和組織迫切需要一個提供日志統(tǒng)一存儲和分析、監(jiān)控告警和安全審計的一站式日志審計系統(tǒng)，來幫助用戶更高效地管理日志，審計系統(tǒng)安全事件。華為HiSecLogAuditor1500系列日志審計系統(tǒng)作為信息系統(tǒng)的綜合性管理系統(tǒng)，通過對客戶網(wǎng)絡(luò)設(shè)備、安全設(shè)備、主機和應(yīng)用系統(tǒng)日志進(jìn)行全面的標(biāo)準(zhǔn)化處理，真正滿足了客戶的安全審計需求?？杉皶r發(fā)現(xiàn)各種安全威脅、異常行為事件，為管理人員提供全局的視角，確?？蛻魳I(yè)務(wù)的不間斷運營安全，同時也為各個行業(yè)的客戶提供了滿足《網(wǎng)絡(luò)安全法》、等保制度、關(guān)保制度及各種行業(yè)法律法規(guī)的合規(guī)性日志審計產(chǎn)品。2產(chǎn)品綜述2.1產(chǎn)品簡介華為HiSecLogAuditor1500系列日志審計系統(tǒng)通過基于國際標(biāo)準(zhǔn)化的關(guān)聯(lián)分析引擎，為客戶提供全維度、跨設(shè)備、細(xì)粒度的關(guān)聯(lián)分析，透過事件的表象真實地還原事件背后的信息，為客戶提供真正可信賴的事件追責(zé)依據(jù)和業(yè)務(wù)運行的深度安全。同時提供集中化的統(tǒng)一管理系統(tǒng)，將所有的日志信息收集到系統(tǒng)中，實現(xiàn)信息資產(chǎn)的統(tǒng)一管理、監(jiān)控資產(chǎn)的運行狀況，協(xié)助用戶全面審計信息系統(tǒng)整體安全狀況。華為HiSecLogAuditor1500系列日志審計系統(tǒng)旨在實現(xiàn)網(wǎng)絡(luò)資產(chǎn)安全狀況的統(tǒng)一管理，使企業(yè)的利益受損風(fēng)險降低，廣泛適用于政府、金融、運營商、公安、電力能源、稅務(wù)、工商、社保、交通、衛(wèi)生、教育、電子商務(wù)及各企事業(yè)單位等。本產(chǎn)品主要由采集器、通信服務(wù)器、關(guān)聯(lián)引擎及上層展現(xiàn)組成。HUAWEI華為HiSecLogAuditor1500系列日志審計系統(tǒng)技術(shù)白皮書2022-2-7華為保密信息，未經(jīng)授權(quán)禁止擴散第5頁，共11頁>關(guān)聯(lián)分析規(guī)則定義》知識庫>統(tǒng)一服務(wù)報告模板>客戶匯總信息>安全事件匯總信息>未知事件收集及處理平臺1平臺2平臺3事件存儲事件處通信模塊(事件收集模塊)接口11接口S客戶A設(shè)備客戶B設(shè)備客戶A設(shè)備客戶C設(shè)備平合升級管理采集器升級管理展示平合綜合處理子平合主要實現(xiàn)日志采集、日志解析與格式統(tǒng)一、日志預(yù)處理、完成日志向系統(tǒng)的傳送等功能。被監(jiān)控設(shè)備分為標(biāo)準(zhǔn)設(shè)備(支持Syslog或SNMPtrap)和非標(biāo)設(shè)備(不支持Syslog和SNMPtrap),采集器主要完成標(biāo)準(zhǔn)設(shè)備日志的收集功能。把采集的日志數(shù)據(jù)過濾并轉(zhuǎn)化為統(tǒng)一定義的標(biāo)準(zhǔn)數(shù)據(jù)格式，然后進(jìn)行壓通信服務(wù)器完成采集器與系統(tǒng)間的通信，將格式統(tǒng)一后的日志直接寫分析模塊進(jìn)行分析處理。通信服務(wù)器可以接收多個采集器的日志2022-2-7華為保密信息，未經(jīng)授權(quán)禁止擴散第6頁，共11頁整個日志審計系統(tǒng)收集到的事件種類多，數(shù)量大，為了更有效地對這些海量的事件進(jìn)行分析和處理，確保第一時間對各種存在的安全問題采取措施，系統(tǒng)必須具有強大的事件處理和分析功能。目前對實踐進(jìn)行處理和分析最有效的方法就是做事件的關(guān)聯(lián)。包括實時進(jìn)行關(guān)聯(lián)分析、跨設(shè)備關(guān)聯(lián)分析、基于事件因果關(guān)系、事件安全要素、跨協(xié)議層、多層架構(gòu)、時間回溯以及關(guān)聯(lián)結(jié)果的回放等內(nèi)容。2.2.4上層展現(xiàn)展現(xiàn)層是日志審計系統(tǒng)的工作界面。用戶可在該層與系統(tǒng)進(jìn)行交互，實現(xiàn)對整個系統(tǒng)的收集、分析、告警的可視化呈現(xiàn)。3主要功能3.1日志信息接收根據(jù)采集器的配置，日志信息接收模塊可以監(jiān)聽在相應(yīng)的端口上。收到相應(yīng)的數(shù)據(jù)報文后，轉(zhuǎn)換為相應(yīng)的格式標(biāo)準(zhǔn)(SYSLOG報文轉(zhuǎn)換為字符串格式，SNMPTRAP報文轉(zhuǎn)換為SNMPPDU數(shù)據(jù)格式),并且附加上來源地址信息。如果有必要，需要對收到的報文中文本信息進(jìn)行正確的解碼處理，保證不出現(xiàn)亂碼現(xiàn)象。3.2日志信息解析接收到的原始日志信息，經(jīng)過解析規(guī)則的模式匹配，提取出直接信息和非直接信息，最終就得到了解析后的通用事件。日志信息解析模塊啟動的時候，需要首先進(jìn)行規(guī)則庫的加載，加載各種日志格式的解析、映射定義。加載完成后，才能進(jìn)行日志的解析處理。當(dāng)原始日志無法匹配規(guī)則庫中任何一個規(guī)則時，就會生成一個未識別日志信息。用戶收到未識別日志信息后，應(yīng)該更新規(guī)則庫，以支持這種日志格式。3.3日志信息標(biāo)準(zhǔn)化完成解析后的通用事件，可以根據(jù)規(guī)則庫，進(jìn)行標(biāo)準(zhǔn)化處理。標(biāo)準(zhǔn)化主要是對解析后的日志，根據(jù)標(biāo)準(zhǔn)化的通用事件格式，對各個標(biāo)準(zhǔn)化字段，進(jìn)行信息的直接映射、非直接映射處理。映射處理基于預(yù)先定義的標(biāo)準(zhǔn)。在本系統(tǒng)，標(biāo)準(zhǔn)基于對安全領(lǐng)域的技術(shù)、威脅、模式、以及網(wǎng)絡(luò)層、應(yīng)用層的抽象。標(biāo)準(zhǔn)化過程，也會進(jìn)行字段的格式處理，如時間戳的format、locale的處理。經(jīng)過映射處理后，就得到了最終的通用事件。采集器為了消除不必要的日志事件，或者去掉不重要的日志事件，可以設(shè)定過濾規(guī)則。任何標(biāo)準(zhǔn)化完成后的通用事件，都會經(jīng)過過濾規(guī)則匹配。當(dāng)滿足匹配后，此事件就會被過濾，直接過濾掉，不會進(jìn)入后續(xù)模塊進(jìn)行處理；當(dāng)不滿足匹配，此事件就不會被過濾，直接進(jìn)行后續(xù)模塊處理。采集器為了減少重復(fù)日志事件的數(shù)量，會在處理流程中，通過設(shè)定一個聚合周期、聚合規(guī)則，對于在聚合周期內(nèi)，所有滿足聚合規(guī)則的事件，進(jìn)行聚合處理，得到聚合事件。聚合事件中的事件計數(shù)字段，會記錄本次聚合的源事件的數(shù)量。聚合處理不會影響后續(xù)關(guān)聯(lián)分析等處理。為了實現(xiàn)日志緩存的需求，需要對隊列進(jìn)行持久化處理。采集器日志緩存基于狀態(tài)驅(qū)動。當(dāng)隊列的空閑狀態(tài)較低時，超過最低閾值后，會觸發(fā)回寫模塊，把內(nèi)存隊列中的事件持久化到設(shè)備磁盤系統(tǒng)上。當(dāng)隊列的空閑狀態(tài)較高時，超過最高閾值后，會觸發(fā)加載模塊，把磁盤系統(tǒng)上持久化的數(shù)據(jù)，加載到內(nèi)存隊列中。為了實現(xiàn)狀態(tài)檢測處理，需要維護(hù)每個資產(chǎn)的狀態(tài)信息。當(dāng)收到設(shè)備的原始日志后，會更新此設(shè)備的事件計數(shù)、最后活躍時間等信息。當(dāng)狀態(tài)檢測周期到達(dá)后，采集器會把每個設(shè)備的狀態(tài)信息組裝成心跳事件，上送給上層設(shè)備。通信服務(wù)器接收各個采集器上發(fā)的通用事件，匯總后進(jìn)行存儲。通信服務(wù)器處理收到的心跳事件，更新對應(yīng)資產(chǎn)的心跳狀態(tài)，并持久化心跳信息到數(shù)據(jù)庫中。通信服務(wù)器處理配置同步請求。當(dāng)用戶或管理員在界面上新增、刪除、修改了客戶、資產(chǎn)、規(guī)則庫后，通信服務(wù)器應(yīng)該能夠把這些改動同步到各個連接的采集器上。關(guān)聯(lián)引擎從接收到的通用事件中，基于關(guān)聯(lián)規(guī)則，發(fā)現(xiàn)關(guān)聯(lián)事件。關(guān)聯(lián)事件包括各個原始事件列表。關(guān)聯(lián)引擎產(chǎn)生的關(guān)聯(lián)事件，能夠支持入庫接口，進(jìn)行持久化處理。關(guān)聯(lián)引擎支持自定義的關(guān)聯(lián)規(guī)則，支持規(guī)則的啟用、禁用。4產(chǎn)品優(yōu)勢華為HiSecLogAuditor1500系列日志審計系統(tǒng)可以采集企業(yè)和組織的各類網(wǎng)絡(luò)或安全設(shè)備、安全系統(tǒng)、數(shù)據(jù)庫、主機操作系統(tǒng)以及各種應(yīng)用系統(tǒng)的日志，不斷地連接檢查和完整性檢查以及可自定義的緩存功能，可確保系統(tǒng)接收到所有數(shù)據(jù)，并對傳輸鏈的各個環(huán)節(jié)進(jìn)行監(jiān)控；可配置過濾和聚合功能可以消除無關(guān)數(shù)據(jù)，并且合并重復(fù)的設(shè)備日志，強大的數(shù)據(jù)壓縮功能可節(jié)省昂貴的帶寬。各種安全事件日志(攻擊、入侵、異常)、各種行為事件日志(內(nèi)控、違規(guī))、各種弱點掃描日志(弱點、漏洞)、各種狀態(tài)監(jiān)控日志(可用性、性能、狀態(tài))、安全視角的事件描述：事件目標(biāo)對象歸類、事件行為歸類、事件特征歸類、事件結(jié)果歸類、攻擊分類、檢測設(shè)備歸類。解析規(guī)則激活，僅當(dāng)接收到對應(yīng)的日志后，規(guī)則才會被激活，同時支持未識別日志水印處理，采用多級解析功能和動態(tài)規(guī)劃算法，實現(xiàn)靈活的未解析日志事件處理，同時支持多種解析方法(如正則表達(dá)式、分隔符、MIB信息映射配置等);日志解析性能與接入的日志設(shè)備數(shù)量無關(guān)。華為日志審計系統(tǒng)的關(guān)聯(lián)分析引擎本系統(tǒng)的最大亮點之一。華為日志審計系統(tǒng)的關(guān)聯(lián)引擎采取了In-Memory的設(shè)計，全內(nèi)存運算方式保證了事件分析極高的效率和實時性，這和一般的日志審計產(chǎn)品通過SQL查詢方式提供關(guān)聯(lián)分析能力有巨大差別，無論在分析速度、分析維度、靈活性、IO抗壓能力方面都完全不可和華為日志審計系統(tǒng)的關(guān)聯(lián)分析引擎比擬。另外，在關(guān)聯(lián)算法方面，華為日志審計系統(tǒng)有如下獨到之處：●標(biāo)準(zhǔn)化之上的關(guān)聯(lián)規(guī)則，適應(yīng)性強●可定制性強，幾乎可根據(jù)通用事件的任何字段進(jìn)行關(guān)聯(lián)●基于邏輯表達(dá)式，可以進(jìn)行復(fù)雜關(guān)聯(lián)●時序?qū)捜荩瑹o懼亂序系統(tǒng)具有對自身的維護(hù)配置功能，如：系統(tǒng)參數(shù)設(shè)置、系統(tǒng)日志管理等。硬件系統(tǒng)采用模塊結(jié)構(gòu)，保證系統(tǒng)內(nèi)存、CPU及儲存容量的擴展；硬件配置的升級不會引起軟件的修改和開發(fā)；每個組件都可以橫向擴展，通過增加設(shè)備滿足業(yè)務(wù)需求。華為日志審計系統(tǒng)根據(jù)多年的網(wǎng)絡(luò)安全經(jīng)驗，總結(jié)出了通用標(biāo)準(zhǔn)的安全事件歸一化格式和分類體系結(jié)構(gòu)。華為日志審計系統(tǒng)可以以標(biāo)準(zhǔn)方式處理以下元素：●各種安全事件日志(攻擊、入侵、異常)●各種行為事件日志(內(nèi)控、違規(guī))●各種弱點掃描日志(弱點、漏洞)●各種狀態(tài)監(jiān)控日志(可用性、性能、狀態(tài))●安全視角的事件描述：事件目標(biāo)對象歸類、事件行為歸類、事件特征歸類、事件結(jié)果歸類、攻擊分類、檢測設(shè)備歸類華為日志審計系統(tǒng)采取分布式設(shè)計，將系統(tǒng)分為采集器、通訊服務(wù)器、關(guān)聯(lián)分析引擎和管理中心四個部分。四個部分可以分布式部署，也可以組合部署，最大程度上兼顧了系統(tǒng)的可擴展性和靈活性；另外基于HTTPS的通訊模式，使跨互聯(lián)網(wǎng)部署成為了可能，異地監(jiān)控不再需要昂貴的專線私網(wǎng)模式?？梢赃m用于從大型電信級網(wǎng)絡(luò)環(huán)境到寥寥數(shù)臺設(shè)備的中小企業(yè)。華為日志審計系統(tǒng)采用了安全策略與基礎(chǔ)系統(tǒng)分離的設(shè)計架構(gòu)，將事件格式分析規(guī)則、關(guān)聯(lián)分析規(guī)則、報警規(guī)則、綜合報表規(guī)則等策略內(nèi)容獨立出來，變成可以獨立演進(jìn)、獨立配置、獨立升級的內(nèi)容(稱