全流量日志AI智能分析系統(tǒng)

0引言工業(yè)互聯(lián)網(wǎng)的飛速發(fā)展，在給原本封閉的工業(yè)環(huán)境帶來巨大變革的同時，也使得網(wǎng)絡空間以前未被察覺的、隱蔽性強的、潛在的安全隱患日益凸顯。伴隨國內(nèi)外安全事件頻發(fā)，企業(yè)普遍存在對威脅事件溯源分析和取證的需求。全流量日志AI智能分析系統(tǒng)（以下簡稱“系統(tǒng)”），創(chuàng)新性的提出并實現(xiàn)日志數(shù)據(jù)、網(wǎng)絡全流量數(shù)據(jù)二合一，推動威脅事件溯源過程更精準、更有序、更高效。1平臺架構設計1.1框架模式根據(jù)數(shù)據(jù)采集、轉發(fā)、應用的全流程，平臺架構自上而下依次分為基礎架構層、數(shù)據(jù)采集層、數(shù)據(jù)處理與存儲層和數(shù)據(jù)應用層，如圖1所示。

圖1系統(tǒng)框架模式設計

基礎架構層，該層是由基礎IT設備和彈性云框架兩部分構成。以利舊與集約化利用為目的，在現(xiàn)有IT資源基礎上建立高可用的、可動態(tài)擴展的彈性云框架。

數(shù)據(jù)集采集層，數(shù)據(jù)的采集主要通過智能采集器（態(tài)勢感知套件設備）的方式同時采集日志數(shù)據(jù)、流量數(shù)據(jù)，其中日志部分指采集主機服務器、數(shù)據(jù)庫、工程師站、操作員站、網(wǎng)絡設備、安全設備等產(chǎn)生的運行狀態(tài)、登錄日志、操作日志等信息。流量部分，采用鏡像或分光方式復制交換機流量信息，通過DPI（DeepPacketInspection，DPI）深度包解析技術進行協(xié)議的深度包解析，結合邊緣AI模型檢測生成告警事件。

數(shù)據(jù)處理與存儲層，主要通過分布式大數(shù)據(jù)采集到的數(shù)據(jù)進行預處理操作及處理后的數(shù)據(jù)存儲。數(shù)據(jù)處理，通過ETL技術處理成全流量日志分析系統(tǒng)可接收識別的信息，由其進行存儲與分析。系統(tǒng)數(shù)據(jù)存儲分別由關系型數(shù)據(jù)庫、大數(shù)據(jù)分布式共同構建，格式規(guī)范的數(shù)據(jù)在關系型數(shù)據(jù)庫存儲，如漏洞信息、設備指紋、IP歸屬等知識庫，海量的主機日志信息和原始告警事件在Elasticsearch中存儲，便于數(shù)據(jù)高效聚合與檢索。處理后的數(shù)據(jù)再提供給數(shù)據(jù)總線（元數(shù)據(jù)分析引擎、協(xié)議異常分析引擎、事件分析引擎、關聯(lián)分析引擎、AI安全分析引擎）進行使用，在原始事件中基于時間和設備進行關聯(lián)分析、數(shù)據(jù)挖掘、AI安全建模分析等。

數(shù)據(jù)應用層，主要是為運維安全人員提供后臺管理功能及為企業(yè)高層管理者提供大屏可視化能力，查看企業(yè)維度場站采集數(shù)據(jù)構成的綜合風險態(tài)勢、工控網(wǎng)絡威脅態(tài)勢、威脅事件處置態(tài)勢、工控資產(chǎn)態(tài)勢、工控脆弱性態(tài)勢。企業(yè)管理者站在安全管理的角度，對威脅事件告警與處置、協(xié)議解析及流量監(jiān)視、業(yè)務系統(tǒng)及資產(chǎn)臺賬、威脅事件溯源分析、系統(tǒng)管理以及規(guī)則配置管理、日志檢索等，對企業(yè)整體的安全風險態(tài)勢與安全業(yè)務運營情況進行把握。

1.2部署模式

全流量日志AI智能分析系統(tǒng)，可用作中小型企業(yè)態(tài)勢感知平臺，也可以彌補大型企業(yè)態(tài)勢感知建設中關于場站邊緣分析的缺失。系統(tǒng)一般部署在生產(chǎn)管理大區(qū)，具有大數(shù)據(jù)體系架構，可橫向無限擴展，縱向可向上級聯(lián)集團態(tài)勢感知平臺，也可對外向監(jiān)管部門提供重要數(shù)據(jù)。

圖2系統(tǒng)在工業(yè)環(huán)境中的部署位置

智能采集器采用旁路部署模式，采集全流量、日志數(shù)據(jù)，安全I區(qū)、安全II區(qū)數(shù)據(jù)通過智能采集器可通過網(wǎng)閘向全流量日志AI智能分析系統(tǒng)傳輸，從而打破區(qū)域隔離的壁壘。單獨架設數(shù)據(jù)通道，不影響客戶現(xiàn)有網(wǎng)絡與業(yè)務數(shù)據(jù)，如圖2所示。

1.3業(yè)務模型

平臺提供多種業(yè)務模型的構建，主要包括多源異構的數(shù)據(jù)采集模型、風險管理模型與運營管理模型等，如圖3所示。

圖3系統(tǒng)業(yè)務模型

根據(jù)數(shù)據(jù)采集的實時性可分為兩類，一是多種主機服務器設備、安全設備、網(wǎng)絡設備等的實時數(shù)據(jù)，二是對接工具箱、威脅情報等離線數(shù)據(jù)。數(shù)據(jù)采集分析采用平臺與邊緣相結合的方式，邊緣設備可提供采集器內(nèi)嵌AI模型，采集的同時進行實時分析與異常檢測。平臺側針對邊緣分析結果進行數(shù)據(jù)挖掘和關聯(lián)分析，數(shù)據(jù)挖掘分析主要包括統(tǒng)計、關聯(lián)與AI建模，常用技術包括復雜事件處理CEP分析、智能規(guī)則報警、智能聚合、事件關聯(lián)分析、邏輯回歸、遷移學習算法、決策樹、SVM、特征庫匹配等，關聯(lián)分析常用技術包括精簡聚合、攻擊鏈分析、全基線、圖分析等。2關鍵技術與最佳實踐2.1二合一的最佳實踐

流量日志二合一，不是單純將流量監(jiān)測審計、日志監(jiān)測審計兩套程序部署在同一硬件上，而是對數(shù)據(jù)的采集、存儲、檢測、審計進行全生命周期的二合一。

數(shù)據(jù)采集方面，使用智能采集器同時進行流量、日志數(shù)據(jù)采集。采集流量數(shù)據(jù)時，通過旁路部署在交換機上通過端口鏡像或分光的方式實現(xiàn)流量復制，采集日志數(shù)據(jù)通過Syslog、SNMPTRAP、FTP、WMI等多方式對主機服務器、網(wǎng)絡設備、安全設備等進行運行狀態(tài)、登錄日志、操作日志進行采集。數(shù)據(jù)存儲方面，對范式化后的日志數(shù)據(jù)、流量元數(shù)據(jù)、威脅事件均在Elasticsearch中存儲。數(shù)據(jù)檢測分析方面，配置雙引擎分析并行執(zhí)行，對流量元數(shù)據(jù)解析、協(xié)議識別與深度解析、日志數(shù)據(jù)分析并行解析，當數(shù)據(jù)處理達到百億級時，利用多顆多核CPU和YARN資源管理調(diào)度，提升并行處理能力。數(shù)據(jù)審計方面，日志數(shù)據(jù)、流量數(shù)據(jù)的處理結果均在Elasticsearch中存儲，充分利用其數(shù)據(jù)高效聚合和檢索的優(yōu)勢，百億級業(yè)務數(shù)據(jù)秒級響應，為用戶帶來極致的體驗。

2.2基于深度學習的AI檢測模型技術

圖4基于深度學習的AI流量閾值預測目前系統(tǒng)中應用到的基于深度學習的AI安全檢測技術，已在產(chǎn)品的流量檢測與趨勢預測（如圖4所示）、C&C檢測、APT分析等多方面進行應用。

對于網(wǎng)絡攻擊的異常流量檢測，通過捕獲大量網(wǎng)絡攻擊流量數(shù)據(jù)，用較少的行為與分析算法，精準捕捉到問題行為與流量，推動威脅事件的定位。

結合工業(yè)現(xiàn)場分區(qū)情況、資產(chǎn)分布情況，充分運用基于深度學習的AI安全檢測模型，對不同安全區(qū)域的歷史流量、單資產(chǎn)的上下行歷史流量進行學習，形成閾值基線并生成告警事件，同時提供對當日流量的趨勢預測。

2.3協(xié)議分析與落地應用系統(tǒng)通過網(wǎng)絡流量數(shù)據(jù)能實時監(jiān)測工控網(wǎng)絡行為和狀態(tài)，檢測工控網(wǎng)絡中的入侵行為、流量異常，追蹤溯源工控網(wǎng)絡安全事件。通過捕獲交換機鏡像口流量，對工業(yè)控制協(xié)議和常規(guī)IT協(xié)議的通信報文進行深度解析，能夠實時檢測工控協(xié)議異常、針對工業(yè)協(xié)議的網(wǎng)絡攻擊報文、未知設備接入、開啟非法服務、用戶誤操作、用戶違規(guī)操作、登錄監(jiān)控以及病毒木馬蠕蟲等利用資產(chǎn)漏洞進行惡意的入侵、傳播和破壞行為，實時檢測并告警。同時對整個網(wǎng)絡通信過程和包括工業(yè)控制協(xié)議會話進行記錄，為安全事故調(diào)查提供依據(jù)。

以下為常見協(xié)議列表：

工業(yè)控制協(xié)議：BACnet、CIP、DNP3、Ethernet_IP、HART_IP、IEC104、IEC61850、ModbusTCP、OPCda、OPCua、COTP、S7、FINS、PROFINET等。

IT協(xié)議：arp、coap、dhcp、dns、ftp、ftp-data、http、tls、icmp、igmp、imap、mpls、mqtt、mysql、nfs、pop、radius、rtmpt、rtsp、rtp、sip、smtp、ssh、stp、telnet、udt、vlan、xmpp等。

2.4資產(chǎn)畫像與拓撲繪制業(yè)務系統(tǒng)及資產(chǎn)在安全評估和問題整改中是基礎核心數(shù)據(jù)，因此資產(chǎn)信息收集的準確性與完整性是安全工作至關重要的一環(huán)。由于工業(yè)環(huán)境復雜、排查困難等歷史原因造成工控資產(chǎn)分布是否運行、資產(chǎn)在業(yè)務系統(tǒng)中的作用不清晰，資產(chǎn)拓撲以自動生成為主，人工干預為輔，幫助企業(yè)快速摸清家底、認清風險、發(fā)現(xiàn)隱患、有效整改。

對于安全I區(qū)、安全II區(qū)重點關注的工程師站、操作員站、接口機及服務器設備，通過在主機上部署Agent，監(jiān)測多重安全指標數(shù)據(jù)，包括高危命令、高危服務、關鍵操作日志、關鍵目錄變更等，實時監(jiān)測工控安全風險。3結語全流量日志AI智能分析系統(tǒng)，是一款具有大數(shù)據(jù)架構的高可用、可彈性擴展的監(jiān)測分析一體機，可同時處理來自采集器的實時的、離線的日志、全流量數(shù)據(jù)。多臺采集器分布式部署，覆蓋整個場站不同安全區(qū)域。系統(tǒng)支持工業(yè)控制協(xié)議、常規(guī)IT協(xié)議深度解析，并對元數(shù)據(jù)、會話數(shù)據(jù)存儲及展示，具備定位復雜事件溯源分析與關聯(lián)分析的能力，對實時全流量數(shù)據(jù)檢測、預警并形成