基于大數據的安防體系建設研究和實踐

傳統(tǒng)的安防體系實現了終端、網絡設備、安防設備和應用系統(tǒng)的統(tǒng)一納管，但隨著云計算、大數據等新技術的發(fā)展，IT架構和服務模式不斷發(fā)生變化，傳統(tǒng)的安防體系如今面臨著諸多問題：核心軟硬件基礎設施中存在多種安全漏洞，網絡設備預制后門也層出不窮；安防設備呈現“孤島化”，各自為戰(zhàn)；各類安全告警事件，數據量大、誤報率高；各類攻擊日益工具化、自動化、組織化，等等。傳統(tǒng)網絡安全防護體系以被動響應為主，缺乏對抗能力和相互關聯的分析能力，導致安全預判能力不足。此外，傳統(tǒng)的安防體系的安全防護重點大多集中在修補漏洞和加固安全基礎設施，但這種純粹的靜態(tài)防御措施無法阻止黑客的蓄意攻擊，更無法阻止漫無目的的隨機性攻擊。在此背景下，本文提出了一種基于大數據的安全防護體系建設思路。在具體實踐的過程中，先通過數據采集、匯聚、清洗、轉換、加工、存儲、治理等流程，利用大數據的技術手段與方法，構建安全數據中臺，包括安全數據中臺和安全資源中臺。然后，通過數據挖掘與融合關聯分析，來實時感知網絡安全運行狀況和安全態(tài)勢，預測可能要發(fā)生的攻擊，監(jiān)測和發(fā)現正在發(fā)生的攻擊，一旦發(fā)現攻擊就自動響應，協同分布在網絡中的網絡安全設備和軟件對攻擊進行處置，支撐應急響應指揮。１安防體系設計思路近年來，業(yè)界已經提出了多種大數據安防體系建設思路，但目前，仍然處于不斷地豐富和完善的階段。研究發(fā)現，大部分安防體系設計思路主要圍繞以下4點展開：（1）安全資源：安全策略的執(zhí)行主體，對接信息通信技術（InformationandCommunicationsTechnology，ICT）環(huán)境資源并提供策略執(zhí)行的結果信息反饋。（2）安全資源管控系統(tǒng)：決策指令（安全策略）的執(zhí)行傳達者，通過對安全資源的能力調度及策略下發(fā)，實現“風險可控”。（3）安全信息感知系統(tǒng)：接收安全資源的數據，提供決策依據和決策執(zhí)行的反饋信息，實現“風險可知”。（4）安全運營決策系統(tǒng)：基于安全信息，通過安全運行進行安全決策，實現組織安全目標“風險可管”。針對大數據安防體系設計思路分析，何健等人提出了構建適用于大數據環(huán)境的、立體動態(tài)的多層次安全防護體系；劉曉軍等人從剖析大數據通用技術架構入手，總結了數據處理的相關流程，分析和對比了數據中臺并總結了其適用范圍和優(yōu)缺點，最后聚焦多級架構模式下數據安全融合技術問題，提出了相應的解決辦法；張翠翠等人

提出了基于數據中臺的數據安全分級防護方案，給出了數據中臺“零信任”安全防護總體架構；賴新等人構建了基于云計算用戶層、數據傳輸層和云計算服務層的數據安全防護體系。經過匯總整理，本文給出了安防體系的參考框架，如圖1所示。圖1安防體系參考框架由圖1可以看出，基于大數據的安全防護體系建設理念包括以下幾點：（1）智能感知系統(tǒng)：由安防設備、網絡設備、物聯網（InternetofThings，IoT）設備等構成，采集與網絡安全相關的數據和信息，就像人類的眼睛、耳朵、鼻子，源源不斷地把脫敏后的安全數據傳輸到“安全大腦”，由“安全大腦”進行智能的分析和決策。（2）大數據湖：存儲網絡安全大數據的平臺，相當于人的記憶中樞。（3）安全知識體系：包括各種威脅情報、安全資源庫、安全分析模型等等，是用于檢測、識別、分析、溯源各類網絡安全威脅的知識庫。（4）智能分析系統(tǒng)：采用人工智能、數據挖掘、可視化計算等一系列分析技術，實現對安全威脅的分析研判和處置。（5）智能學習系統(tǒng)：具備自我學習、自我演進的能力，實現對新的網絡安全威脅、攻擊方法等的識別功能。（6）人機智能交互輔助決策系統(tǒng)：利用安全專家經驗，通過智能人機交互方式，實現對安全威脅檢測、分析、溯源等的輔助決策。２安防體系架構2.1安全大數據平臺架構在參考了上述關于安防建設體系的設計思路與建設理念后，結合實踐特性，本文有針對性地提出了安全大數據平臺的體系架構，如圖2所示。該體系架構從邏輯層次上劃分為安全底座、安全中臺、服務總線、安全應用4個層次。圖2安全大數據平臺架構總體而言，安全大數據平臺架構可概括為“一腦雙核，四輪驅動”，具體由安全數據中臺、安全資源中臺、數據治理、安全事件、國家標準和技術協會（NationalInstituteofStandardsandTechnology，NIST）的網絡安全框架（CyberSecurityFramework，CSF）、數據驅動6個部分組成。其中“一腦雙核”是指以安全數據中臺和安全資源中臺為核心構建的智能感知控制體系：數據中臺提供安全數據采集、處理、分析、組織和集成的通道；資源中臺則是以數據中臺為基礎，為各種安全應用提供數據基礎服務能力。智能感知控制體系以資產為核心構建，不斷流動的安全事件經過安全大腦分析判斷之后反饋給安全管控平臺，通過策略管控手段作用到資產上，形成了管理與控制的通道?！八妮嗱寗印笔侵敢詳祿卫頌槭侄危园踩录橹行?，以NIST的CSF為指導，以場景化驅動豐富的安全應用：數據治理是指構建安全事件主數據體系，如資產、病毒、漏洞、行為、威脅情報庫、安全資源庫等；以安全事件為中心，持續(xù)動態(tài)檢測和響應，在所有感知層收集的數據進入事件中心后，在策略管控下，在安全主數據、威脅庫和安全知識庫指引下進行實時或離線處理，響應系統(tǒng)會做出各種符合相應場景的響應；以NISTCSF框架為指導，構建資源中臺，對外提供包括識別、保護、檢測、響應、恢復在內的完整的安全能力和功能的輸出；以數據驅動豐富的安全應用，通過各類安全應用融合聯動，促使安全從原來的被動、割裂走向融合、場景化且能夠統(tǒng)一管理。由此可以看出，安全數據管控能力的集中性，多種應用場景的適應性，以及支撐業(yè)務發(fā)展的可持續(xù)性是該架構的核心思路。2.2安防體系數據架構在本文建立了安全大數據平臺后，安全防護問題實質上就演變成了數據問題，如何采集、計算、存儲、融合分析數據，直至挖掘出安全威脅是整個安防體系需要考慮的核心問題。如圖3所示，安全大數據平臺的數據架構在設計上與安全大數據平臺的體系架構類似，主要由數據采集層、數據計算層、數據服務層和數據應用層4部分構成。圖3安全大數據平臺數據架構2.2.1數據采集層數據采集層利用大數據技術收集網絡安全信息。從業(yè)務類型來劃分，接入的數據主要包括安防應用系統(tǒng)埋點日志類數據、流量類數據、安全資源類數據、安全知識情報類數據和安全告警類數據等。數據抽取工具和自定義程序實現對數據庫、文本文件、流數據的接入。通過構建數據引接系統(tǒng)，支持多源異構數據接入，引入Kafka數據高速傳輸組件，能夠實現流量削峰，建立高效數據傳輸通道，最大化數據吞吐率，實現數據高速采集傳輸，減少數據時延，滿足對實時性要求更高的應用場景。2.2.2數據計算層對于安全數據分析場景，數據處理需要實現流批一體化。從數據處理實時性來看，對一些時延性要求不高的業(yè)務場景，一般采用批處理方式，而對于實時處理要求比較高的業(yè)務場景，較多采用流式處理引擎，其處理過程為：數據同步工具從業(yè)務系統(tǒng)庫實時增量同步數據到Kafka；數據通過Kafka傳輸，經過消費同步到安全數據平臺的數據湖中；另外數據經過實時計算引擎Flink處理后，直接推送到前端數據應用中，進行數據可視化展示。流式計算的具體處理流程如圖4所示。圖4流式計算處理過程本層引入離線和實時數倉。數據倉庫設計采用分層的設計，這樣設計的原因是對于海量安全數據，需要對數據進行組織規(guī)劃，使其具有清晰的數據結構，方便數據有秩序地流轉，并且在數據開發(fā)過程中，能夠減少重復開發(fā)，統(tǒng)一數據口徑。2.2.3數據服務層經過數據計算后，主要輸出的數據服務能力包括數據資源目錄服務、主數據服務、數據標準、數據共享服務、數據質量服務、數據血緣分析服務和元數據管理服務。每一類數據服務都由一組服務接口組成。2.2.4數據應用層通過數據服務層打通各類安全數據與安全應用的通道，實現無縫銜接，以數據驅動安全業(yè)務發(fā)展。３數據安全中臺實踐3.1安全數據治理平臺早期安全應用系統(tǒng)的建設思路是圍繞如何將業(yè)務IT化，而數據只是這個過程中自然而然產生的結果，即IT化的“副產品”。隨著數據處理技術（DataTechnology，DT）時代的到來，越來越多的企業(yè)認識到了數據資產的重要性以及數據驅動業(yè)務決策和產品智能兩大方面的應用價值，其中數據治理是實現數據效能、數據驅動業(yè)務的關鍵步驟。數據接入引擎從多個業(yè)務源系統(tǒng)收集了很多數據，包括流量、病毒、漏洞等多種數據。分析發(fā)現，這些數據種類多，字段名稱、字符大小不統(tǒng)一。為了能夠充分利用這些數據，需要對這些數據進行治理工作。數據治理是頂層設計、戰(zhàn)略規(guī)劃方面的內容，是數據管理活動的總綱和指導，指明數據管理過程中哪些決策要被制定，以及由誰來負責，更強調組織模式、職責分工和標準規(guī)范。數據治理的本質是組織對數據的可用性、完整性和安全性的整體管理。其中，可用性是指數據可用、可信且有質量保證，不會因為分析結果的準確性造成偏差，可以根據數據分析結果做業(yè)務決策；完整性指數據需覆蓋各類數據應用；安全性指治理和分享過程中安全可控。數據治理的整體方法論是先確定數據應用、數據資產的需求，接著確定需要哪些數據，之后確定從哪種數據源獲取數據。在具體實踐中，這種構建數據流的過程，能夠在很大程度上解決分布在IT系統(tǒng)里各個不同子系統(tǒng)之間的數據孤島問題。用一條完整的數據流將不同子系統(tǒng)之間的數據孤島打通，同時應用于不同的應用場景，這和構建數據倉庫的流程很類似，從某種意義上講，構建數據倉庫本身就是一個數據治理的過程。在實踐過程中，發(fā)現網絡安全數據具有以下特點：（1）數據量大，比如流量數據；（2）數據類型繁多，比如病毒數據、流量數據、漏洞數據等；（3）數據增長速度快，比如各種安防設備、網絡設備、安全應用系統(tǒng)每時每刻都在產生與安全相關的日志信息，比如用戶會話日志信息、用戶操作行為日志等；（4）數據價值密度低，潛在價值高，以流量數據為例，在連續(xù)不斷的流量會話數據中，可能有價值的數據僅僅就那么幾條，但是作為攻擊的某種特征，往往就具有很高的價值。結合數據的特點，在數據倉庫模型建設階段，依靠分布式計算平臺作為支撐，以維度建模為核心理念，基于維度數據模型總線架構，構建一致性的維度和事實，從而構造公共數據模型架構體系。數據模型架構如圖5所示。圖5數據模型架構表數據模型主要分為操作數據（OperationalDataStore，ODS）層、公共維度模型（CommonDataModel，CDM）層和應用數據（ApplicationDataStore，ADS）層3層。其中公共維度模型層包括明細數據（DataWarehouseDetail，DWD）層和數據服務（DataWarehouseService，DWS）層。在ODS層，幾乎無處理地將業(yè)務源數據同步到數據倉庫系統(tǒng)中，根據業(yè)務需求及稽核和審計要求保存歷史數據、清洗數據，同時對數據進行打標簽處理。CDM層用于存放明細事實數據、維表數據以及公共指標匯總數據，其中明細事實表數據包括事務性事實表、周期性快照事實表和累積快照事實表。明細事實數據、維表數據一般根據ODS層數據加工生成，公共指標匯總數據一般根據維表和明細事實數據加工而成。ADS層用于存放數據產品個性化的統(tǒng)計指標數據，根據CDM層和ODS層加工生成。在大數據環(huán)境下，數據治理包含了元數據管理、數據質量管理、主數據管理、數據標準管理和數據安全管理。通過數據治理平臺定義大數據平臺的數據結構、質量規(guī)則和數據標準，實現大數據平臺的數據管控和治理。同時，大數據平臺的分析結果也可以反哺數據治理平臺，形成更多樣的可信賴數據服務。3.2安全大數據湖面對數據架構和數據應用建設的全新挑戰(zhàn)，隨著大數據生態(tài)與技術的融合發(fā)展，本文引入了安全大數據湖的概念。數據湖這一概念最早于2010年由JamesDixon在博客中提出。JamesDixon認為，如果將應用層數據比喻為瓶裝水，即它是經過凈化、過濾、消毒處理后能夠直接飲用的，與之相反，數據湖則管理從各類數據源引接匯聚的原生態(tài)數據。Gartner對數據湖的正式定義：除了原始數據，還有各種數據資產的存儲實例的集合。本文結合數據湖概念與網絡安全應用項目實踐，給出了安全大數據湖存儲組件示意圖，如圖6所示。圖6安全大數據湖存儲組件從數據視角來看，安全大數據湖本質上是一種數據存儲策略。從存儲形式來看，安全大數據湖有基于Hadoop生態(tài)的分布式存儲環(huán)境，同時數據存儲方面擴展了Elasticsearch集群存儲、FastDFS集群存儲、圖數據庫集群存儲和TiDB集群存儲。它們是分布式數據存儲系統(tǒng)，提供海量的數據存儲管理能力，支持海量結構化和非結構數據的混合存儲。搭配TiDB數據庫，實現混合事務和分析處理（HybridTransactionandAnalyticalProcess，HTAP）場景下的高性能數據處理。從技術視角來看，安全數據湖架構不能替代現有信息基礎架構——安全數據平臺架構，相反，它們是現有基礎架構的重要補充。安全數據湖是一種現代化的支持數據管理、數據分析、應用創(chuàng)新的基礎架構，能夠實現新的信息訪問和數據處理機制，支持日益復雜、多樣化、分布式的工作負載。3.3安全數據分析平臺隨著網絡攻擊日益增多，攻擊手段也越來越先進、復雜，危害程度也呈上升趨勢，行業(yè)開始尋求自動化網絡安全解決方案。大數據技術、機器學習等人工智能技術的快速發(fā)展，推動了網絡安全技術的不斷升級，現如今已經可以通過AI分析進行數據的挖掘和預測。如圖7所示，本文給出了網絡安全數據挖掘分層示意圖，總共包括特征數據層、中間數據層和應用場景層3層。圖7網絡安全數據挖掘分層在基于收集匯聚安全數據的前提下，對全網數據進行分析，通過定義不同的分析場景建立相應的行為分析規(guī)則，如異常分析、流量分析、脆弱性分析等，在中間數據層，結合攻擊策略、技術和常識（AdversarialTactics，TechniquesandCommonKnowledge，ATT&CK）知識框架體系、威脅情報知識體系、安全資源知識體系、資產體系等，采用統(tǒng)計、碰撞、關聯、預測、機器學習、知識推理等手段將分析模型分別映射到攻擊階段和技戰(zhàn)術，從而建立系統(tǒng)內部的ATT&CK知識體系。結合ATT&CK知識體系，對全網數據進行行為分析、脆弱性分析和網絡流量分析，將分析結果分別映射于ATT&CK知識框架中的攻擊階段和技戰(zhàn)術，建立系統(tǒng)內部的ATT&CK知識體系。依據ATT&CK知識體系追蹤攻擊者的活動軌跡，發(fā)現攻擊者當前所處的攻擊階段，從而進行有效地響應阻斷、追溯、行為確認等。同時為展示完整的攻擊鏈提供數據支撐，如攻擊者利用釣魚郵件、水坑等攻擊或使用帶毒外設讓內網主機反向連接，然后攻擊者利用持久化或提權等相關技術控制內網終端，進而啟動惡意軟件掃描內網中其他主機，最后利用相關掃描信息控制目標主機并造成數據泄露。整個ATT&CK的攻擊鏈路為初始訪問—持久化—權限升級—掃描發(fā)現—橫向移動—數據滲漏。以安全事件溯源分析為例，安全事件溯源分析能夠基于海量異構數據進行威脅數據采集分析，支持從大量網絡安全數據及安全事件中找出存在的關系，并從這些數據中抽取出真正重要的少量數據。借助先進的智能事件關聯分析引擎，平臺能夠實時不間斷地對所有范式化后的日志流進行安全事件關聯分析。結合全網數據（流量數據、終端數據、脆弱性數據等）及分析結果數據（終端行為數據）對發(fā)現的威脅事件進行溯源分析，如追溯病毒的來源、傳播途徑、感染范圍等。外設接入、文件傳輸、網絡連接等行為結合終端病毒日志、網絡流量日志、威脅情報檢測結果日志等數據進行綜合分析并追溯病毒來源及發(fā)現疑似病毒傳播的行為，如在使用的外設中發(fā)現病毒，傳輸的文件中發(fā)現病毒，網絡病毒攻擊等。同時支持下鉆到原始數據來對攻擊事件進行分析取證，并對回溯到的攻擊源，利用威脅信息進行驗證。此外，支持攻擊鏈模型對攻擊事件進行溯源分析，通過將產生的安全事件按攻擊過程分為信息收集、網絡入侵、命令控制、橫向滲透、目標達成、痕跡清理等類別，在真實的攻擊事件發(fā)生后，通過攻擊鏈模型結合人工分析判斷，找到真實攻擊源。3.4安全數據服務共享平臺安全中臺承載著整合分享內部所有數據的角色，它將所有的數據整合在一起，并通過權限控制，充分地實現數據共享，從而聚合所有業(yè)務部門去探索數據的應用。安全數據服務基于大數據架構提供統(tǒng)一的數據服務能力，是數據對外開放和“縱向貫通”“橫向互聯”的共享通道。它提供實時接口服務和批量作業(yè)服務，從數據定義、服務開發(fā)、服務消費、運行監(jiān)控4個方面著手，實現數據資源的閉環(huán)管理。數據服務共享平臺包括資源目錄管理、數據使用、數據服務開發(fā)、服務控制、調度管理、運行監(jiān)控、運行維護和數據分析與信息展現，平臺應用架構如圖8所示。圖8數據服務共享平臺應用架構3.4.1資源目錄與元數據管理資源目錄與元數據管理是可交換數據元數據的結構化展現。該應用支持數據庫、大數據、Web服務等多類型數據資源技術元數據的采集和業(yè)務元數據的維護能力，支持面向消費者業(yè)務視圖（比如按主題劃分）的創(chuàng)建，提供資源注冊、維護和搜索等功能。3.4.2數據使用數據使用應用主要面向消費方，消費者可通過平臺申請數據資源及數據管理方審批處理；消費者可通過注冊功能自行在平臺注冊，并可在瀏覽數據資源后提交資源申請（