2022年大數(shù)據(jù)安全運維一體化平臺建設(shè)方案

1、大數(shù)據(jù)安全運維一體化平臺建設(shè)方案數(shù)據(jù)驅(qū)動安全關(guān)于項目背景 隨著IT業(yè)務(wù)和產(chǎn)品服務(wù)的多樣化，使得業(yè)務(wù)系統(tǒng)產(chǎn)生的數(shù)據(jù)急劇增長，同時所需的設(shè)備數(shù)量和安全設(shè)施也隨之增加。如何能更好的使用這些數(shù)據(jù)，提高處理效率，成了迫在眉睫的任務(wù)，其中首先要實施的是：安全大數(shù)據(jù)，通過收集對應(yīng)各類安全設(shè)備日志與網(wǎng)絡(luò)流信息，清洗歸并，進(jìn)行對應(yīng)規(guī)則判斷，以及分析建模。應(yīng)用大數(shù)據(jù)，能夠快速而精確地供系統(tǒng)負(fù)責(zé)人查詢到需要的信息與上下文。監(jiān)控大數(shù)據(jù)，收集各類監(jiān)控子系統(tǒng)詳細(xì)事件信息，清洗切分，供搜索與橫向規(guī)則判斷（規(guī)則引擎），并能做對應(yīng)分析計算（如監(jiān)控基線）。目錄 Table of Contents系統(tǒng)技術(shù)架構(gòu)系統(tǒng)基礎(chǔ)平臺安全分析運

2、維分析應(yīng)用分析系統(tǒng)技術(shù)架構(gòu)大數(shù)據(jù)安全運維一體化分析系統(tǒng) 大數(shù)據(jù)安全運維一體化分析系統(tǒng)，是一款基于大數(shù)據(jù)、機(jī)器學(xué)習(xí)、模式識別等技術(shù)的企業(yè)級智能安全運維分析平臺，它具有海量數(shù)據(jù)采集、集中存儲、快速檢索、實時分析及告警、可視化展現(xiàn)和報告等功能。為企業(yè)安全事件及異常行為檢測、安全態(tài)勢感知、運維管理和應(yīng)用分析提供了一個智能、高效、可靈活擴(kuò)展的解決方案。 本系統(tǒng)采用旁路快速檢測方式，是對現(xiàn)有安全運維體系的有效補(bǔ)充，亦可看做下一代的安全信息及事件管理系統(tǒng)和運維分析平臺，并可逐步替代現(xiàn)有分析系統(tǒng)。 技術(shù)架構(gòu)系統(tǒng)基礎(chǔ)平臺 安全運維一體化系統(tǒng)提供完善的資產(chǎn)管理系統(tǒng)，為網(wǎng)絡(luò)中的所有資產(chǎn)建立安全檔案卡，資產(chǎn)信息包括以

3、下信息：基礎(chǔ)信息：資產(chǎn)名稱、IP地址、所屬部門、安全域、設(shè)備類型、地理位置、負(fù)責(zé)人等；安全屬性：可用性、完整性和保密性以及資產(chǎn)價值；弱點屬性：資產(chǎn)漏洞信息、安全配置信息等；資產(chǎn)管理數(shù)據(jù)采集范圍網(wǎng)絡(luò)安全設(shè)備、主機(jī)操作系統(tǒng)、數(shù)據(jù)庫、中間件、應(yīng)用系統(tǒng)；抽樣網(wǎng)絡(luò)流量：NetFlow信息；全流量數(shù)據(jù)： 網(wǎng)絡(luò)全流量數(shù)據(jù)包；日志網(wǎng)絡(luò)流量威脅情報惡意域名和URL、惡意IP地址、DNS信息、木馬病毒信息（MD5/SHA-1）等；內(nèi)部數(shù)據(jù)外部數(shù)據(jù)數(shù)據(jù)采集方案日志網(wǎng)絡(luò)設(shè)備安全設(shè)備數(shù)據(jù)庫中間件Syslog/SNMP數(shù)據(jù)庫JDBC日志采集模塊安裝Agent主機(jī)操作系統(tǒng)應(yīng)用系統(tǒng)FTP/Kafka/HDFS數(shù)據(jù)采集方案網(wǎng)絡(luò)

4、流量Internet出口路由器核心交換機(jī)大數(shù)據(jù)安全分析平臺各節(jié)點Hansight NCHansight NCNC旁路連接并采集用戶端鏡像網(wǎng)絡(luò)數(shù)據(jù)：1、源IP，目標(biāo)IP2、協(xié)議類型、端口號3、TCP會話狀態(tài)信息（建鏈、拆鏈、重傳等）4、報文尺寸與數(shù)量5、組包和解包6、報文內(nèi)容解析HanSight安全運維分析一體化系統(tǒng)的微服務(wù)構(gòu)架HanSight安全運維分析系統(tǒng)的優(yōu)勢基于特征庫規(guī)則的應(yīng)對場景比例變小，機(jī)器學(xué)習(xí)輔助成為必須以數(shù)據(jù)驅(qū)動安全，實現(xiàn)：數(shù)據(jù)全方位可見實時安全數(shù)據(jù)算法分析加人工輔助適合企業(yè)的安全運維一體化策略強(qiáng)大的底層存儲分析架構(gòu)和邏輯引擎算法分析流程適合安全分析的無監(jiān)督學(xué)習(xí)為主有人工輔助的半

5、監(jiān)督學(xué)習(xí) 無監(jiān)督異常分析 人工確定異常 產(chǎn)生標(biāo)記樣本 半監(jiān)督學(xué)習(xí) 性能基準(zhǔn)入庫： 30000EPS實測單獨入庫最高可接近20000EPS，為保證查詢性能，以當(dāng)前配置可使其較穩(wěn)定運行查詢簡單查詢一天數(shù)據(jù)（3億條）： 1s簡單查詢七天數(shù)據(jù)（25億條）： 10s采集器性能單個采集器讀取文件：20000EPS （多文件可并行處理）安全分析大數(shù)據(jù)安全分析數(shù)據(jù)日志NetFlow全流量威脅情報資產(chǎn)信息實時數(shù)據(jù)檢測關(guān)聯(lián)分析引擎安全規(guī)則庫歷史數(shù)據(jù)分析交互分析異常行為分析安全事件網(wǎng)絡(luò)攻擊木馬病毒漏洞利用非法訪問安全告警高級中級低級全文檢索可視化分析統(tǒng)計分析數(shù)據(jù)建模機(jī)器學(xué)習(xí)數(shù)據(jù)泄露病毒爆發(fā)登陸異常溯源分析威脅場景還

6、原戰(zhàn)損分析處理措施行為基線圖分析威脅情報安全威脅情報模塊大數(shù)據(jù)安全管理平臺安全威脅情報公有云威脅檢測請求API調(diào)用結(jié)果返回結(jié)果返回安全威脅情報私有云大數(shù)據(jù)安全管理平臺數(shù)據(jù)擺渡結(jié)果返回安全威脅情更新工具威脅檢測請求辦公網(wǎng)環(huán)境隔離網(wǎng)環(huán)境 實時關(guān)聯(lián)分析：大數(shù)據(jù)安全管理平臺通過基于Spark Streaming技術(shù)實現(xiàn)的強(qiáng)大的CEP引擎，對系統(tǒng)采集的實時數(shù)據(jù)流進(jìn)行關(guān)聯(lián)分析。 關(guān)聯(lián)的模式包括統(tǒng)計關(guān)聯(lián)、資產(chǎn)關(guān)聯(lián)、情報關(guān)聯(lián)、模式關(guān)聯(lián)、漏洞關(guān)聯(lián)、策略關(guān)聯(lián)等； 實時數(shù)據(jù)分析-關(guān)聯(lián)分析 全文檢索：歷史數(shù)據(jù)分析-交互分析 可視化分析： 統(tǒng)計分析：歷史數(shù)據(jù)分析-異常行為分析UEBA：用戶實體異常行為分析：以部門、個人

7、、資產(chǎn)、資產(chǎn)群等為單位建立行為基線；關(guān)聯(lián)用戶與資產(chǎn)的行為；用機(jī)器學(xué)習(xí)算法或者預(yù)定義規(guī)則找出嚴(yán)重偏離基線的異常行為； 采用技術(shù)：機(jī)器學(xué)習(xí)基線分析圖分析：采用無監(jiān)督機(jī)器學(xué)習(xí)算法；計算結(jié)果易于可視化，便于理解；覆蓋整個一片安全事件，不是孤立的點； 機(jī)器學(xué)習(xí)：大數(shù)據(jù)管理平臺可建立特定的網(wǎng)絡(luò)威脅分析模型，定時的對網(wǎng)絡(luò)中的APT攻擊進(jìn)行檢測分析，如僵尸網(wǎng)絡(luò)、低速掃描、惡意URL分析等機(jī)器學(xué)習(xí)分布式機(jī)器學(xué)習(xí)算法 Spark集群標(biāo)準(zhǔn)化事件建模器異常檢測異常訪問歷史學(xué)習(xí)實時異常檢測關(guān)聯(lián)安全事件歷史數(shù)據(jù)實時數(shù)據(jù)系統(tǒng)其它日志正常訪問模型 基線分析：企業(yè)內(nèi)用戶的行為模式，只要所屬部門和角色不變，就不會發(fā)生太大變化。服

8、務(wù)器或者其他資源也類似。通過算法把變化幅度量化，數(shù)值超過基準(zhǔn)過高的就是異常事件，而安全事件必然是從異常事件開始?；€分析如：三個分析維度：郵件、HTTP訪問量、登錄。每一個維度包括總量（柱寬度、維度值分布百分比），右邊是均值的對比。紅色代表異常。所以第一個圖表示此用戶郵件發(fā)給 的數(shù)量（寬度）遠(yuǎn)大于當(dāng)天同部門平均值。右邊代表其登錄失敗比例遠(yuǎn)大于同部門平均值。圖分析列出單一某個時間段系統(tǒng)用戶（2/1日8:00-9:00）的行為圖下一步的問題：2/1日8:00-9:00和平時8:00-9:00行為有何差異？和其他用戶2/1日8:00-9:00的差異？和整個一年的8:00和9:00行為有何差異？安全場

9、景（低速掃描）威脅名稱：低速掃描數(shù)據(jù)輸入：防火墻日志檢測對象：重要服務(wù)器長周期通信模型分析過程：用戶自定義需要分析的服務(wù)器和周期；利用多變量時間序列聚類算法，把源IP按目的端口和目的IP的通訊行為聚合成多類，過濾無異常的類；一張圖上可視化每類的每天變化情況，用戶可精確定位到具體IP、目的端口、時間；實際效果：作為用戶每天基本運維的內(nèi)容；每個月發(fā)現(xiàn)約12起低速掃描事件；安全場景（撞庫攻擊）威脅名稱：撞庫攻擊數(shù)據(jù)輸入：網(wǎng)銀應(yīng)用系統(tǒng)訪問日志檢測對象：網(wǎng)銀近400個敏感 URL，涵蓋注冊、登錄、密碼重置等分析過程：用戶自定義需要分析的URL；對這些URL建立ARIMA模型；每天入庫信息與模型比對；與模

10、型不匹配則產(chǎn)生預(yù)警信息；用戶根據(jù)預(yù)警進(jìn)一步確認(rèn)；實際效果：作為用戶每天基本運維的內(nèi)容；目前預(yù)警頻次約23次/周；已幫用戶發(fā)現(xiàn)及溯源超過20次的風(fēng)險；安全場景（賬號異常）挑戰(zhàn)：隨著移動辦公和BYOD的普及，企業(yè)越來越難從正常的行為找出被盜用的賬號行為。HanSight解決方法HanSight Enterprise自動建立特定用戶的畫像，包括他的合法行為白名單和行為基線用戶行為分析引擎?zhèn)蓽y用戶的異常行為，例如從可疑位置登錄，或是訪問和平時完全不同的數(shù)據(jù)或數(shù)據(jù)量，或是把數(shù)據(jù)上傳至公司外部的可疑地址系統(tǒng)可以提供該用戶最近的所有行為給安全管理員進(jìn)行進(jìn)一步的詳細(xì)調(diào)查安全場景（關(guān)聯(lián) URL 訪問統(tǒng)計和基線）

11、安全場景（奇異值及請求來源分析）安全場景（訪問時間線分析）運維分析監(jiān)控大數(shù)據(jù)監(jiān)控分為系統(tǒng)級、應(yīng)用級、業(yè)務(wù)邏輯系統(tǒng)級： 硬件和網(wǎng)絡(luò)狀況應(yīng)用級： 應(yīng)用軟件的健康情況業(yè)務(wù)邏輯：業(yè)務(wù)功能和時間延遲系統(tǒng)級監(jiān)控采集端采集SNMP數(shù)據(jù)系統(tǒng)日志流量數(shù)據(jù)主動探測現(xiàn)有IT監(jiān)控系統(tǒng)如： zabbix, nagios系統(tǒng)級監(jiān)控展示（設(shè)備狀態(tài)）系統(tǒng)級監(jiān)控展示（網(wǎng)絡(luò)狀態(tài)）分析告警單數(shù)據(jù)源簡單規(guī)則，通過對每次最新的監(jiān)控數(shù)據(jù)進(jìn)行閾值比較上下限閾值比較數(shù)據(jù)存活性比較單數(shù)據(jù)源組合規(guī)則，對簡單規(guī)則的結(jié)果進(jìn)行進(jìn)一步的處理，來減少告警量多次告警，當(dāng)觸發(fā)的事件在一段時間內(nèi)超過一定的次數(shù)時告警冷卻，當(dāng)同一告警多次出現(xiàn)時，進(jìn)行相應(yīng)的冷處理。

12、 變化告警，當(dāng)監(jiān)控數(shù)據(jù)與前一時間點差別很大時，進(jìn)行告警。 多數(shù)據(jù)源組合規(guī)則，對多個數(shù)據(jù)源進(jìn)行計算后獲得： 基線告警，當(dāng)數(shù)據(jù)與基線數(shù)據(jù)差別較大時，進(jìn)行相應(yīng)的告警組合運算，可以計算比例超過低于閾值后告警基線計算規(guī)則基線算法以周為單位，尋找前三周相同時間點為采樣數(shù)據(jù)，計算當(dāng)前時間點的基線。具體算法為：以當(dāng)前計算時間點為基準(zhǔn)，分別向前倒退7天（一周），14天（二周），21天（三周），可以得到三個時間節(jié)點:A1,A2,A3；以每一個新時間節(jié)點（A1-A3）為基準(zhǔn)，分別倒退36小時（A-36h），推前12小時（A+12h），這樣將得到一個48小時的區(qū)間（B0-B39）在這48小時時間區(qū)間內(nèi)，再以每一個小時

13、為時間區(qū)間，取48個采樣值，例如交易量基線，則計算每小時交易量的總量數(shù)據(jù)作為該小時內(nèi)的采樣值通過計算A1-A3的采樣值，總計可以獲取48*3=144個采樣值計算這144個采樣值的均值：V與方差：S最后通過配置浮動系數(shù)()，求得基線數(shù)據(jù)：V+S應(yīng)用分析應(yīng)用分析大數(shù)據(jù)應(yīng)用分析根據(jù)來源可以分為日志數(shù)據(jù)分析和網(wǎng)絡(luò)解包分析日志數(shù)據(jù)分析： 分析應(yīng)用提供的日志數(shù)據(jù)，優(yōu)點是準(zhǔn)確，易于擴(kuò)展，缺點是需要應(yīng)用支持和部署略復(fù)雜網(wǎng)絡(luò)解包分析： 分析網(wǎng)絡(luò)流量中的用戶數(shù)據(jù)，優(yōu)點是對業(yè)務(wù)無影響，缺點是開發(fā)比較復(fù)雜數(shù)據(jù)全文檢索/條件檢索核心SOP交易數(shù)據(jù)分析（交易返回碼和交易量分析）核心SOP交易數(shù)據(jù)分析（交易成功率分析）第一步：建立數(shù)據(jù)模型第二步：發(fā)現(xiàn)可疑號碼第三步：鉆取關(guān)聯(lián)分析黑洞模型：賬戶大量轉(zhuǎn)入交易火山模型：賬戶大量轉(zhuǎn)出交易業(yè)務(wù)場景分析 （反欺詐）威脅名稱：盜用身份證開戶及資金轉(zhuǎn)入轉(zhuǎn)出異常數(shù)據(jù)輸入：網(wǎng)銀應(yīng)用系統(tǒng)日志檢測對象：網(wǎng)銀資金交易用戶分析過程：自定義分析的網(wǎng)銀交易日志周期；將海量用戶手機(jī)號、賬戶號和身份證號碼進(jìn)行關(guān)聯(lián)并可視化展示；發(fā)現(xiàn)盜用大量身份證頻繁開戶的用戶；進(jìn)一步鉆取分析，查看到可疑的用戶手機(jī)號及所有相關(guān)的賬戶和身份證號；同時發(fā)現(xiàn)相關(guān)賬戶有金融業(yè)務(wù)風(fēng)險中的“火山”和“黑洞”情況出現(xiàn)；實際效果：作為用戶每天基本運維的內(nèi)容；已幫用戶發(fā)現(xiàn)多起賬戶異常交易行為；分析告警單數(shù)