攻防對抗中的加密惡意流量分析技術(shù)

加密是保護(hù)隱私的一個重要手段，能夠保護(hù)數(shù)據(jù)不被窺視，阻止攻擊者竊取信息、應(yīng)用或口令。近年來，流量加密被視為互聯(lián)網(wǎng)發(fā)展的一個重要風(fēng)向標(biāo)，尤其是2020年新冠肺炎疫情全球蔓延爆發(fā)，遠(yuǎn)程居家辦公、遠(yuǎn)程教學(xué)和遠(yuǎn)程會議等一系列場景的高頻次亮相，加劇了對流量加密的需求。通常情況下認(rèn)為加密即安全，這個觀點具有相對性，在復(fù)雜的互聯(lián)網(wǎng)環(huán)境中，易遭受外部攻擊，簡單的加密方式無法保障信息的機密性、完整性、可用性等屬性的安全。在面對流量時，攻擊者會借助加密流量實施惡意攻擊，產(chǎn)生更具破壞性的行為。國際研究機構(gòu)Gartner認(rèn)為，截至2020年，超過60%的企業(yè)將無法有效解密超文本傳輸安全協(xié)議（HyperTextTransferProtocoloverSecureSocketLayer，HTTPS）流量，而對抗這些威脅的手段將會受制于反解密系統(tǒng)，加密流量中將隱藏超過70%的網(wǎng)絡(luò)惡意軟件。根據(jù)CybersecurityVentures調(diào)查顯示，與2019年企業(yè)每14秒遭受一次勒索軟件攻擊相比，2021年該時間縮短至11秒，這使勒索軟件成為增長最快的網(wǎng)絡(luò)犯罪類型。2021年，全球因勒索軟件造成的損失預(yù)計達(dá)到200億美元，遠(yuǎn)高于2015年的3.25億美元。因此，及時、快速地識別、分析加密惡意流量，對提升網(wǎng)絡(luò)安全韌性、凈化網(wǎng)絡(luò)空間具有重要意義。1研究現(xiàn)狀針對加密流量，目前主流的攻擊分析手段包括解密后分析和不解密分析。由于在解密過程中會受到隱私保護(hù)相關(guān)法律法規(guī)的嚴(yán)格限制，當(dāng)前，業(yè)界主要使用不解密流量的方法分析攻擊行為，并且在不解密直接從加密流量中檢測惡意流量方面，已經(jīng)取得了一些研究成果。潘吳斌等人總結(jié)了加密流量識別的架構(gòu)體系，詳述了加密流量識別的類型，如協(xié)議、應(yīng)用和服務(wù)，概述已有加密流量識別技術(shù)，并從多個角度進(jìn)行分析對比；王瑛等人通過建立加密流量檢測框架，運用關(guān)鍵技術(shù)和相關(guān)方法對加密流量監(jiān)測進(jìn)行了剖析；駱子銘等人介紹了傳輸層安全協(xié)議（TransportLayerSecurity，TLS）的特點和流量識別方法，提出了一種基于機器學(xué)習(xí)的分布式自動化的加密惡意流量檢測體系，利用多個流量特征進(jìn)行深入分析，并通過實驗對相關(guān)算法的性能做了對比；曾勇等人綜述了多種識別加密惡意流量的方法，包括基于機器學(xué)習(xí)、密碼學(xué)等多領(lǐng)域方法，對識別加密惡意流量有著重要的指導(dǎo)作用。以上專家學(xué)者對加密流量的研究都有自己的見解，本文梳理了加密流量識別技術(shù)現(xiàn)狀，以惡意流量特征分析為主線，聚焦加密惡意流量特征的多種識別方法，探討前沿技術(shù)在加密惡意流量分析領(lǐng)域的應(yīng)用，為后續(xù)研究工作指出了方向。2惡意流量分類從總體來看，加密流量可以分為加密正常流量和加密異常流量，在絕大多數(shù)情況下，加密異常流量又可分為良性的加密異常流量（如某個參數(shù)的改動或某種訪問的增加導(dǎo)致的流量異常）和惡意的加密流量，在加密流量的分類中，加密惡意流量是最難也是最具危險性的流量，其中隱藏了許多已知或未知的威脅。通過對流量的細(xì)化區(qū)分，能夠有針對性地采取控制措施，有效地識別、分析、阻斷加密惡意流量，對提升網(wǎng)絡(luò)安全防護(hù)能力具有重大意義。惡意流量按照攻擊行為可歸納為以下3種類型。（1）惡意軟件使用加密通信。這一類主要是指惡意代碼、惡意軟件為逃避安全產(chǎn)品和人工的檢測，使用加密通信來偽裝或隱藏明文流量特征。例如，用加密的方式來偽裝或隱藏攻擊行為的特洛伊木馬、感染式病毒、蠕蟲病毒、惡意下載器等。（2）加密通道側(cè)的惡意攻擊行為。這一類主要是指攻擊者利用已建立好的加密通道發(fā)起攻擊。攻擊行為包括掃描探測、暴力破解等。（3）惡意或非法加密應(yīng)用。這一類主要是指使用加密通信的一些惡意、非法應(yīng)用。相比按照惡意流量攻擊行為劃分，學(xué)術(shù)界更側(cè)重于根據(jù)惡意流量的內(nèi)容特征、數(shù)據(jù)流特征及網(wǎng)絡(luò)連接行為特征等具體特征進(jìn)行劃分。不同的特征有各自典型的特點，內(nèi)容特征包括惡意流量協(xié)議段中特有的值以及負(fù)載中含有的特殊字符序列，數(shù)據(jù)流特征和網(wǎng)絡(luò)連接行為特征都是通過對采集的數(shù)據(jù)進(jìn)行統(tǒng)計分析得到的，可統(tǒng)稱為統(tǒng)計特征。數(shù)據(jù)流特征可以從網(wǎng)絡(luò)層、傳輸層和應(yīng)用層的切片中提取，提取過程通常是先計算流量統(tǒng)計值，再從這些統(tǒng)計值中提取惡意流量特征。此外，加密惡意流量的劃分也有根據(jù)行業(yè)特點來進(jìn)行細(xì)分的，如物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)等，每個行業(yè)會根據(jù)自身行業(yè)涉及的流量進(jìn)行細(xì)粒度的劃分?？傊?，加密惡意流量的劃分沒有絕對的標(biāo)準(zhǔn)與統(tǒng)一的規(guī)則，無論哪種劃分方式都離不開惡意流量的特征、行為等關(guān)鍵的評判基礎(chǔ)，隨著網(wǎng)絡(luò)的不斷演進(jìn)，技術(shù)的不斷發(fā)展，加密惡意流量的監(jiān)測分析手段越來越多樣，誤報率、漏報率等關(guān)鍵指標(biāo)可靠性越來越高，但同時也應(yīng)該看到，在加密惡意流量監(jiān)測分析方面的研究任重道遠(yuǎn)，攻與防相互對立且依存。3關(guān)鍵識別技術(shù)加密流量中使用何種方法來檢測惡意流量至關(guān)重要，其中，特征是分析的關(guān)鍵，按照流量產(chǎn)生的路徑，從源端到目的端，從數(shù)據(jù)產(chǎn)生、封裝到流量傳輸，涉及多種特征，如數(shù)據(jù)包大小、方向、協(xié)議、流量的分類（服務(wù)、應(yīng)用）等。使用的分析方法包括統(tǒng)計、分類、機器學(xué)習(xí)及混合方法，在面對復(fù)雜多樣、數(shù)據(jù)種類繁多、終端設(shè)備各異的網(wǎng)絡(luò)環(huán)境時，需要結(jié)合實際情況選取合適的分析方法，從特征分析的特點可分為基于單維的特征和基于多維的特征，單維特征顧名思義是指聚焦數(shù)據(jù)的某一個特征，而多維特征涉及多個特征，目的均是提高識別的準(zhǔn)確性。3.1基于單維特征流量分析3.1.1證書特征證書在網(wǎng)絡(luò)中廣泛應(yīng)用，是進(jìn)行信息交互的第一道門檻，是保障網(wǎng)絡(luò)安全的重要手段之一。服務(wù)器證書是安全套接層協(xié)議（SecureSocketLayer，SSL，該協(xié)議位于TCP/IP協(xié)議與各種應(yīng)用層協(xié)議之間，為數(shù)據(jù)傳輸提供安全支持）中用來對服務(wù)器身份進(jìn)行驗證的文件，目前，證書頒發(fā)機構(gòu)按照驗證級別將證書分成3種類型，即域名型（DomainValidation，DV）證書、企業(yè)型（OrganizationValidation，OV）證書和增強型（ExtendedValidation，EV）證書。其相應(yīng)的服務(wù)器身份認(rèn)證證書就是DVSSL證書、OVSSL證書和EVSSL證書，其中，DVSSL證書是給網(wǎng)站頒發(fā)的證書，審核不是很嚴(yán)格，一般免費居多；OVSSL證書一般收費，面向申請的企業(yè)做審核；EVSSL證書指遵循全球統(tǒng)一的嚴(yán)格身份驗證標(biāo)準(zhǔn)頒發(fā)的SSL證書，是目前業(yè)界最高安全級別的SSL證書。按照客戶端與服務(wù)器會話建立的流程，正常會話會傳輸證書，惡意的會話絕大多數(shù)不會傳輸證書或者利用證書來隱藏惡意活動，這給網(wǎng)絡(luò)安全帶來了一定的威脅與挑戰(zhàn)。結(jié)合本文研究的方向，目前，通過證書來識別加密惡意流量的基本思路是通過比對惡意證書特征庫，快速識別惡意的加密流量。具體來說，在惡意操作過程中依然會用到加解密及信任證書，通過搜集匯總大量已知的惡意流量的證書特征，對其版本號、名稱、簽發(fā)時間等信息做詳細(xì)記錄并進(jìn)行大數(shù)據(jù)分析，如惡意證書的常見特征包括自簽名、長期的證書有效期及證書擴展數(shù)目等，在檢測惡意流量時，通過比對惡意證書特征庫，來驗證其是否為惡意流量。此外，基于證書文本數(shù)據(jù)進(jìn)行手工特征提取也是識別惡意證書的熱點研究方向。3.1.2數(shù)據(jù)包特征除了上述提到的證書特征，數(shù)據(jù)包特征也是加密惡意流量識別的重要技術(shù)，在流量中，數(shù)據(jù)包屬于較小單位，通過對加密流量中的數(shù)據(jù)包特征進(jìn)行提取，能夠?qū)崿F(xiàn)對加密流量中載荷內(nèi)容的分類和識別。數(shù)據(jù)單元統(tǒng)計特征包括數(shù)據(jù)包大小、到達(dá)時間序列和字節(jié)分布等。數(shù)據(jù)包數(shù)量在正常通信和惡意軟件在通信時是不同的，瀏覽網(wǎng)頁時客戶端向服務(wù)端的請求數(shù)據(jù)包通常較少，而服務(wù)端回復(fù)客戶端的響應(yīng)數(shù)據(jù)包非常多，但是惡意軟件完全相反，服務(wù)端僅向客戶端發(fā)送少量的控制命令，而客戶端因為進(jìn)行數(shù)據(jù)回傳會向服務(wù)端發(fā)送大量的數(shù)據(jù)包。由于數(shù)據(jù)包體量特征不受數(shù)據(jù)加密的影響，所以非常適合用于加密流量的檢測。此外，還可以從數(shù)據(jù)流量大小來看，上下行流量通常情況下存在下行遠(yuǎn)大于上行，惡意流量則相反，當(dāng)出現(xiàn)上行流量比較大時，需要結(jié)合網(wǎng)絡(luò)情況綜合研判其是良性的流量增長還是惡意的流量攻擊。這種方法較為復(fù)雜，有時候需要結(jié)合外部的情報分析，但數(shù)據(jù)包中的信息是豐富且復(fù)雜的，某一字段的增加或者更改都可能是一種惡意行為的特征，基于數(shù)據(jù)包的加密惡意流量特征分析能力也需要更多的技術(shù)手段來提升。3.1.3協(xié)議特征為保障網(wǎng)絡(luò)安全，搭建了很多互聯(lián)網(wǎng)加密協(xié)議，如傳輸層安全協(xié)議TLS、安全外殼協(xié)議（SecureShell，SSH）和安全電子交易協(xié)議（SecureElectronicTransaction，SET）等。其中，TLS協(xié)議是當(dāng)前業(yè)界常用的加密通信協(xié)議之一，TLS協(xié)議位于傳輸層和應(yīng)用層之間，用于兩個通信應(yīng)用程序之間保障其保密性和數(shù)據(jù)完整性。其相應(yīng)的基于TLS協(xié)議的加密流量也成為業(yè)界主流，但在增強安全性的同時也帶來了網(wǎng)絡(luò)安全風(fēng)險。很多惡意流量借助TLS協(xié)議隱藏在加密流量中，對網(wǎng)絡(luò)和業(yè)務(wù)的安全帶來了極大的威脅。TLS協(xié)議是由握手協(xié)議、記錄協(xié)議、更改密文協(xié)議和警報協(xié)議組成。TLS一個握手流程如圖1所示，該流程主要包含clienthello、serverhello、client_key_exchange、encrypted_handshake_message等類型的消息。這幾個階段包括協(xié)議版本協(xié)商、密碼算法協(xié)商、身份認(rèn)證以及密鑰交換、會話密鑰等信息的確定，目前TLS1.3版本以下在握手階段都是明文傳輸，這也成為了很多攻擊者利用的對象。加密惡意流量通常包括以下3類特征：內(nèi)容特征、數(shù)據(jù)流特征和網(wǎng)絡(luò)連接行為特征，根據(jù)不同的特征可以從流量中識別出來。正常的加密流量和加密惡意流量在密碼算法使用、密鑰長度使用等方面具有很大的區(qū)別。在密碼算法使用上，惡意流量中通常使用已經(jīng)過時的或者已被證明不再安全的算法，如MD5、RC4等；在密鑰長度使用上，正常的加密流量可能采用基于橢圓曲線的256位密鑰長度，而惡意流量中則使用基于RSA的2048位密鑰長度；在簽名方式上，惡意流量通常采用自簽名的方式，缺乏信任。因此，通過檢測TLS協(xié)議交互的報文信息，根據(jù)其特征，可以識別加密惡意流量。圖1TLS握手流程3.2基于多維特征流量分析隨著大數(shù)據(jù)的不斷發(fā)展，機器學(xué)習(xí)、深度學(xué)習(xí)等大數(shù)據(jù)分析方法得到崛起與普遍應(yīng)用。利用自動化手段的識別技術(shù)可以極大地提升流量識別效率及使用便捷性，同時效果評價指標(biāo)成為衡量各種方法的重要指標(biāo)。其主要思想在于模型的選擇、優(yōu)化和特征庫的建立，以及識別效率與準(zhǔn)確率、漏報率與誤報率等關(guān)鍵指標(biāo)。理解數(shù)據(jù)流基本特征是開展機器學(xué)習(xí)模型算法應(yīng)用的重要基礎(chǔ)。圖2是常見的數(shù)據(jù)流特征，數(shù)據(jù)流中包括版本號、包頭長度、時間戳等多種信息，這些信息均可作為多維特征，利用機器學(xué)習(xí)的算法把各種特征聚合分析，得到一個好的模型，再通過不斷優(yōu)化模型輸出好的結(jié)果。機器學(xué)習(xí)常用的數(shù)據(jù)流特征包括時空特征、頭部特征、負(fù)載特征和統(tǒng)計特征等，比較流行的方法包括基于支持向量機（SupportVectorMachines，SVM）、隨機森林（利用多棵樹對樣本進(jìn)行訓(xùn)練并預(yù)測的一種分類器）、卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）和提升方法（Boosting算法）等。圖2數(shù)據(jù)流特征基于時空特征采用的識別方法常見的是CNN，主要目的在于利用深層次的神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)原始流量數(shù)據(jù)的時空特征，時空特征包括流量的時間特征和空間特征，具體包括如數(shù)據(jù)包到達(dá)的時間、傳遞的方向等?；陬^部特征采用的識別方法較多，如基于聚類、CNN和隨機森林等，從小規(guī)模的數(shù)據(jù)集來看，機器學(xué)習(xí)和深度學(xué)習(xí)差異不大，但面對大規(guī)模的數(shù)據(jù)集時，深度學(xué)習(xí)表現(xiàn)出較好的優(yōu)勢，也符合深度學(xué)習(xí)的本質(zhì)?；谪?fù)載特征采用的識別方法常見的是CNN、SVM，負(fù)載特征較為復(fù)雜，主要包括流量包中的有效載荷部分，如將流量數(shù)據(jù)轉(zhuǎn)化為可視化的圖像，再使用CNN對圖像進(jìn)行分類，通過這種方法，可以實現(xiàn)端到端的惡意流量識別，并且能夠滿足實際應(yīng)用的精度，此外，有的從元數(shù)據(jù)本身出發(fā)，提取上下文的特征；還有的是利用自然語言處理網(wǎng)絡(luò)流量文本語義檢測的方式進(jìn)行惡意應(yīng)用檢測?；诮y(tǒng)計特征采用的識別方法常見的是隨機森林和C4.5（C4.5算法是由RossQuinlan開發(fā)的用于產(chǎn)生決策樹的算法），C4.5算法應(yīng)用較廣，如加密的VoIP（VoiceoverInternetProtocol，基于IP的語音傳輸）包的長度可以用來識別通話中所說的短語，也可以利用C4.5算法分析TLS的6個統(tǒng)計特征（上傳字節(jié)、下載字節(jié)大小等）和HTTPS流中的4個統(tǒng)計特征（用戶代理、請求統(tǒng)一資源定位符等），以識別出惡意應(yīng)用流量。除了機器學(xué)習(xí)與深度學(xué)習(xí)，近年來，集成學(xué)習(xí)成為大數(shù)據(jù)分析領(lǐng)域的熱門方法，它屬于機器學(xué)習(xí)的一種，但又不是一個單獨的機器學(xué)習(xí)算法，而是通過構(gòu)建并結(jié)合多個機器學(xué)習(xí)器來完成學(xué)習(xí)任務(wù)。集成學(xué)習(xí)的代表Boosting算法是從訓(xùn)練數(shù)據(jù)集中先訓(xùn)練得到一個基學(xué)習(xí)器，再根據(jù)基學(xué)習(xí)的性能調(diào)整訓(xùn)練樣本分布，使得在前一個基學(xué)習(xí)器中識別錯誤的訓(xùn)練樣本并在接下來的訓(xùn)練過程中進(jìn)行調(diào)整。下一次訓(xùn)練迭代開始時，會使用新的樣本數(shù)據(jù)集來訓(xùn)練下一個基學(xué)習(xí)器，訓(xùn)練過程結(jié)束以基學(xué)習(xí)器的個數(shù)是否達(dá)到預(yù)定值為準(zhǔn)，最后預(yù)測結(jié)果是所有基學(xué)習(xí)器預(yù)測結(jié)果的加權(quán)綜合。其算法的典型代表有梯度提升決策樹（GradientBoostingDecisionTree，GBDT）、極端梯度提升（eXtremeGradientBoosting，XGBoost）以及基于決策樹算法的分布式梯度提升框架（LightGradientBoostingMachine，LightGBM）?？傊?，無論使用哪種機器學(xué)習(xí)的方法，其核心思想均是圍繞特征展開，通過特征提取、算法模型建立與調(diào)優(yōu)，能夠輸出有效的分析結(jié)果，最后對結(jié)果進(jìn)行評估。當(dāng)單一的方法無法滿足復(fù)雜環(huán)境下的流量數(shù)據(jù)分析時，需要使用混合的分析方法，基于混合方法的流量分析流程如圖3所示。流量采集主要是通過鏡像或分光等方式采集出口處的流量；流量清洗及預(yù)處理把流量清洗轉(zhuǎn)換，處理成為符合算法處理的數(shù)據(jù)流格式，同時也清除一些無效的數(shù)據(jù)流，提高數(shù)據(jù)集的質(zhì)量；惡意特征識別分析則是構(gòu)建分析模型的核心組件，針對不同的樣本特征，選取合適的多種算法進(jìn)行惡意流量識別，最后輸出分析結(jié)果，其分析結(jié)果也會再次助力模型算法不斷優(yōu)化，進(jìn)一步提升各項評估指標(biāo)。圖3基于混合方法的流量分析流程4前沿技術(shù)隨著網(wǎng)絡(luò)安全技術(shù)能力的不斷增強，新技術(shù)的融合創(chuàng)新，面對大數(shù)據(jù)環(huán)境下的加密惡意流量分析技術(shù)的能力也在大幅提升，雖然現(xiàn)有的一些技術(shù)手段也能有效地處理這種惡意流量，但是技術(shù)手段體系需要不斷的完善，對惡意流量特征識別精準(zhǔn)率需要進(jìn)一步提升。目前，較為前沿的技術(shù)包括密碼學(xué)、AI、黑客畫像等，新技術(shù)在流量檢測領(lǐng)域的融入讓檢測能力換發(fā)風(fēng)采。4.1基于密碼學(xué)的特征分析利用密碼學(xué)來分析加密惡意流量是目前業(yè)界和學(xué)術(shù)界研究的重點方向?；诿艽a學(xué)來分析加密惡意流量有難點，但同時具有前瞻性與可靠性，加密流量本身就涉及密碼技術(shù)，通過分析惡意流量中使用密碼技術(shù)應(yīng)用的特征，比對正常流量，能夠有效地識別出惡意流量，為此，研究密碼學(xué)中的關(guān)鍵技術(shù)是有必要的。其中，基于公鑰密碼體制的密文檢索和密文計算是主要研究的熱點，如密文檢索可以通過檢索關(guān)鍵詞的方式直接對密文數(shù)據(jù)進(jìn)行訪問，通過單個關(guān)鍵詞、多個關(guān)鍵詞、模糊關(guān)鍵詞和區(qū)間檢索識別惡意流量的關(guān)鍵詞的方式識別惡意流量。而密文計算是在密文形式數(shù)據(jù)上的任意計算，其核心包括同態(tài)加密與安全多方計算，主要實現(xiàn)對密文的安全訪問與處理，結(jié)合密文檢索技術(shù)，在保護(hù)用戶數(shù)據(jù)隱私的前提下，利用檢索加密流量上的惡意關(guān)鍵詞的方式識別惡意流量，從而讓惡意流量無所遁形。4.2基于人工智能的特征分析在一定程度上，利用單維及多維特征方法可以識別加密流量中的惡意流量。但這類方法缺乏從全局出發(fā)，結(jié)合外部資源如威脅情報、用戶行為分析等更深層次的技術(shù)分析，難以最大限度地提取加密流量中的惡意流量。隨著人工智能（ArtificialIntelligence，AI）技術(shù)的發(fā)展，通過大量的測試驗證，基于人工智能的加密流量安全檢測將是一種新的技術(shù)手段。該技術(shù)手段以AI技術(shù)賦能惡意流量檢測，通過AI建模、解析和檢測，基于AI的靈活與高效，檢測效果獲得了顯著的提高，充分展現(xiàn)了基于AI的加密惡意流量檢測具有高度的可行性和良好的應(yīng)用前景。例如，基于人工智能引擎，實時分析網(wǎng)絡(luò)全流量，結(jié)合威脅情報數(shù)據(jù)及網(wǎng)絡(luò)行為分析技術(shù)，深度檢測可疑行為，有助于清晰地掌握攻擊者所處的攻擊鏈階段和成功概率?；贏I的加密惡意流量分析是未來發(fā)展的重要方向，將AI技術(shù)與現(xiàn)有網(wǎng)絡(luò)不斷融合，例如，引入了TLS/SSL數(shù)據(jù)流的上下文信息，其中，域名系統(tǒng)（DomainNameSyste