大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

1、大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用作者：韋俊旭來(lái)源：衛(wèi)星電視與寬帶多媒體2021年第 22期【摘要】21世紀(jì)我國(guó)已經(jīng)進(jìn)入了網(wǎng)絡(luò)建設(shè)的全新時(shí)代，在網(wǎng)絡(luò)的安全運(yùn)行過(guò)程，對(duì)于大 數(shù)據(jù)技術(shù)的應(yīng)用一定要重視起來(lái)。能夠注重對(duì)流量數(shù)據(jù)和分散日志的集中化管理，同時(shí)，通過(guò) 儲(chǔ)存，采集，檢索等方式來(lái)提高網(wǎng)絡(luò)數(shù)據(jù)的處理速度和效率，關(guān)注到網(wǎng)絡(luò)的安全問(wèn)題，盡可能 地減少安全分析的時(shí)間。本文首先了解了大數(shù)據(jù)技術(shù)與網(wǎng)絡(luò)安全分析，隨后分析了大數(shù)據(jù)技術(shù) 在網(wǎng)絡(luò)安全分析領(lǐng)域的應(yīng)用意義，最后探究了大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用?！娟P(guān)鍵詞】大數(shù)據(jù)技術(shù);網(wǎng)絡(luò)安全分析;重要意義;應(yīng)用中圖分類(lèi)號(hào)：TN92 文獻(xiàn)標(biāo)識(shí)碼：A DOI : 10

2、.12246/j.issn.l673-0348.2021.22.033結(jié)合網(wǎng)絡(luò)信息技術(shù)發(fā)展特點(diǎn)，在網(wǎng)絡(luò)信息技術(shù)發(fā)展的背景下，網(wǎng)絡(luò)框架呈現(xiàn)出復(fù)雜性的發(fā) 展變化，網(wǎng)絡(luò)資源內(nèi)容呈現(xiàn)出細(xì)致性以及多元化的變化，若在網(wǎng)絡(luò)信息技術(shù)使用中，缺少網(wǎng)絡(luò) 安全意識(shí)，會(huì)降低網(wǎng)絡(luò)安全性，無(wú)法滿(mǎn)足不同行業(yè)的信息化發(fā)展需求。所以，在網(wǎng)絡(luò)安全分析 中，通過(guò)大數(shù)據(jù)技術(shù)的運(yùn)用，不僅可以實(shí)現(xiàn)數(shù)據(jù)量大、速度快的使用優(yōu)勢(shì)，也可以滿(mǎn)足網(wǎng)絡(luò)系 統(tǒng)利用的安全性，展現(xiàn)網(wǎng)絡(luò)安全防護(hù)的價(jià)值。1 .大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析領(lǐng)域的應(yīng)用意義網(wǎng)絡(luò)安全分析應(yīng)用大數(shù)據(jù)技術(shù)的重要性為了改善和提高互聯(lián)網(wǎng)網(wǎng)絡(luò)信息安全的精確度和準(zhǔn)確率，就必須采取更多的方法。網(wǎng)絡(luò)安

3、全分析中，利用大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)上的應(yīng)用主要集中于分析數(shù)據(jù)，傳統(tǒng)的對(duì)于數(shù)據(jù)信息進(jìn)行傳 遞的技術(shù)已經(jīng)滿(mǎn)足不了越來(lái)越多人日益擴(kuò)展的需求。而且大數(shù)據(jù)技術(shù)可以在海量、沒(méi)有一定規(guī) 律的信息處理中仍舊能夠很好地保證其效率與準(zhǔn)確度，這些都是傳統(tǒng)的信息技術(shù)所做不到的。 因此為了有效地保障信息安全，就必須要求大數(shù)據(jù)技術(shù)在企業(yè)中得到廣泛的運(yùn)用。大數(shù)據(jù)技術(shù) 可以有效地提升網(wǎng)絡(luò)安全性分析系統(tǒng)的內(nèi)部存儲(chǔ)和管理能力。由于網(wǎng)絡(luò)的信息復(fù)雜、巨大，要 把這些海量信息進(jìn)行集中、分析和存儲(chǔ)，這就必然需要互聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)的協(xié)助。并且，大 數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全方面的運(yùn)用，可以有效地降低網(wǎng)絡(luò)維護(hù)和安全管理的成本。大數(shù)據(jù)所采用 的結(jié)構(gòu)化數(shù)據(jù)

4、庫(kù)方式較之于傳統(tǒng)結(jié)構(gòu)化的數(shù)據(jù)庫(kù)方式效率更好，對(duì)硬件的要求低，成本更低。1 .2大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析領(lǐng)域的應(yīng)用優(yōu)勢(shì)分析資料更加詳實(shí)網(wǎng)絡(luò)安全問(wèn)題涉及到諸多影響因素，涉及到與整個(gè)網(wǎng)絡(luò)運(yùn)行密切相關(guān)的各種流程和節(jié)點(diǎn)。 它要求我們廣泛收集和分析網(wǎng)絡(luò)世界中可能產(chǎn)生的各種海量信息數(shù)據(jù)。然而，傳統(tǒng)的大數(shù)據(jù)分 析技術(shù)不能完全滿(mǎn)足這項(xiàng)技術(shù)的要求。一般只圍繞具體問(wèn)題收集和分析數(shù)據(jù)，這嚴(yán)重制約了網(wǎng) 絡(luò)安全分析結(jié)果的準(zhǔn)確性，其工作價(jià)值無(wú)法得到保證。大數(shù)據(jù)技術(shù)的發(fā)展是為了有效解決網(wǎng)絡(luò)上數(shù)量眾多的、非結(jié)構(gòu)化數(shù)據(jù)的采集和處理問(wèn)題。 利用這項(xiàng)技術(shù)，我們可以廣泛收集和處理網(wǎng)絡(luò)世界中人類(lèi)產(chǎn)生的各種海量信息，這顯然在很大 程度上增

5、加了豐富的分析數(shù)據(jù)，我們的研究結(jié)論也變得更加可靠。提升分析效率與其他大數(shù)據(jù)技術(shù)方法相比，傳統(tǒng)的數(shù)據(jù)處理方法和手段主要是處理具有結(jié)構(gòu)和形態(tài)多樣 性的大規(guī)模復(fù)雜信息，分析和處理這些數(shù)據(jù)的效率相對(duì)較低。我們的網(wǎng)絡(luò)安全分析基于移動(dòng)互 聯(lián)網(wǎng)的應(yīng)用領(lǐng)域。網(wǎng)絡(luò)世界的每一個(gè)地方都會(huì)收集到大量與安全密切相關(guān)的信息，這就導(dǎo)致了 以往傳統(tǒng)數(shù)據(jù)處理技術(shù)中所存在的不利局面，阻礙了我們工作效率的提高?；诖?，要加強(qiáng)大 數(shù)據(jù)技術(shù)在互聯(lián)網(wǎng)安全分析等新技術(shù)領(lǐng)域的實(shí)際應(yīng)用，特別是加強(qiáng)基于大數(shù)據(jù)技術(shù)的信息分析 平臺(tái)的建設(shè)和運(yùn)營(yíng)，通過(guò)分布式數(shù)據(jù)采集獲得的各種海量異構(gòu)數(shù)據(jù)資源進(jìn)行分布式存儲(chǔ)和并行 計(jì)算，全面提升大數(shù)據(jù)的綜合處理能力和效

6、率。降低數(shù)據(jù)處理成本信息數(shù)據(jù)的采集可以通過(guò)對(duì)現(xiàn)有的網(wǎng)絡(luò)基礎(chǔ)設(shè)施進(jìn)行微小的改動(dòng)直接實(shí)現(xiàn)，信息數(shù)據(jù)的采 集可以通過(guò)移動(dòng)終端直接完成。由于大部分?jǐn)?shù)據(jù)處理任務(wù)都安裝在云端，本地人員無(wú)需部署大 量計(jì)算機(jī)和計(jì)算機(jī)分析資源，有效降低了系統(tǒng)的運(yùn)營(yíng)成本。2. 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用2.1 信息的采集在對(duì)數(shù)據(jù)分析過(guò)程中可以將信息的采集作為基本條件，需要結(jié)合網(wǎng)絡(luò)安全的需求科學(xué)合理 的采集數(shù)據(jù)信息，大數(shù)據(jù)技術(shù)在信息采集階段的應(yīng)用十分必要，信息采集作為信息整合與分析 的前提基礎(chǔ)，完善采集工作板與后續(xù)工作的順利開(kāi)展。在大數(shù)據(jù)技術(shù)的采集階段應(yīng)用匯總，其 常見(jiàn)的技術(shù)手段有Flume、Kafka、Storm技術(shù)，以便

7、于大數(shù)據(jù)進(jìn)行各種分布式的采集。這種數(shù) 據(jù)采集的方式比較高效，其采集的速度可以達(dá)到每秒內(nèi)數(shù)百兆左右，從而使得它們?cè)趯?duì)各種日 志數(shù)據(jù)信息等進(jìn)行處理的過(guò)程中得以獲得顯著成效。這幾項(xiàng)信息采集技術(shù)的應(yīng)用會(huì)將所采集信 息中有價(jià)值的信息分離出來(lái)，再講分離出來(lái)的價(jià)值信息進(jìn)行重新整合與分析，最終生成數(shù)據(jù)報(bào) 告和完成數(shù)據(jù)傳輸工作。需要強(qiáng)調(diào)的是，在最終生成的數(shù)據(jù)傳輸工作前，其數(shù)據(jù)要進(jìn)行檢查和 分類(lèi)，確保數(shù)據(jù)格式的正確性能夠符合消費(fèi)者所需服務(wù)的要求。2.2 信息的儲(chǔ)存能否有效地存儲(chǔ)安全的信息和數(shù)據(jù)，是我們衡量網(wǎng)絡(luò)安全分析的一個(gè)重要環(huán)節(jié)，信息的收 集和存儲(chǔ)對(duì)于互聯(lián)網(wǎng)網(wǎng)絡(luò)安全的分析來(lái)講很重要，而且在實(shí)際中運(yùn)用到了大數(shù)據(jù)技

8、術(shù)就能夠通 過(guò)多種形式采取不同的存儲(chǔ)手段來(lái)處理和應(yīng)對(duì)不同類(lèi)型的信息和數(shù)據(jù)，從而大幅度地提升了數(shù) 據(jù)的查詢(xún)與存儲(chǔ)的順利性以及其工作效率。在信息的存儲(chǔ)過(guò)程中，必須要考慮到數(shù)據(jù)信息的類(lèi) 別和數(shù)量，信息的存儲(chǔ)一方面要確保數(shù)據(jù)信息分類(lèi)的科學(xué)性，另外，在存儲(chǔ)量上一定要確保容 量，確保數(shù)據(jù)存儲(chǔ)的安全穩(wěn)定不易丟失，只有明確好這些才能夠選擇最為合適的存儲(chǔ)方法，以 便提高數(shù)據(jù)的查詢(xún)速度和存儲(chǔ)效率。在網(wǎng)絡(luò)組織架構(gòu)的計(jì)算過(guò)程中，必須要考慮到安全實(shí)施的 標(biāo)準(zhǔn)，把分布式作為依據(jù)，在數(shù)據(jù)的設(shè)置和分析過(guò)程中，要注重節(jié)點(diǎn)上的計(jì)算，使用腳本挖掘 來(lái)更好地分析網(wǎng)絡(luò)的安全級(jí)別，通過(guò)列式的方式存儲(chǔ)數(shù)據(jù)，把需要分析的數(shù)據(jù)資源放到每一個(gè)

9、計(jì)算的節(jié)點(diǎn)中，系統(tǒng)在此就會(huì)對(duì)其進(jìn)行快速的分析，并且完成信息的統(tǒng)計(jì)工作，最后再通過(guò)流 式的方式把分析的結(jié)果放在數(shù)據(jù)庫(kù)當(dāng)中。數(shù)據(jù)的檢索數(shù)據(jù)的檢索是在數(shù)據(jù)分類(lèi)存儲(chǔ)的基礎(chǔ)上進(jìn)行的，通過(guò)對(duì)數(shù)據(jù)信息進(jìn)行檢索有利于促進(jìn)網(wǎng)絡(luò) 安全數(shù)據(jù)分析工作的順利進(jìn)行，科學(xué)合理的檢索信息，從而使得使用者通過(guò)查找關(guān)鍵詞的方式 即可查詢(xún)到所需數(shù)據(jù)信息，能夠提升網(wǎng)絡(luò)安全分析的性能，同時(shí)在數(shù)據(jù)分析質(zhì)量提升方面起著 舉足輕重的作用。在開(kāi)展網(wǎng)絡(luò)安全分析工作過(guò)程中，有必要檢索數(shù)據(jù)信息，通常使用 MapReduce 方法對(duì)數(shù)據(jù)進(jìn)行檢索，把提出的查詢(xún)請(qǐng)求傳送到各個(gè)處理節(jié)點(diǎn)，然后將查詢(xún)請(qǐng)求進(jìn) 行有效處理，接著采用分布式計(jì)算，可以加快相關(guān)數(shù)據(jù)信息

10、的檢索。檢索速度的提高有利于促 進(jìn)網(wǎng)絡(luò)安全數(shù)據(jù)分析工作的順利進(jìn)行，同時(shí)在網(wǎng)絡(luò)安全性能提升方面發(fā)揮著至關(guān)重要的作用。數(shù)據(jù)的分析數(shù)據(jù)信息的分析是指對(duì)于收集存儲(chǔ)信息的梳理和預(yù)判，數(shù)據(jù)的整理和預(yù)判大致可以劃分為 兩類(lèi)，一種是對(duì)于實(shí)時(shí)數(shù)據(jù)的整理和預(yù)判，另一種則是對(duì)于歷史資料的整理和預(yù)判。結(jié)合考慮 到網(wǎng)絡(luò)安全問(wèn)題，對(duì)于網(wǎng)絡(luò)中實(shí)時(shí)信息和數(shù)據(jù)的分析我們可以采取流式進(jìn)行計(jì)算，然后利用關(guān) 鍵分析算法、CEP技術(shù)等手段來(lái)輔助進(jìn)行分析，最終分辨出當(dāng)下傳播的信息是否屬于或可能成 為網(wǎng)絡(luò)安全問(wèn)題。對(duì)于歷史數(shù)據(jù)的分析，主要使用分布式存儲(chǔ)和計(jì)算方法。為了深入分析網(wǎng)絡(luò) 中的歷史數(shù)據(jù)，我們還可以考慮在處理時(shí)使用分布式存儲(chǔ)和計(jì)算方

11、法。這種信息處理方法是為 了更好地深入收集數(shù)據(jù)，規(guī)避風(fēng)險(xiǎn)，從而有效判斷當(dāng)前或未來(lái)需要收集的信息，實(shí)現(xiàn)網(wǎng)絡(luò)安全 控制。構(gòu)建基于大數(shù)據(jù)分析技術(shù)的網(wǎng)絡(luò)安全平臺(tái)在了解各種網(wǎng)絡(luò)安全設(shè)備、構(gòu)建一套網(wǎng)絡(luò)安全防護(hù)體系的基礎(chǔ)上，我們還需要構(gòu)建基于大數(shù)據(jù)分析技術(shù)的網(wǎng)絡(luò)安全平臺(tái)。網(wǎng)絡(luò)安全平臺(tái)的建設(shè)分為數(shù)據(jù)采集層和數(shù)據(jù)處理層。數(shù)據(jù)信息采集層分為數(shù)據(jù)信息分析采集層和大數(shù)據(jù)技術(shù)信息存儲(chǔ)層，數(shù)據(jù)處理層分為數(shù)據(jù)挖掘?qū)印⒎治?層和顯示層。在這些層面內(nèi)能夠?qū)λ玫接脩?hù)各式各樣的數(shù)據(jù)信息展開(kāi)逐一分類(lèi)，以方便對(duì)這 海量數(shù)據(jù)的量化存儲(chǔ)。至于展示層就是通過(guò)大數(shù)據(jù)分析技術(shù)對(duì)數(shù)據(jù)進(jìn)行特定的檢索，并將其可 視化，最后將安全規(guī)范數(shù)據(jù)多維度的空間

12、模型來(lái)呈現(xiàn)網(wǎng)絡(luò)的安全性。基于大數(shù)據(jù)分析技術(shù)網(wǎng)絡(luò) 安全平臺(tái)的構(gòu)建在運(yùn)行期間通常會(huì)采用Hive的方式來(lái)統(tǒng)計(jì)和分析所得到的海量數(shù)據(jù)，通過(guò)分 析、檢索得到的數(shù)據(jù)可存儲(chǔ)在HDFS內(nèi)。對(duì)于數(shù)據(jù)挖掘?qū)佣?，可采取基于Hadoop技術(shù)的機(jī) 械化數(shù)據(jù)挖掘技術(shù)（對(duì)于海量的靜態(tài)數(shù)據(jù)而言，Hadoop技術(shù)對(duì)數(shù)據(jù)的處理速度要遠(yuǎn)遠(yuǎn)大于 Spack技術(shù)），對(duì)于海量數(shù)據(jù)進(jìn)行深度挖掘與整理，并且能夠按照數(shù)據(jù)分析所引用的事件流來(lái) 進(jìn)行特殊化分析工作。在最后可以采用CPE技術(shù)來(lái)對(duì)平臺(tái)內(nèi)的不同類(lèi)型、不同時(shí)間的數(shù)據(jù)加 以分析，并且能夠較好幫助建設(shè)關(guān)系庫(kù)，從而更好實(shí)現(xiàn)平臺(tái)對(duì)數(shù)據(jù)處理的整體性，以保障網(wǎng)絡(luò) 環(huán)境的安全與防范。我們國(guó)家的經(jīng)濟(jì)社

13、會(huì)正在蓬勃發(fā)展，科技也正在飛躍。而這種網(wǎng)絡(luò)安全的問(wèn)題其實(shí)也就是 一種網(wǎng)絡(luò)信息安全的問(wèn)題。任何一項(xiàng)個(gè)人信息在互聯(lián)網(wǎng)上的披露對(duì)我們個(gè)人、社會(huì)都有很大的 威脅。傳統(tǒng)網(wǎng)絡(luò)安全分析方法采用的技術(shù)已經(jīng)不適合當(dāng)今時(shí)代的技術(shù)水平。大數(shù)據(jù)技術(shù)的深入 應(yīng)用已經(jīng)是中國(guó)移動(dòng)互聯(lián)網(wǎng)迅猛發(fā)展的一個(gè)重要象征。大數(shù)據(jù)技術(shù)目前應(yīng)用廣泛，效果明顯， 能有效提高工作效率，節(jié)約成本。將先進(jìn)的大數(shù)據(jù)技術(shù)應(yīng)用于網(wǎng)絡(luò)安全分析，可以有效提高網(wǎng) 絡(luò)安全性，為用戶(hù)提供良好的生活和工作環(huán)境。參考文獻(xiàn)：王昱輝，溫志鵬淺談網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)運(yùn)用J.大科技，2018, 000 （024）：316-317.丁晨大數(shù)據(jù)和人工智能技術(shù)在銀行網(wǎng)絡(luò)安全風(fēng)險(xiǎn)管理中的實(shí)踐一一日志安全審計(jì)分析 業(yè)務(wù)J中國(guó)信息化，2019 （5）：023.趙川，孫華利，王國(guó)平基于大數(shù)據(jù)的電力信息系統(tǒng)網(wǎng)絡(luò)安全分析J.電子設(shè)計(jì)工程， 2019， 27 （23）： 148-152.4董超，劉雷大數(shù)據(jù)背景下安全分析的網(wǎng)絡(luò)安全技術(shù)發(fā)展趨勢(shì)研究