一種面向大數(shù)據(jù)主動防御的低損耗數(shù)據(jù)采集方法

一種面向大數(shù)據(jù)主動防御的低損耗數(shù)據(jù)采集方法

面向大數(shù)據(jù)全生命周期安全的主動防御是目前大數(shù)據(jù)安全研究

的熱點之一。在分析大數(shù)據(jù)主動防御系統(tǒng)對數(shù)據(jù)采集需求的基礎上，

提出了一種面向大數(shù)據(jù)主動防御的低損耗數(shù)據(jù)采集方法。該方法基于

虛擬機內省技術，結合了帶內采集和帶外采集的優(yōu)點，并對數(shù)據(jù)采集

進行了優(yōu)化設計，實現(xiàn)了一種高效低損的數(shù)據(jù)采集能力。

內容目錄：

0引言

1主動防御系統(tǒng)數(shù)據(jù)采集架構

2基于虛擬化的數(shù)據(jù)采集技術

3低損耗數(shù)據(jù)采集方法

3.1基于虛擬機內省的數(shù)據(jù)采集框架

3.2數(shù)據(jù)采集優(yōu)化

4效果分析

4.1采集效率

4.2采集效果

5結語

。、引言

隨著大數(shù)據(jù)技術的日益成熟，圍繞大數(shù)據(jù)的應用呈現(xiàn)出了

多種多樣的特點，使得大數(shù)據(jù)的流轉更加錯綜復雜，導致了數(shù)

據(jù)暴露出更大的受攻擊面。同時，大數(shù)據(jù)在全生命周期過程中

呈現(xiàn)出了類型動態(tài)化、等級多樣化、權屬復雜化、使用實時化

等特點，這些特點都導致了大數(shù)據(jù)環(huán)境下的安全威脅攻擊手段

多樣化，攻擊程序不斷更新迭代，使得大數(shù)據(jù)在全生命周期過

程中被竊取、被濫用、被篡改的風險不斷增大。

傳統(tǒng)的安全手段及體系呈現(xiàn)出的單點、靜態(tài)、被動防護的

特點已不能有效應對大數(shù)據(jù)環(huán)境下的安全威脅。在這種趨勢的

推動下，安全防御思想正在從"以網絡為中心"向"以數(shù)據(jù)為

中心"轉變，安全防御體系正在從單點、靜態(tài)、被動防護向全

面、動態(tài)、主動防護轉變。

在圍繞大數(shù)據(jù)全生命周期安全的主動防御體系中，主動防

御所需采集數(shù)據(jù)的種類多、數(shù)據(jù)量大，應盡量減少對采集系統(tǒng)

資源的占用率，不影響被防御對象系統(tǒng)的正常運行，因此，數(shù)

據(jù)采集效率對整個防御體系的準確性、實時性和高效性至關重

要。

針對上述問題，特別是面向大數(shù)據(jù)分析應用場景，本文提

出了一種面向大數(shù)據(jù)主動防御的低損耗數(shù)據(jù)采集方法。該方法

采用無代理帶外采集方式，結合虛擬機內省機制，從大數(shù)據(jù)分

析節(jié)點中的虛擬機外部對虛擬機內部的數(shù)據(jù)進行采集，僅采集

安全防御所需數(shù)據(jù)，不僅提高了數(shù)據(jù)采集的效率，而且有效降

低了大數(shù)據(jù)分析節(jié)點網絡資源和虛擬機計算資源的占用率，從

而實現(xiàn)低損高效的數(shù)據(jù)采集目的。

1、主動防御系統(tǒng)數(shù)據(jù)采集架構

大數(shù)據(jù)主動防御系統(tǒng)數(shù)據(jù)采集架構如圖1所示。

切防御

虛

擬數(shù)據(jù)采集監(jiān)控0艮名

機

臉無代理采集(

君

內

省

金U機監(jiān)控器集

數(shù)

點數(shù)

策

據(jù)

略

NetFlow/分

管

sFlow^-

析

理

，

，

一

一)

:采集管理平臺

圖1大數(shù)據(jù)主動防御系統(tǒng)數(shù)據(jù)采集架構

在一個典型的面向大數(shù)據(jù)環(huán)境下的主動安全防御系統(tǒng)中的

采集系統(tǒng)主要包括三類數(shù)據(jù)：網絡、終端、大數(shù)據(jù)分析節(jié)點。

目前，針對大數(shù)據(jù)環(huán)境下的網絡和終端的數(shù)據(jù)采集技術相對成

熟。網絡流量主要以探針的方式進行數(shù)據(jù)采集，采集技術主要

有：基于SNMP的采集技術、基于流的采集技術和基于數(shù)據(jù)包

抓取的采集技術；終端主要以代理或探針方式進行數(shù)據(jù)采集，

終端采集代理或探針主要通過輕量化軟件容器實現(xiàn)；大數(shù)據(jù)分

析節(jié)點由于部署在虛擬機上，數(shù)據(jù)采集方式以帶內采集方式為

主，該方式的典型做法是基于主機的入侵檢測系統(tǒng)，由中心采

集程序和植入虛擬機的代理程序組成，是一種松耦合的方法。

帶內采集方式由于使用了采集程序和代理，會占用一定的虛擬

機資源，占用量高時會嚴重影響到虛擬機的正常運行，而且更

易于被攻擊和被繞過而導致數(shù)據(jù)采集失敗，這些問題都會嚴重

影響主動防御系統(tǒng)的響應效率和防御效能，甚至導致防御失敗。

針對這些問題，本文提出了一種高效低損的數(shù)據(jù)采集方法，

該方法基于虛擬機內省技術，通過虛擬機監(jiān)控層從外部對虛擬

機內部進行選擇性的數(shù)據(jù)采集和監(jiān)控，實現(xiàn)了高效低損的采集

效果。同時，由于帶外采集對虛擬機內部是透明的，虛擬機內

部無法感知到帶外監(jiān)控程序，因此本方法還具有更高的安全性。

2、基于虛擬化的數(shù)據(jù)采集技術

在大數(shù)據(jù)系統(tǒng)部署的過程中，為了實現(xiàn)高效的計算和存儲

能力，一般大數(shù)據(jù)計算集群和存儲集群分開部署，將計算集群

部署在云計算平臺上，在這種部署情況下，為了實現(xiàn)大數(shù)據(jù)環(huán)

境下的主動防御能力，需要對計算集群進行高效的數(shù)據(jù)采集和

分析。在虛擬化環(huán)境下，從數(shù)據(jù)采集實現(xiàn)技術的角度看，采集

方法主要有兩種：帶內采集（In-band）和帶外采集

（Out-of-band）。

帶內采集是指從虛擬機內部進行數(shù)據(jù)采集。如圖2所示，

該方法主要通過在虛擬機中加載代理模塊攔截虛擬機內部事件

來實現(xiàn)。該方法的優(yōu)點在于事件攔截是在虛擬機內部，可以直

接獲取操作系統(tǒng)語義，獲取的語義精準且不需要進行語義重構，

因此減少了性能開銷；缺點是容易遭受惡意軟件的攻擊和控制，

容易成為新的安全隱患點，而且代理模塊采用加載的方式容易

被用戶終止而輕松繞過。

圖2帶內采集（In-band）

帶外采集是指從虛擬機外部，在虛擬機管理器中對虛擬機

中的事件進行攔截，從而實現(xiàn)對虛擬機數(shù)據(jù)的采集。由于帶外

采集是在虛擬機管理器中執(zhí)行，位于目標虛擬機的底層，可將

數(shù)據(jù)采集單元與目標虛擬機隔離開來，數(shù)據(jù)采集對目標虛擬機

是不可感知的，因此增強了數(shù)據(jù)采集單元的安全性。

與帶內采集相比，帶外采集具有更高的安全性，但其存在

虛擬機內部的真實狀態(tài)與虛擬機外部抽取信息之間的語義鴻溝

問題，也就是如何將從外部抽取的低層信息(寄存器值、系統(tǒng)

調用、I/O請求等)轉譯成高層信息(進程、文件等)o如圖3

所示，這種從虛擬機外部監(jiān)控虛擬機內部的方法稱為虛擬機內

省

(virtualmachineintrospection,VMI)o

圖3帶外采集(Out-of-band)

3、低損耗數(shù)據(jù)采集方法

通過結合帶內和帶外數(shù)據(jù)采集方法的優(yōu)點，本文提出了一

種基于虛擬機內省機制，面向大數(shù)據(jù)主動防御的低損耗數(shù)據(jù)采

集方法。

3.1基于虛擬機內省的數(shù)據(jù)采集框架

本方法的主要思路是采用虛擬機內省技術在虛擬機監(jiān)控器

中設計數(shù)據(jù)采集監(jiān)控模塊，通過監(jiān)控模塊從虛擬機外部對虛擬

機內部信息進行采集，為了避免語義鴻溝問題，設計一個采集

注入模塊，在虛擬機啟動時，通過將采集代碼注入目標虛擬機

內存中，按照采集策略對所需數(shù)據(jù)安全信息進行采集，因此無

須進行語義轉換。低損耗數(shù)據(jù)采集方法的整體技術框架如圖4

所示。

數(shù)據(jù)采集監(jiān)控服務

「

采

數(shù)

數(shù)

集

據(jù)

據(jù)

策

處

分內核層內存采集注入代碼

略

理

析

管

理策略下發(fā)

-一數(shù)據(jù)采采集注

集tf塊入模塊

采集管理平臺

數(shù)據(jù)上報

圖4基于虛擬機內省的數(shù)據(jù)采集框架

低損耗數(shù)據(jù)采集方法主要包括四個部分：策略設置模塊、

數(shù)據(jù)采集模塊、采集注入模塊和采集注入代碼。其工作流程說

明如下：

Stepl:虛擬機啟動時，虛擬機監(jiān)控器通過采集注入模塊將

采集代碼以無感方式注入目標虛擬機的非換頁內存中，保證代

碼不會被換出；

Step2:在虛擬機運行過程中，數(shù)據(jù)采集監(jiān)控服務平臺管理員設

置目標虛擬機的數(shù)據(jù)采集策略，采集策略管理模塊將制定好的

策略下發(fā)至虛擬機監(jiān)控器的策略設置模塊；

Step3策略管理模塊通過采集注入模塊將策略下發(fā)至目標虛擬

機的采集注入代碼中；

Step4:采集注入代碼根據(jù)策略，采集進程、文件操作、磁盤訪

問等信息；

Step5采集注入代碼將采集的信息定時或按照一定的數(shù)據(jù)量發(fā)

送給數(shù)據(jù)采集模塊；

Step6:數(shù)據(jù)采集模塊將采集數(shù)據(jù)進行清洗后，按照標準格式發(fā)

送給數(shù)據(jù)采集監(jiān)控服務平臺。

數(shù)據(jù)采集監(jiān)控服務平臺將接收到的采集數(shù)據(jù)進行數(shù)據(jù)處

理和數(shù)據(jù)分析，將發(fā)現(xiàn)的數(shù)據(jù)和進程異常行為及時上報主動防

御系統(tǒng)，主動防御系統(tǒng)根據(jù)接收到的威脅信息調整防御策略并

進行相應的協(xié)同防御。

3.2數(shù)據(jù)采集優(yōu)化

數(shù)據(jù)采集模塊位于虛擬機監(jiān)控器，利用虛擬機內省機制

（LibVMI）實現(xiàn)虛擬機內部數(shù)據(jù)的外部采集。LibVMI是美國

佐治亞理工學院的Payne等設計的一套開源內省工具庫，如圖

5所示，該工具不需要對虛擬機監(jiān)視器進行修改，而是直接利

用虛擬機監(jiān)視器提供的接口對虛擬機底層信息（進程頁表、內

存映射等）進行重構，獲取虛擬機高層信息（進程信息、內核

數(shù)據(jù)），從而實現(xiàn)監(jiān)控虛擬機的行為和狀態(tài)，這種方法對虛擬

機影響最小。

圖5數(shù)據(jù)采集模塊

基于虛擬機內省機制的LibVMI也存在語義鴻溝問題，為

了避免該問題，本方法設計了采集注入代碼模塊，該模塊在虛

擬機啟動時以無感的方式通過采集注入模塊注入虛擬機非換頁

內存區(qū)域中，通過注入代碼直接采集虛擬機的高級信息，因此

不需要進行語義轉換，從而解決了資源消耗問題。

同時，為了提高數(shù)據(jù)采集效率，并進一步減小對目標虛擬機內

存的占用率，對采集注入代碼進行了優(yōu)化，設計了一種閾值綜

合判定規(guī)則，該規(guī)則綜合考慮了采集時間（C）和資源占用率（S）

兩個因素，資源占用率的閾值（T）一般為目標虛擬機內存的

1%,該閾值可根據(jù)用戶需要進行設定，采集時間間隔（I）由

管理員設定，按照資源優(yōu)先原則，首先判斷資源占用率，如果S

>T,則數(shù)據(jù)輸出，否則，如果C>I,則數(shù)據(jù)輸出。

通過上述的優(yōu)化過程，從系統(tǒng)層面到采集實施層面均對整體數(shù)

據(jù)采集進行了優(yōu)化，保障了采集效率和效果的有效權衡。

4、效果分析

實驗采用服務器配置：

CPU:IntelXeonE5-26302.4GHz

內存：64GB

硬盤：2TB

操作系統(tǒng)：CentOS7.264位

軟件:yum、libvirt、qemu-kvm、LibVMI

采集數(shù)據(jù)如表1所示。

表1采集數(shù)據(jù)表

序

采集信息信息屬性

號

1虛擬機進程列表進程名稱、文件名、

2虛擬機文件操作文件權限、I/O操作

3虛擬機I/O操作類型、I/O操作權

限、I/O開放情況等

4虛擬機操作系統(tǒng)操作系統(tǒng)版本、虛

5虛擬機配置擬機操作系統(tǒng)配

置.、軟件安裝列表

等

4.1采集效率

本文設計的數(shù)據(jù)采集優(yōu)化方法采用了內存注入代碼方式，

可直接從目標虛擬機內部采集數(shù)據(jù)，經過測試，通過對數(shù)據(jù)采

集1000次并取平均值計算，數(shù)據(jù)采集時間為0.002s,而采用

代理程序方式的采