智慧城市 城市級(jí)大數(shù)據(jù)安全技術(shù)服務(wù)應(yīng)用建設(shè)方案V3

智城市

城市級(jí)大數(shù)據(jù)安全技術(shù)服務(wù)

應(yīng)用建設(shè)方案

文件編號(hào)202XQK011/BT-ZTA-QK011

文件狀態(tài)［］草稿［正式發(fā)布［］正在修改

當(dāng)前版本

擬制日期

審核日期

目錄

第一章發(fā)展現(xiàn)狀......................................................3

1.1.應(yīng)用背景....................................................3

1.2.大數(shù)據(jù)應(yīng)用..................................................4

1.3.技術(shù)總體視圖...............................................8

1.3.1.平臺(tái)安全............................................9

1.3.2.數(shù)據(jù)安全...........................................10

1.3.3.隱私保護(hù)...........................................10

第二章面臨問題.....................................................12

2.1.平臺(tái)安全問題..............................................12

2.2.數(shù)據(jù)安全問題...............................................15

2.3.個(gè)人隱私安全挑戰(zhàn)...........................................18

第三章大數(shù)據(jù)安全技術(shù)...............................................20

3.1.平臺(tái)安全技術(shù)..............................................20

3.2.數(shù)據(jù)安全技術(shù)...............................................24

3.3.個(gè)人隱私保護(hù)技術(shù)..........................................29

第四章發(fā)展總結(jié).....................................................31

第五章未來發(fā)展.....................................................33

第一章發(fā)展現(xiàn)狀

1.1.應(yīng)用背景

當(dāng)前，全球大數(shù)據(jù)產(chǎn)業(yè)正值活躍發(fā)展期，技術(shù)演進(jìn)和應(yīng)用創(chuàng)新并

行加速推進(jìn)，非關(guān)系型數(shù)據(jù)庫(kù)、分布式并行計(jì)算以及機(jī)器學(xué)習(xí)、深度

挖掘等新型數(shù)據(jù)存儲(chǔ)、計(jì)算和分析關(guān)鍵技術(shù)應(yīng)運(yùn)而生并快速演進(jìn)，大

數(shù)據(jù)挖掘分析在電信、互聯(lián)網(wǎng)、金融、交通、醫(yī)療等行業(yè)創(chuàng)造商業(yè)價(jià)

值和應(yīng)用價(jià)值的同時(shí)，開始向傳統(tǒng)第一、第二產(chǎn)業(yè)傳導(dǎo)滲透，大數(shù)

據(jù)逐步成為國(guó)家基礎(chǔ)戰(zhàn)略資源和社會(huì)基礎(chǔ)生產(chǎn)要素。

與此同時(shí)，大數(shù)據(jù)安全問題逐漸暴露。大數(shù)據(jù)因其蘊(yùn)藏的巨大價(jià)

值和集中化的存儲(chǔ)管理模式成為網(wǎng)絡(luò)攻擊的重點(diǎn)目標(biāo)，針對(duì)大數(shù)據(jù)的

勒索攻擊和數(shù)據(jù)泄露問題日趨嚴(yán)重，全球大數(shù)據(jù)安全事件呈頻發(fā)態(tài)勢(shì)。

相應(yīng)的，大數(shù)據(jù)安全需求已經(jīng)催生相關(guān)安全技術(shù)、解決方案及產(chǎn)品的

研發(fā)和生產(chǎn)，但與產(chǎn)業(yè)發(fā)展相比，存在滯后現(xiàn)象。

習(xí)近平主席在中共中央政治局就實(shí)施國(guó)家大數(shù)據(jù)戰(zhàn)略第二次集

體學(xué)習(xí)時(shí)指出，要構(gòu)建以數(shù)據(jù)為關(guān)鍵要素的數(shù)字經(jīng)濟(jì)，推動(dòng)實(shí)體經(jīng)濟(jì)

和數(shù)字經(jīng)濟(jì)融合發(fā)展，推動(dòng)互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能同實(shí)體經(jīng)濟(jì)深

度融合。同時(shí)，要切實(shí)保障國(guó)家數(shù)據(jù)安全。這要求我們必須堅(jiān)持國(guó)家

總體安全觀，樹立正確

的網(wǎng)絡(luò)安全觀，堅(jiān)持“以安全保發(fā)展，以發(fā)展促安全，”充分發(fā)

大數(shù)據(jù)發(fā)展過程中，資源、技術(shù)、應(yīng)用相依相生，以螺旋式上

升的模式發(fā)展。無論是商業(yè)策略、社會(huì)治理、還是國(guó)家戰(zhàn)略的制定，

都越來越重視大數(shù)據(jù)的決策支撐能力。但也要看到，大數(shù)據(jù)是一把

雙刃劍，大數(shù)據(jù)分析預(yù)測(cè)的結(jié)果對(duì)社會(huì)安全體系所產(chǎn)生的影響力和破

壞力可能是無法預(yù)料和提前防范的。例如，美國(guó)一款健身應(yīng)用軟件

將用戶健身數(shù)據(jù)的分析結(jié)果在網(wǎng)絡(luò)上公布，結(jié)果涉嫌泄露美國(guó)軍事

機(jī)密，這在以往是不可想象的。未來，基于大數(shù)據(jù)的智能決策將會(huì)

在經(jīng)濟(jì)運(yùn)行、社會(huì)生活、國(guó)家治理方面發(fā)揮更重要的作用，大數(shù)據(jù)

可能會(huì)對(duì)國(guó)家“11種安全”的方方面面產(chǎn)生更加深遠(yuǎn)的影響。

因此，必須從“大安全”的視角審視大數(shù)據(jù)安全問題，必須站在國(guó)

家總體安全觀的高度，打破傳統(tǒng)的重技術(shù)的安全保護(hù)思維模式，建立

涉及經(jīng)濟(jì)、法律、技術(shù)等多角度全方位的大數(shù)據(jù)安全保障體系。

（二）大數(shù)據(jù)正逐漸演變?yōu)樾乱淮A(chǔ)性支撐技術(shù)，大數(shù)據(jù)平臺(tái)

的自身安全將成為大數(shù)據(jù)與實(shí)體經(jīng)濟(jì)融合領(lǐng)域安全的重要影響因素

目前來看，大數(shù)據(jù)正在成為一種通用的數(shù)據(jù)處理技術(shù)，除推動(dòng)人

工智能、虛擬現(xiàn)實(shí)等新興信息技術(shù)應(yīng)用創(chuàng)新之外，互聯(lián)網(wǎng)、大數(shù)據(jù)通

過與實(shí)體經(jīng)濟(jì)的深度融合，正加速推進(jìn)傳統(tǒng)制造業(yè)向數(shù)字化、網(wǎng)絡(luò)化、

智能化發(fā)展。然而，在信息化和工業(yè)化融合業(yè)務(wù)繁榮發(fā)展的背后，安

全問題如影隨形。針對(duì)大數(shù)據(jù)平臺(tái)的網(wǎng)絡(luò)攻擊手段正在悄然變化，攻

擊目的已經(jīng)從單純地竊取數(shù)據(jù)、癱瘓系統(tǒng)轉(zhuǎn)向干預(yù)、操縱分析結(jié)果,

攻擊效果已經(jīng)從直觀易察覺的系統(tǒng)宕機(jī)、信息泄露轉(zhuǎn)向細(xì)小難以察覺

的分析結(jié)果偏差，造成的影響可能從網(wǎng)絡(luò)安全事件上升到工業(yè)生產(chǎn)安

全事故。目前，傳統(tǒng)基于監(jiān)測(cè)、預(yù)警、響應(yīng)的網(wǎng)絡(luò)安全技術(shù)難以應(yīng)對(duì)

上述攻擊變化，需要進(jìn)行理念創(chuàng)新，針對(duì)不斷變化演進(jìn)的網(wǎng)絡(luò)攻擊

形態(tài)，設(shè)計(jì)建構(gòu)更加完善的大數(shù)據(jù)平臺(tái)安全保護(hù)體系，為上層跨行業(yè)

跨領(lǐng)域的業(yè)務(wù)應(yīng)用提供基礎(chǔ)性安全保障。

（三）大數(shù)據(jù)時(shí)代，數(shù)據(jù)在流動(dòng)過程中實(shí)現(xiàn)價(jià)值最大化，需要

重構(gòu)以數(shù)據(jù)為中心、適應(yīng)數(shù)據(jù)動(dòng)態(tài)跨界流動(dòng)的安全防護(hù)體系

大數(shù)據(jù)時(shí)代，數(shù)據(jù)作為一種特殊的資產(chǎn)，能夠在流通和使用過程

中不斷創(chuàng)造新的價(jià)值。因此，在大數(shù)據(jù)應(yīng)用場(chǎng)景下，數(shù)據(jù)流動(dòng)是‘常

態(tài)”，數(shù)據(jù)靜止存儲(chǔ)才是“非常態(tài)”。同時(shí)，可以預(yù)見到，未來大數(shù)據(jù)業(yè)

務(wù)環(huán)境將更加開放，業(yè)務(wù)生態(tài)將更加復(fù)雜，參與數(shù)據(jù)處理的角色將更

多元，系統(tǒng)、業(yè)務(wù)、組織邊界將進(jìn)一步模糊，導(dǎo)致數(shù)據(jù)的產(chǎn)生、流動(dòng)、

處理等過程比以往更加豐富和多樣。數(shù)據(jù)的頻繁跨界流動(dòng)，除可能導(dǎo)

致傳統(tǒng)的數(shù)據(jù)泄露風(fēng)險(xiǎn)外，還會(huì)引發(fā)新的安全風(fēng)險(xiǎn)。特別是在數(shù)據(jù)共

享環(huán)節(jié)中，傳統(tǒng)數(shù)據(jù)訪問控制技術(shù)無法解決跨組織的數(shù)據(jù)授權(quán)管理和

數(shù)據(jù)流向追蹤問題，僅靠書面合同或協(xié)議難以實(shí)現(xiàn)對(duì)數(shù)據(jù)接收方的數(shù)

據(jù)處理活動(dòng)進(jìn)行實(shí)時(shí)監(jiān)控和審計(jì)，極易造成數(shù)據(jù)濫用的風(fēng)險(xiǎn)，最典型

的案例即是今年曝光的“劍橋分析”事件。未來，數(shù)據(jù)共享和流通將

成為剛性業(yè)務(wù)需求，傳統(tǒng)的靜態(tài)隔離安全保護(hù)方法將徹底不能滿足

數(shù)據(jù)流動(dòng)安全防護(hù)的需求，必須通過動(dòng)態(tài)變化的視角分析和判斷數(shù)據(jù)

安全風(fēng)險(xiǎn)，構(gòu)建以數(shù)據(jù)為中心的動(dòng)態(tài)、連續(xù)的數(shù)據(jù)安全防護(hù)體系。

（四）大數(shù)據(jù)推動(dòng)數(shù)字經(jīng)濟(jì)新業(yè)態(tài)新模式蓬勃發(fā)展，廣大民眾卻

面臨享受便捷化泛在化信息服務(wù)與保護(hù)個(gè)人信息權(quán)利之間的兩難抉

擇

近年來，我國(guó)網(wǎng)絡(luò)購(gòu)物、移動(dòng)支付、共享經(jīng)濟(jì)等數(shù)字經(jīng)濟(jì)新業(yè)態(tài)

新模式發(fā)展迅猛，基于互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的信息服務(wù)已經(jīng)

滲透到社會(huì)生活的方方面面，為廣大民眾提供便捷、高效、全天候的

服務(wù)。以普惠金融為例，利用大數(shù)據(jù)對(duì)個(gè)人數(shù)據(jù)的挖掘和分析，能夠

幫助金融科技公司更好的理解用戶需求，提供個(gè)性化定制服務(wù)；利用

大數(shù)據(jù)進(jìn)行金融風(fēng)險(xiǎn)控制，能夠?qū)崿F(xiàn)流水線操作，減少經(jīng)營(yíng)成本，提

高服務(wù)效率，提升用戶體驗(yàn)。例如，某互聯(lián)網(wǎng)金融服務(wù)企業(yè)推出的“310”

個(gè)人信貸服務(wù)模式，即“3分鐘填表、1分鐘批貸、0人工干預(yù)，“為

用戶提供了傳統(tǒng)信貸服務(wù)無法比擬的業(yè)務(wù)體驗(yàn)，同時(shí)將業(yè)務(wù)成本從每

單2000亓降至2.3元.然而，用戶享受便捷服務(wù)的代價(jià)是出讓自

己的個(gè)人信息權(quán)利c每日推薦、個(gè)人日?qǐng)?bào)、免押租車等信息服務(wù)，都

是基于大數(shù)據(jù)技術(shù)對(duì)用戶個(gè)人數(shù)據(jù)進(jìn)行挖掘分析，形成用戶畫像，進(jìn)

而提供的定制化服務(wù)。但大數(shù)據(jù)應(yīng)用場(chǎng)景下，無所不在的數(shù)據(jù)收集技

術(shù)、專業(yè)化多樣化的數(shù)據(jù)處理技術(shù)，使得用戶難以控制其個(gè)人信息的

收集情境和應(yīng)用情境，用戶對(duì)其個(gè)人信息的自決權(quán)利自然被削弱。特

別是，企業(yè)間的數(shù)據(jù)共享日益頻繁，利用大數(shù)據(jù)的超強(qiáng)分析能力對(duì)多

源數(shù)據(jù)進(jìn)行處理，能夠?qū)⒔?jīng)過匿名化處理的數(shù)據(jù)再次還原，導(dǎo)致現(xiàn)有

數(shù)據(jù)脫敏技術(shù)“失靈”，直接威脅用戶的隱私安全。

綜上，大數(shù)據(jù)安全是涉及技術(shù)、法律、監(jiān)管、社會(huì)治理等領(lǐng)域的

綜合性問題，其影響范圍涵蓋國(guó)家安全、產(chǎn)業(yè)安全和個(gè)人合法權(quán)益。

同時(shí)，大數(shù)據(jù)在數(shù)量規(guī)模、處理方式、應(yīng)用理念等方面的革新，不僅

導(dǎo)致大數(shù)據(jù)平臺(tái)自身安全需求發(fā)生變化，還帶動(dòng)數(shù)據(jù)安全防護(hù)理念隨

之改變，同時(shí)引發(fā)對(duì)高水平隱私保護(hù)技術(shù)的需求和期待。

1.3.技術(shù)總體視圖

如前所述，大數(shù)據(jù)安全是一個(gè)跨領(lǐng)域跨學(xué)科的綜合性問題，可以

從法律、經(jīng)濟(jì)、技術(shù)等多個(gè)角度進(jìn)行研究。本報(bào)告以技術(shù)作為切入點(diǎn)，

梳理分析當(dāng)前大數(shù)據(jù)的安全需求和涉及的技術(shù)，提出大數(shù)據(jù)安全技術(shù)

總體視圖，如圖1所示。在繪制大數(shù)據(jù)安全技術(shù)總體視圖的過程中，

我們參考了NIST等國(guó)內(nèi)外關(guān)于大數(shù)據(jù)技術(shù)參考架構(gòu)的研究成果。

考慮到大數(shù)據(jù)平臺(tái)為上層應(yīng)用系統(tǒng)提供存儲(chǔ)和計(jì)算資源，是對(duì)數(shù)據(jù)進(jìn)

行采集、存儲(chǔ)、計(jì)算、分析與展示等處理的工具和場(chǎng)所，因此，我

們以大數(shù)據(jù)平臺(tái)為基本出發(fā)點(diǎn)，形成了大數(shù)據(jù)安全總體視圖。

在總體視圖中，大數(shù)據(jù)安全技術(shù)體系分為大數(shù)據(jù)平臺(tái)安全、數(shù)據(jù)

安全和個(gè)人隱私保護(hù)三個(gè)層次，自下而上為依次承載的關(guān)系。大數(shù)據(jù)

平臺(tái)不僅要保障自身基礎(chǔ)組件安全，還要為運(yùn)行其上的數(shù)據(jù)和應(yīng)用提

供安全機(jī)制保障；除平臺(tái)安全保障外，數(shù)據(jù)安全防護(hù)技術(shù)為業(yè)務(wù)應(yīng)用

中的數(shù)據(jù)流動(dòng)過程提供安全防護(hù)手段；隱私安全保護(hù)是在數(shù)據(jù)安全基

礎(chǔ)之上對(duì)個(gè)人敏感信息的安全防護(hù)。

去標(biāo)識(shí)化匿名化

隱私安全

分類分級(jí)數(shù)據(jù)隔離

質(zhì)量管理數(shù)據(jù)加密

元數(shù)據(jù)管理防泄漏

數(shù)據(jù)安全

傳輸交換安全存儲(chǔ)安全計(jì)算安全平臺(tái)管理安全

補(bǔ)丁管理

配置管理

安全審計(jì)......

1.3.1.平臺(tái)安全

大數(shù)據(jù)平臺(tái)安全是對(duì)大數(shù)據(jù)平臺(tái)傳輸、存儲(chǔ)、運(yùn)算等資源和功能

的安全保障，包括傳輸交換安全、存儲(chǔ)安全、計(jì)算安全、平臺(tái)管理安

全以及基礎(chǔ)設(shè)施安全。

傳輸交換安全是指保障與外部系統(tǒng)交換數(shù)據(jù)過程的安全可控，需

要采用接口鑒權(quán)等機(jī)制，對(duì)外部系統(tǒng)的合法性進(jìn)行驗(yàn)證，采用通道加

密等手段保障傳輸過程的機(jī)密性和完整性。存儲(chǔ)安全是指對(duì)平臺(tái)中的

數(shù)據(jù)設(shè)置備份與恢復(fù)機(jī)制，并采用數(shù)據(jù)訪問控制機(jī)制來防止數(shù)據(jù)的越

權(quán)訪問。計(jì)算組件應(yīng)提供相應(yīng)的身份認(rèn)證和訪問控制機(jī)制，確保只有

合法的用戶或應(yīng)用程序才能發(fā)起數(shù)據(jù)處理請(qǐng)求。平臺(tái)管理安全包括平

臺(tái)組件的安全配置、資源安全調(diào)度、補(bǔ)丁管理、安全審計(jì)等內(nèi)容c此

外，平臺(tái)軟硬件基礎(chǔ)設(shè)施的物理安全、網(wǎng)絡(luò)安全、虛擬化安全等是大

數(shù)據(jù)平臺(tái)安全運(yùn)行的基礎(chǔ)。

1.3.2.數(shù)據(jù)安全

數(shù)據(jù)安全防護(hù)是指平臺(tái)為支撐數(shù)據(jù)流動(dòng)安全所提供的安全功能,

包括數(shù)據(jù)分類分級(jí)、元數(shù)據(jù)管理、質(zhì)量管理、數(shù)據(jù)加密、數(shù)據(jù)隔離、

防泄露、追蹤溯源、數(shù)據(jù)銷毀等內(nèi)容。

大數(shù)據(jù)促使數(shù)據(jù)生命周期由傳統(tǒng)的單鏈條逐漸演變成為復(fù)雜多

鏈條形態(tài)，增加了共享、交易等環(huán)節(jié)，且數(shù)據(jù)應(yīng)用場(chǎng)景和參與角色愈

加多樣化，在復(fù)雜的應(yīng)用環(huán)境下，保證國(guó)家重要數(shù)據(jù)、企業(yè)機(jī)密數(shù)據(jù)

以及用戶個(gè)人隱私數(shù)據(jù)等敏感數(shù)據(jù)不發(fā)生外泄，是數(shù)據(jù)安全的首要需

求。海量多源數(shù)據(jù)在大數(shù)據(jù)平臺(tái)匯聚，一個(gè)數(shù)據(jù)資源池同時(shí)服務(wù)于多

個(gè)數(shù)據(jù)提供者和數(shù)據(jù)使用者，強(qiáng)化數(shù)據(jù)隔離和訪問控制，實(shí)現(xiàn)數(shù)據(jù)“可

用不可見”，是大數(shù)據(jù)環(huán)境下數(shù)據(jù)安全的新需求。利用大數(shù)據(jù)技術(shù)對(duì)

海量數(shù)據(jù)進(jìn)行挖掘分析所得結(jié)果可能包含涉及國(guó)家安全、經(jīng)濟(jì)運(yùn)行、

社會(huì)治理等敏感信息，需要對(duì)分析結(jié)果的共享和披露加強(qiáng)安全管理。

1.3.3.隱私保護(hù)

本報(bào)告所提的隱私保護(hù)是指利用去標(biāo)識(shí)化、匿名化、密文計(jì)算等

技術(shù)保障個(gè)人數(shù)據(jù)在平臺(tái)上處理、流轉(zhuǎn)過程中不泄露個(gè)人隱私或個(gè)人

不愿被外界知道的信息。隱私保護(hù)是建立在數(shù)據(jù)安全防護(hù)基礎(chǔ)之上的

保障個(gè)人隱私權(quán)的更深層次安全要求。然而，我們也意識(shí)到大數(shù)據(jù)時(shí)

代的隱私保護(hù)不再是狹隘地保護(hù)個(gè)人隱私權(quán)，而是在個(gè)人信息收集、

使用過程中保障數(shù)據(jù)主體的個(gè)人信息自決權(quán)利0實(shí)際上，個(gè)人信息保

護(hù)已經(jīng)成為一個(gè)涵蓋產(chǎn)品設(shè)計(jì)、業(yè)務(wù)運(yùn)營(yíng)、安全防護(hù)等在內(nèi)的體系化

工程，不是一個(gè)單純的技術(shù)問題。但由于本報(bào)告重點(diǎn)聚焦大數(shù)據(jù)安全

技術(shù)，因此在談及數(shù)據(jù)主體的個(gè)人權(quán)益保護(hù)時(shí)，我們選擇去繁從簡(jiǎn)，

從研究方向更為清晰的隱私保護(hù)技術(shù)入手開展研究。

第二章面臨問題

大數(shù)據(jù)安全威脅滲透在數(shù)據(jù)生產(chǎn)、采集、處理和共享等大數(shù)據(jù)產(chǎn)

業(yè)鏈的各個(gè)環(huán)節(jié)，風(fēng)險(xiǎn)成因復(fù)雜交織；既有外部攻擊，也有內(nèi)部泄露；

既有技術(shù)漏洞，也有管理缺陷；既有新技術(shù)新模式觸發(fā)的新風(fēng)險(xiǎn)，也

有傳統(tǒng)安全問題的持續(xù)觸發(fā)。本報(bào)告將聚焦于大數(shù)據(jù)本身面臨的安全

威脅，從大數(shù)據(jù)平臺(tái)安全、數(shù)據(jù)安全和個(gè)人信息安全三個(gè)方面展開分

析，確定大數(shù)據(jù)安全需求。

2.1.平臺(tái)安全問題

1、大數(shù)據(jù)平臺(tái)在Hadoop開源模式下缺乏整體安全規(guī)劃，自

身安全機(jī)制存在局限性

目前,Hadoop已經(jīng)成為應(yīng)用最廣泛的大數(shù)據(jù)計(jì)算軟件平臺(tái)，其

技術(shù)發(fā)展與開源模式結(jié)合。Hadoop的最初設(shè)計(jì)是為了管理大量的公

共web數(shù)據(jù)，假設(shè)集群總是處于可信的環(huán)境中，由可信用戶使用的

相互協(xié)作的可信計(jì)算機(jī)組成。因此最初的Hadoop沒有設(shè)計(jì)安全機(jī)

制，也沒有安全模型和整體的安全規(guī)劃。隨著Hadoop的廣泛應(yīng)用，

越權(quán)提交作業(yè)、修改JobTracker狀態(tài)、篡改數(shù)據(jù)等惡意行為不斷出

現(xiàn)，Hadoop開源社區(qū)開始考慮安全需求，并相繼加入了Kerberos

認(rèn)證、文件ACL訪問控制、網(wǎng)絡(luò)層加密等安全機(jī)制，這些安全功能

可以解決部分安全問題，但仍然存在局限性。在身份管理和訪問控制

方面，依賴于Linux的身份和權(quán)限管理機(jī)制，身份管理僅支持用戶

和用戶組，不支持角色；僅有可讀、可寫、可執(zhí)行三個(gè)權(quán)限，不能滿

足基于角色的身份管理和細(xì)粒度訪問控制等新的安全需求。安全審計(jì)

方面，Hadoop生態(tài)系統(tǒng)中只有分布在各組件中的日志記錄，無原生

安全審計(jì)功能，需要使用外部附加工具進(jìn)行日志分析。另外，開源

發(fā)展模式也為Hadoop系統(tǒng)帶來了潛在的安全隱患。企業(yè)在進(jìn)行工

具研發(fā)的過程中，多注重功能的實(shí)現(xiàn)和性能的提高，對(duì)代碼的質(zhì)量和

數(shù)據(jù)安全關(guān)注較少,因此，開源組件缺乏嚴(yán)格的測(cè)試管理和安全認(rèn)證,

對(duì)組件漏洞和惡意后門的防范能力不足。據(jù)CommonVulnerabilities

andExposures（以下簡(jiǎn)稱“CVE”）漏洞列表顯示，從2013年

到2017年，Hadoop暴露出來的漏洞數(shù)量共計(jì)18個(gè)，其中有5個(gè)

是關(guān)于信息泄露的漏洞，并且漏洞數(shù)量逐年增長(zhǎng)。

2、大數(shù)據(jù)平臺(tái)服務(wù)用戶眾多、場(chǎng)景多樣，傳統(tǒng)安全機(jī)制的性能

難以滿足需求

大數(shù)據(jù)場(chǎng)景下，數(shù)據(jù)從多個(gè)渠道大量匯聚，數(shù)據(jù)類型、用戶角色

和應(yīng)用需求更加多樣化，訪問控制面臨諸多新的問題。首先，多源數(shù)

據(jù)的大量匯聚增加了訪問控制策略制定及授權(quán)管理的難度，過度授權(quán)

和授權(quán)不足現(xiàn)象嚴(yán)重。其次，數(shù)據(jù)多樣性、用戶角色和需求的細(xì)化增

加了客體的描述困難，傳統(tǒng)訪問控制方案中往往采用數(shù)據(jù)屬性（如

身份證號(hào)）來描述訪問控制策略中的客體，非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)

無法采取同樣的方式進(jìn)行精細(xì)化描述，導(dǎo)致無法準(zhǔn)確為用戶指定其可

以訪問的數(shù)據(jù)范圍，難以滿足最小授權(quán)原則。大數(shù)據(jù)復(fù)雜的數(shù)據(jù)存儲(chǔ)

和流動(dòng)場(chǎng)景使得數(shù)據(jù)加密的實(shí)現(xiàn)變得異常困難，海量數(shù)據(jù)的密鑰管

理也是亟待解決的難題。

3、大數(shù)據(jù)平臺(tái)的大規(guī)模分布式存儲(chǔ)和計(jì)算模式導(dǎo)致安全配置難

度成倍增長(zhǎng)

開源Hadoop生態(tài)系統(tǒng)的認(rèn)證、權(quán)限管理、加密、審計(jì)等功能

均通過對(duì)相關(guān)組件的配置來完成，無配置檢查和效果評(píng)價(jià)機(jī)制。同時(shí),

大規(guī)模的分布式存儲(chǔ)和計(jì)算架構(gòu)也增加了安全配置工作的難度，對(duì)安

全運(yùn)維人員的技術(shù)要求較高，一旦出錯(cuò)，會(huì)影響整個(gè)系統(tǒng)的正常運(yùn)行。

據(jù)Shodan互聯(lián)網(wǎng)設(shè)備搜索引擎的分析顯示，大數(shù)據(jù)平臺(tái)服務(wù)器配

置不當(dāng)，已經(jīng)導(dǎo)致全球5120TB數(shù)據(jù)泄露或存在數(shù)據(jù)泄露風(fēng)險(xiǎn)，泄

露案例最多的國(guó)家分別是美國(guó)和中國(guó)1o本年初針對(duì)Hadoop平臺(tái)

的勒索攻擊事件，在整個(gè)攻擊過程中并沒有涉及常規(guī)漏洞，而是利用

平臺(tái)的不安全配置，輕而易舉地對(duì)數(shù)據(jù)進(jìn)行操作。

4、針對(duì)大數(shù)據(jù)平臺(tái)網(wǎng)絡(luò)攻擊手段呈現(xiàn)新特點(diǎn)，傳統(tǒng)安全監(jiān)測(cè)技

術(shù)暴露不足

大數(shù)據(jù)存儲(chǔ)、計(jì)算、分析等技術(shù)的發(fā)展，催生出很多新型高級(jí)的

網(wǎng)絡(luò)攻擊手段，使彳導(dǎo)傳統(tǒng)的檢測(cè)、防御技術(shù)暴露出嚴(yán)重不足，無法有效

抵御外界的入侵攻擊。傳統(tǒng)的檢測(cè)是基于單個(gè)時(shí)間點(diǎn)進(jìn)行的基于威脅特

征的實(shí)時(shí)匹配檢測(cè)，而針對(duì)大數(shù)據(jù)的高級(jí)可持續(xù)攻擊（APT）采用長(zhǎng)期

隱蔽的攻擊實(shí)施方式,并不具有能夠被實(shí)時(shí)檢測(cè)的明顯特征,發(fā)現(xiàn)難度較大。

此外，大數(shù)據(jù)的價(jià)值低密度性，使得安全分析工具難以聚焦在價(jià)值點(diǎn)上，

黑客可以將攻擊隱藏在大數(shù)據(jù)中，傳統(tǒng)安全策略檢測(cè)存在較大困難c因

此，針對(duì)大數(shù)據(jù)平臺(tái)的高級(jí)持續(xù)性威脅（APT）攻擊時(shí)有發(fā)生，大數(shù)據(jù)

平臺(tái)遭受的大規(guī)模分布式拒絕服務(wù)（DDoS）攻擊屢見不鮮。Verizon

公司《2018年數(shù)據(jù)泄露調(diào)查報(bào)告》顯示，48%的數(shù)據(jù)泄露與黑客攻

擊有關(guān)，其中，DDoS、釣魚攻擊以及特權(quán)濫用是主要的黑客攻擊

方式，具體數(shù)據(jù)如圖3所示。

數(shù)據(jù)泄露中主要攻擊手段統(tǒng)計(jì)

黑客

攻擊

惡意軟件配

圖3.數(shù)據(jù)泄露中主要攻擊手段統(tǒng)計(jì)圖

2.2.數(shù)據(jù)安全問題

除數(shù)據(jù)泄露威脅持續(xù)加劇外，大數(shù)據(jù)的體量大、種類多等特點(diǎn),

使得大數(shù)據(jù)環(huán)境下的數(shù)據(jù)安全出現(xiàn)了有別于傳統(tǒng)數(shù)據(jù)安全的新威脅。

(1)數(shù)據(jù)泄露事件數(shù)量持續(xù)增長(zhǎng)，造成的危害日趨嚴(yán)重

大數(shù)據(jù)因其蘊(yùn)藏的巨大價(jià)值和集中化的存儲(chǔ)管理模式成為網(wǎng)絡(luò)

攻擊的重點(diǎn)目標(biāo)，針對(duì)大數(shù)據(jù)的勒索攻擊和數(shù)據(jù)泄露問題日趨嚴(yán)重，

重大數(shù)據(jù)安全事件頻發(fā)。Gemalto《2017數(shù)據(jù)泄露水平指數(shù)報(bào)告》

顯示，2017年上半年全球范圍內(nèi)數(shù)據(jù)泄露總量為19億條，超過

2016年全年總量(14億)，比2016年下半年增長(zhǎng)了160%多，從

2013年到2017年全球數(shù)據(jù)泄露的具體數(shù)目如圖4所示，從圖中

可以看出數(shù)據(jù)泄露的數(shù)目呈現(xiàn)逐年上漲的趨勢(shì)。僅2017年，全球

發(fā)生了多起影響重大的數(shù)據(jù)泄露事件，美國(guó)共和黨下屬數(shù)據(jù)分析公司

2、征信機(jī)構(gòu)3先后發(fā)生大規(guī)模用戶數(shù)據(jù)泄露事件，影響人數(shù)均達(dá)到

億級(jí)規(guī)模。我國(guó)數(shù)據(jù)泄露事件也時(shí)有發(fā)生。2017年3月，京東試

用期員工與網(wǎng)絡(luò)黑客勾結(jié)，盜取涉及交通、物流、醫(yī)療等個(gè)人信息50

億條，在網(wǎng)絡(luò)黑市販賣.此外，數(shù)據(jù)泄露的潛在隱患同樣不容樂觀，

據(jù)Shodan統(tǒng)計(jì)，截至2017年2月3日，中國(guó)有15046個(gè)

MangoDB數(shù)據(jù)庫(kù)暴露在公網(wǎng)，存在嚴(yán)重安全問題。

數(shù)據(jù)泄露事件數(shù)量單位：億個(gè)

30.00

25.00

?nnn

15.00

10.00

5.00

nnn

圖4.2013-2017年數(shù)據(jù)泄露數(shù)量統(tǒng)計(jì)圖

(2)數(shù)據(jù)采集環(huán)節(jié)成為影響決策分析的新風(fēng)險(xiǎn)點(diǎn)

在數(shù)據(jù)采集環(huán)節(jié)，大數(shù)據(jù)體量大、種類多、來源復(fù)雜的特點(diǎn)為數(shù)

據(jù)的真實(shí)性和完整性校驗(yàn)帶來困難，目前，尚無嚴(yán)格的數(shù)據(jù)真實(shí)性、

可信度鑒別和監(jiān)測(cè)手段，無法識(shí)別并剔除虛假甚至惡意的數(shù)據(jù)。若黑

客利用網(wǎng)絡(luò)攻擊向數(shù)據(jù)采集端注入臟數(shù)據(jù)，會(huì)破壞數(shù)據(jù)真實(shí)性，故意

將數(shù)據(jù)分析的結(jié)果引向預(yù)設(shè)的方向，進(jìn)而實(shí)現(xiàn)操縱分析結(jié)果的攻擊目

的。

(3)數(shù)據(jù)處理過程中的機(jī)密性保障問題逐漸顯現(xiàn)

數(shù)字經(jīng)濟(jì)時(shí)代來臨，越來越多的企業(yè)或組織需要參與產(chǎn)業(yè)鏈協(xié)同,

以數(shù)據(jù)流動(dòng)與合作為基礎(chǔ)進(jìn)行生產(chǎn)活動(dòng)。企業(yè)或組織在開展數(shù)據(jù)合作

和共享的應(yīng)用場(chǎng)景中，數(shù)據(jù)將突破組織和系統(tǒng)的邊界進(jìn)行流轉(zhuǎn)，產(chǎn)生

跨系統(tǒng)的訪問或多方數(shù)據(jù)匯聚進(jìn)行聯(lián)合運(yùn)算。保證個(gè)人信息、商業(yè)機(jī)

密或獨(dú)有數(shù)據(jù)資源在合作過程中的機(jī)密性，是企業(yè)或組織參與數(shù)據(jù)共

享合作的前提，也是數(shù)據(jù)有序流動(dòng)必須要解決的問題。

(4)數(shù)據(jù)流動(dòng)路徑的復(fù)雜化導(dǎo)致追蹤溯源變得異常困難

大數(shù)據(jù)應(yīng)用體系龐雜，頻繁的數(shù)據(jù)共享和交換促使數(shù)據(jù)流動(dòng)路徑

變得交錯(cuò)復(fù)雜，數(shù)據(jù)從產(chǎn)生到銷毀不再是單向、單路徑的簡(jiǎn)單流動(dòng)模

式，也不再僅限于組織內(nèi)部流轉(zhuǎn)，而會(huì)從一個(gè)數(shù)據(jù)控制者流向另一個(gè)

控制者。在此過程中，實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)環(huán)境下跨越數(shù)據(jù)控制者或安全域

的全路徑數(shù)據(jù)追蹤溯源變得更加困難，特別是數(shù)據(jù)溯源中數(shù)據(jù)標(biāo)記的

可信性、數(shù)據(jù)標(biāo)記與數(shù)據(jù)內(nèi)容之間捆綁的安全性等問題更加突出。

2018年3月的“劍橋分析”事件中，F(xiàn)acebook即是因?yàn)閷?duì)第三方使

用數(shù)據(jù)缺乏有效的管理和追責(zé)機(jī)制，最終導(dǎo)致8700萬(wàn)名用戶資料

被濫用，還帶來了股價(jià)暴跌、信譽(yù)度下降等嚴(yán)重后果。

2.3.個(gè)人隱私安全挑戰(zhàn)

大數(shù)據(jù)應(yīng)用對(duì)個(gè)人隱私造成的危害不僅是數(shù)據(jù)泄露，大數(shù)

據(jù)采集、處理、分析數(shù)據(jù)的方式和能力對(duì)傳統(tǒng)個(gè)人隱私保護(hù)框

架和技術(shù)能力亦帶來了嚴(yán)峻挑戰(zhàn)。

(1)傳統(tǒng)隱私保護(hù)技術(shù)因大數(shù)據(jù)超強(qiáng)的分析能力面臨失效

的可能

在大數(shù)據(jù)環(huán)境下，企業(yè)對(duì)多來源多類型數(shù)據(jù)集進(jìn)行關(guān)聯(lián)分

析和深度挖掘，可以復(fù)原匿名化數(shù)據(jù)，進(jìn)而能夠識(shí)別特定個(gè)人

或獲取其有價(jià)值的個(gè)人信息。在傳統(tǒng)的隱私保護(hù)中，數(shù)據(jù)控制

者針對(duì)單個(gè)數(shù)據(jù)集孤立地選擇隱私保護(hù)技術(shù)和參數(shù)來保護(hù)個(gè)人

數(shù)據(jù)，特別是利用去標(biāo)識(shí)、掩碼等技術(shù)的做法，無法應(yīng)對(duì)上述

大數(shù)據(jù)場(chǎng)景下多源數(shù)據(jù)分析挖掘引發(fā)的隱私泄露問題。

(2)傳統(tǒng)隱私保護(hù)技術(shù)難以適應(yīng)大數(shù)據(jù)的非關(guān)系型數(shù)據(jù)庫(kù)

在大數(shù)據(jù)技術(shù)環(huán)境下，數(shù)據(jù)呈現(xiàn)動(dòng)態(tài)變化、半結(jié)構(gòu)化和非結(jié)構(gòu)化

數(shù)據(jù)居多的特性，對(duì)于占數(shù)據(jù)總量80%以上的非結(jié)構(gòu)化數(shù)據(jù)，通常

采用非關(guān)系型數(shù)據(jù)庫(kù)(NoSQL)存儲(chǔ)技術(shù)完成對(duì)大數(shù)據(jù)的抓取、管

理和處理。而非關(guān)系型數(shù)據(jù)庫(kù)目前尚無嚴(yán)格的訪問控制機(jī)制及相對(duì)完

善的隱私保護(hù)工具，現(xiàn)有的隱私保護(hù)技術(shù)，如去標(biāo)識(shí)化、匿名化技術(shù)

等，多適用于關(guān)系型數(shù)據(jù)庫(kù)。

第三章大數(shù)據(jù)安全技術(shù)

面對(duì)上述大數(shù)據(jù)安全挑戰(zhàn)與威脅，產(chǎn)業(yè)各界在安全防護(hù)技術(shù)方面

進(jìn)行了針對(duì)性的實(shí)踐與探索。本報(bào)告從大數(shù)據(jù)平臺(tái)安全、數(shù)據(jù)安全、

隱私保護(hù)三個(gè)方面闡述大數(shù)據(jù)安全技術(shù)的發(fā)展現(xiàn)狀。

3.1.平臺(tái)安全技術(shù)

隨著市場(chǎng)對(duì)大數(shù)據(jù)安全需求的增加，Hadoop開源社區(qū)增加了身

份認(rèn)證、訪問控制、數(shù)據(jù)加密等安全機(jī)制。商業(yè)化Hadoop平臺(tái)也

逐步開發(fā)了集中化安全管理、細(xì)粒度訪問控制等安全組件，對(duì)平臺(tái)進(jìn)

行了安全升級(jí)。部分安全服務(wù)提供商也致力于通用的大數(shù)據(jù)平臺(tái)安全

加固技術(shù)和產(chǎn)品的研發(fā)，已有多款大數(shù)據(jù)平臺(tái)安全產(chǎn)品上市。這些

安全機(jī)制的應(yīng)用為大數(shù)據(jù)平臺(tái)安全提供了基礎(chǔ)機(jī)制保障。

1、Hadoop開源社區(qū)增加了基本安全機(jī)制，但安全能力不能滿

足現(xiàn)實(shí)需求

Hadoop開源系統(tǒng)中提供了身份認(rèn)證、訪問控制、安全審計(jì)、數(shù)

據(jù)加密等基本安全功能。身份認(rèn)證方面，Hadoop支持兩種身份驗(yàn)證

機(jī)制：簡(jiǎn)單機(jī)制和Kerberos機(jī)制。簡(jiǎn)單機(jī)制是默認(rèn)設(shè)置，根據(jù)客戶

進(jìn)程的有效LHD確定用戶名，只能避免內(nèi)部人員的誤操作。

Kerberos機(jī)制支持集群中服務(wù)器間的認(rèn)證和Client到服務(wù)器的認(rèn)

證。因?yàn)镵erberos可以實(shí)現(xiàn)較強(qiáng)的安全性，同時(shí)保證較高的運(yùn)行性

能，目前還沒有哪種認(rèn)證方式可以取代Kerberos認(rèn)證。基于

Kerberos的認(rèn)證方式對(duì)于系統(tǒng)外部可以實(shí)現(xiàn)強(qiáng)安全認(rèn)證，但

Kerberos的認(rèn)證顆粒度基于操作系統(tǒng)用戶，無法支持系統(tǒng)內(nèi)組件之

間的身份認(rèn)證。訪問控制方面，目前大數(shù)據(jù)安全開源技術(shù)在訪問控制

方面主要有基于權(quán)限的訪問控制、訪問控制列表、基于角色的訪問控

制、基于標(biāo)簽的訪問控制和基于操作系統(tǒng)的訪問控制等幾種方式。

POSIX權(quán)限和訪問控制列表方式可用于HDFS、MapReduce.

HBase中，Hive支持基于角色的訪問控制，HBase和Accumulo

提供了基于標(biāo)簽的訪問控制。在以上幾種訪問控制方式中，企業(yè)主流

使用的是基于權(quán)限的訪問控制和基于角色的訪問控制。大數(shù)據(jù)場(chǎng)景下

用戶角色眾多，用戶需求更加多樣化，難以精細(xì)化和細(xì)粒度地控制每

個(gè)角色的實(shí)際權(quán)限，導(dǎo)致無法準(zhǔn)確為用戶指定其可以訪問的數(shù)據(jù)范圍,

實(shí)現(xiàn)細(xì)粒度訪問控制較為困難。大數(shù)據(jù)環(huán)境訪問控制的復(fù)雜性不僅在

于訪問控制的形式多樣，另一方面在于大數(shù)據(jù)系統(tǒng)允許在不同系統(tǒng)層

面廣泛共享數(shù)據(jù)，需要實(shí)現(xiàn)一種集中統(tǒng)一的訪問控制從而簡(jiǎn)化控制策

略和部署。安全審計(jì)方面，Hadoop開源系統(tǒng)各組件均提供日志和審

計(jì)文件，可以記錄數(shù)據(jù)訪問過程，為追蹤數(shù)據(jù)流向和發(fā)現(xiàn)違規(guī)數(shù)據(jù)操

作提供原始依據(jù)。但Hadoop各組件分別進(jìn)行基本的日志和審計(jì)記

錄，并存儲(chǔ)在其內(nèi)部，實(shí)現(xiàn)全系統(tǒng)的安全審計(jì)較為困難，需要使用

外部的日志聚合系統(tǒng)從集群中所有節(jié)點(diǎn)拉取審計(jì)日志，放入集中化

的位置進(jìn)行存儲(chǔ)和分析。數(shù)據(jù)加密方面，大數(shù)據(jù)環(huán)境下需要實(shí)現(xiàn)數(shù)

據(jù)在靜態(tài)存儲(chǔ)及傳輸過程的加密保護(hù)，其難點(diǎn)在于密鑰管理。從

Hadoop2.6開始，HDFS支持原生靜態(tài)加密——應(yīng)用層加密，是一

種基于加密區(qū)的透明加密方法，需要加密的目錄被分解為若干加密

區(qū)，當(dāng)數(shù)據(jù)寫入加密區(qū)時(shí)被透明地加密，客戶端讀取數(shù)據(jù)時(shí)被透明

地解密。對(duì)于動(dòng)態(tài)傳輸數(shù)據(jù)，對(duì)應(yīng)RPC.TCP/IP和HTTP,Hadoop

提供了不同的動(dòng)態(tài)加密方法，保證客戶端與服務(wù)器傳輸?shù)陌踩浴?/p>

目前Hadoop開源技術(shù)能夠支持通過基于硬件的加密方案，大幅提

高數(shù)據(jù)加解密的性能，實(shí)現(xiàn)最低性能損耗的端到端和存儲(chǔ)層加密。

加密的有效使用需要安全靈活的密鑰管理和分發(fā)機(jī)制，目前在開源

環(huán)境下沒有很好的解決方式，需要借助商業(yè)化的密鑰管理產(chǎn)品。

2、商業(yè)化大數(shù)據(jù)平臺(tái)解決方案已經(jīng)具備相對(duì)完善的安全機(jī)制

商業(yè)化的大數(shù)據(jù)平臺(tái)，如Cloudera公司的CDH(Cloudera

DistributionHadoop)、Hortenworks公司的HDP(Hortonworks

DataPlatform)華為公司的Fusioninsight、星環(huán)信息科技的

TDH(TranswarpDataHub)等，在平臺(tái)安全機(jī)制上，做了如下幾個(gè)

方面的優(yōu)化。集中安全管理和審計(jì)方面，通過專門的集中化的組件(如

Manager.Ranger、Guardian)形成了大數(shù)據(jù)平臺(tái)總體安全管理視

圖，實(shí)現(xiàn)集中的系統(tǒng)運(yùn)維、安全策略管理和審計(jì)，通過統(tǒng)一的配置

管理界面，解決了安全策略配置和管理繁雜的難題。身份認(rèn)證方面，

通過邊界防護(hù)，保證Hadoop集群入口的安全，通過集中身份管理

和單點(diǎn)登錄等方式，簡(jiǎn)化了認(rèn)證機(jī)制，通過界面化的配置管理方式，

可以方便的管理和啟用基于Kerberos的認(rèn)證。訪問控制方面，通過

集中角色管理和批量授權(quán)等機(jī)制，降低集群管理的難度，通過基于角

色或標(biāo)簽的訪問控制策略，實(shí)現(xiàn)資源(例如文件、目錄、表、數(shù)據(jù)庫(kù)、

列族等訪問權(quán)限)的細(xì)粒度管理。加密和密鑰管理方面，提供靈活的

加密策略，保障數(shù)據(jù)傳輸過程及靜態(tài)存儲(chǔ)都是以加密形式存在，也可

以實(shí)現(xiàn)對(duì)Hive、HBase的表或字段加密，同時(shí)提供更好的秘鑰存

儲(chǔ)方案，并能提供和企業(yè)現(xiàn)有的HSM(HardwaresecurityModule)

集成的解決方案。

商業(yè)化大數(shù)據(jù)安全方案從2008年開始起步，經(jīng)過了大量的測(cè)

試驗(yàn)證，有眾多部署實(shí)例，大量的運(yùn)行在各種生產(chǎn)環(huán)境，技術(shù)成熟度

高。由于這類安全萬(wàn)案的安全機(jī)制是只針對(duì)特定平臺(tái)開發(fā)，安全保障

組件僅適用于該平臺(tái)，對(duì)于其他大數(shù)據(jù)平臺(tái)，很難采取此類方案實(shí)現(xiàn)

平臺(tái)安全加固。

3、商業(yè)化通用安全組件可以為已建大數(shù)據(jù)平臺(tái)提供安全加固方

案

通用安全組件是指適用于原生或二次開發(fā)的Hadoop平臺(tái)的安

全防護(hù)機(jī)制，一般實(shí)現(xiàn)方式是通過在Hadoop平臺(tái)內(nèi)部部署集中管

理節(jié)點(diǎn)，負(fù)責(zé)整個(gè)平臺(tái)的安全管理策略設(shè)置和下發(fā)，實(shí)現(xiàn)對(duì)大數(shù)據(jù)平

臺(tái)的用戶和系統(tǒng)內(nèi)組件的統(tǒng)一認(rèn)證管理和集中授權(quán)管理。通過在原功

能組件上部署安全插件，對(duì)數(shù)據(jù)操作指令進(jìn)行解析和攔截，實(shí)現(xiàn)安全

策略的實(shí)施，從而實(shí)現(xiàn)身份認(rèn)證、訪問控制、權(quán)限管理、邊界安全等

功能。身份認(rèn)證方面，在兼容平臺(tái)原有Kerberos+LDAP認(rèn)證機(jī)制

的基礎(chǔ)上，支持口令、手機(jī)、PKI等多因素組合認(rèn)證方式，實(shí)現(xiàn)外部

用戶認(rèn)證和平臺(tái)內(nèi)部組件之間的認(rèn)證，支持用戶單點(diǎn)登錄。訪問控制

方面，引入DAC、MAC、RBAC、DTE等多種訪問控制模式，實(shí)現(xiàn)

HDFS文件、計(jì)算資源、組件等細(xì)粒度的訪問控制，支持安全、審

計(jì)、操作三權(quán)分立。實(shí)現(xiàn)平臺(tái)安全配置基線檢查，提高大數(shù)據(jù)平臺(tái)自

身的安全性。還實(shí)現(xiàn)敏感數(shù)據(jù)的動(dòng)態(tài)模糊化管理等功能。

通用安全組件易于部署和維護(hù)、適合對(duì)已建大數(shù)據(jù)系統(tǒng)進(jìn)行安全

加固，可以在不改變現(xiàn)有系統(tǒng)架構(gòu)的前提下，解決企業(yè)的大數(shù)據(jù)平臺(tái)

安全需求。靈活性強(qiáng)，方便與現(xiàn)有的安全機(jī)制集成。這類產(chǎn)品的提供

者一般都是專業(yè)的安全服務(wù)商，專注于安全問題的解決，防護(hù)機(jī)制

的完備性強(qiáng)，精度高，為開源大數(shù)據(jù)平臺(tái)提供了較完備的安全加固方

案。

3.2.數(shù)據(jù)安全技術(shù)

數(shù)據(jù)是信息系統(tǒng)的核心資產(chǎn)，是大數(shù)據(jù)安全的最終保護(hù)對(duì)象。除

大數(shù)據(jù)平臺(tái)提供的數(shù)據(jù)安全保障機(jī)制之外，目前所采用的數(shù)據(jù)安全技

術(shù)，一般是在整體數(shù)據(jù)視圖的基礎(chǔ)上，設(shè)置分級(jí)分類的動(dòng)態(tài)防護(hù)策略，

降低已知風(fēng)險(xiǎn)的同時(shí)考慮減少對(duì)業(yè)務(wù)數(shù)據(jù)流動(dòng)的干擾與傷害。對(duì)于結(jié)

構(gòu)化的數(shù)據(jù)安全，主要采用數(shù)據(jù)庫(kù)審計(jì)、數(shù)據(jù)庫(kù)防火墻，以及數(shù)據(jù)庫(kù)

脫敏等數(shù)據(jù)庫(kù)安全防護(hù)技術(shù)；對(duì)于非結(jié)構(gòu)化的數(shù)據(jù)安全，主要采用數(shù)

據(jù)泄露防護(hù)(Dataleakageprevention,DLP)技術(shù)。同時(shí)，細(xì)粒度

的數(shù)據(jù)行為審計(jì)與追蹤溯源技術(shù)，能幫助系統(tǒng)在發(fā)生數(shù)據(jù)安全事件時(shí),

迅速定位問題，查缺補(bǔ)漏。

1、敏感數(shù)據(jù)識(shí)別技術(shù)作為數(shù)據(jù)安全監(jiān)控的必要技術(shù)條件逐步實(shí)

現(xiàn)自動(dòng)化

在敏感數(shù)據(jù)的監(jiān)控方案中，基礎(chǔ)部分就是從海量的數(shù)據(jù)中挑選

出敏感數(shù)據(jù)，完成對(duì)敏感數(shù)據(jù)的識(shí)別，進(jìn)而建立系統(tǒng)的總體數(shù)據(jù)視

圖，并采取分類分級(jí)的安全防護(hù)策略保護(hù)數(shù)據(jù)安全。傳統(tǒng)的數(shù)據(jù)識(shí)

別方法是關(guān)鍵字、字典和正則表達(dá)式匹配等方式，通常結(jié)合模式匹

配算法展開，該方法簡(jiǎn)單實(shí)用，但人工參與的相對(duì)較多，自動(dòng)化程

度較低，隨著人工智能識(shí)別技術(shù)的引入，通過機(jī)器學(xué)習(xí)可以實(shí)現(xiàn)大

量文檔的聚類分析，自動(dòng)生成分類規(guī)則庫(kù)，內(nèi)容自動(dòng)化識(shí)別程度正

逐步提高。

2、數(shù)據(jù)防泄露技術(shù)發(fā)展相對(duì)成熟并向智能化方向演進(jìn)

DLP是指通過一定的技術(shù)手段，防止用戶的指定數(shù)據(jù)或信息資

產(chǎn)以違反安全策略規(guī)定的形式流出企業(yè)的一類數(shù)據(jù)安全防護(hù)手段。針

對(duì)數(shù)據(jù)泄露的主要途徑，DLP采用的主要技術(shù)如下：針對(duì)使用泄露

和存儲(chǔ)泄露，通常采用身份認(rèn)證管理、進(jìn)程監(jiān)控、日志分析和安全審

計(jì)等技術(shù)手段，觀察和記錄操作員對(duì)計(jì)算機(jī)、文件、軟件和數(shù)據(jù)的操

作情況，發(fā)現(xiàn)、識(shí)別、監(jiān)控計(jì)算機(jī)中的敏感數(shù)據(jù)的使用和流動(dòng)，對(duì)敏

感數(shù)據(jù)的違規(guī)使用進(jìn)行警告、阻斷等。針對(duì)傳輸泄露，通常采取敏感

數(shù)據(jù)動(dòng)態(tài)識(shí)別、動(dòng)態(tài)加密、訪問阻斷、和數(shù)據(jù)庫(kù)防火墻等技術(shù)，監(jiān)控

服務(wù)器、終端以及網(wǎng)絡(luò)中動(dòng)態(tài)傳輸?shù)拿舾袛?shù)據(jù)，發(fā)現(xiàn)和阻止敏感數(shù)

據(jù)通過聊天工具、網(wǎng)盤、微博、FTP、論壇等方式泄露出去。目前

的DLP,普遍引入了自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、聚類分類等新技術(shù)，

將數(shù)據(jù)管理的顆粒度進(jìn)行了細(xì)化，對(duì)敏感數(shù)據(jù)和安全風(fēng)險(xiǎn)進(jìn)行智能識(shí)

別。“智能安全”將會(huì)成為DLP技術(shù)發(fā)展的趨勢(shì)，大數(shù)據(jù)分析技術(shù)、

機(jī)器學(xué)習(xí)算法的發(fā)展與演進(jìn)將推動(dòng)數(shù)據(jù)泄露防護(hù)的智能化發(fā)展，DLP

將實(shí)現(xiàn)用戶行為分析與數(shù)據(jù)內(nèi)容的智能識(shí)別，實(shí)現(xiàn)數(shù)據(jù)的智能化分層、

分級(jí)保護(hù)，并提供終端、網(wǎng)絡(luò)、云端協(xié)同一體的敏感數(shù)據(jù)動(dòng)態(tài)集中管

控體系。

3、結(jié)構(gòu)化數(shù)據(jù)庫(kù)安全防護(hù)技術(shù)基本成熟，非結(jié)構(gòu)化數(shù)據(jù)庫(kù)安全

防護(hù)亟需加強(qiáng)

結(jié)構(gòu)化的數(shù)據(jù)安全技術(shù)主要是指數(shù)據(jù)庫(kù)安全防護(hù)技術(shù)，可以分

為事前評(píng)估加固、事中安全管控和事后分析追責(zé)三類，其中評(píng)估主

要是數(shù)據(jù)庫(kù)漏洞掃描技術(shù)，安全管控主要是數(shù)據(jù)庫(kù)防火墻、數(shù)據(jù)加

密、脫敏技術(shù)，事后分析追責(zé)主要是數(shù)據(jù)庫(kù)審計(jì)技術(shù)。目前數(shù)據(jù)庫(kù)

安全防護(hù)技術(shù)發(fā)展逐步成熟。而在針對(duì)云環(huán)境和大數(shù)據(jù)環(huán)境的安全

方面，針對(duì)非結(jié)構(gòu)化數(shù)據(jù)庫(kù)的防護(hù)方案已經(jīng)由一些技術(shù)領(lǐng)先的廠商

提出，但技術(shù)成熟度較低。

4、密文計(jì)算技術(shù)因多源數(shù)據(jù)計(jì)算機(jī)密性需求成為研究熱點(diǎn)

隨著多源數(shù)據(jù)計(jì)算場(chǎng)景的增多，在保證數(shù)據(jù)機(jī)密性的基礎(chǔ)上實(shí)現(xiàn)

數(shù)據(jù)的流通和合作應(yīng)用一直是困擾產(chǎn)業(yè)界的難題，同態(tài)加密和安全

多方計(jì)算等密文計(jì)算方法為解決這個(gè)難題提供了一種有效的解決思

路。

同態(tài)加密提供了一種對(duì)加密數(shù)據(jù)進(jìn)行處理的功能，對(duì)經(jīng)過同態(tài)

加密的數(shù)據(jù)處理得到一個(gè)輸出，將這一輸出進(jìn)行解密，其結(jié)果與統(tǒng)

一方法處理未加密的原始數(shù)據(jù)得到的輸出結(jié)果一致。也就是說，其

他人可以對(duì)加密數(shù)據(jù)進(jìn)行處理，但是處理過程不會(huì)泄露任何原始內(nèi)

容。同時(shí)，擁有密鑰的用戶對(duì)處理過的數(shù)據(jù)進(jìn)行解密后，得到的正

好是處理后的結(jié)果c因?yàn)檫@樣一種良好的特性，同態(tài)加密特別適合在

大數(shù)據(jù)環(huán)境中應(yīng)用，既能滿足數(shù)據(jù)應(yīng)用的需求，又能保護(hù)用戶隱私不

被泄露，是一種理想的解決方案。2009年，Gentry提出了第一個(gè)

全同態(tài)加密體制使得該方面的研究取得突破性進(jìn)展，隨后許多密碼學(xué)

家在全同態(tài)加密方案的研究上作出了有意義的工作，促進(jìn)了全同態(tài)

加密向?qū)嵱没陌l(fā)展，但是目前同態(tài)加密算法的計(jì)算開銷過高，尚未

應(yīng)用到實(shí)際生產(chǎn)中C

安全多方計(jì)算(SecureMulti-PartyComputation,SMPC)是解

決一組互不信任的參與方之間保護(hù)隱私的協(xié)同計(jì)算問題，SMPC

要確保輸入的獨(dú)立性，計(jì)算的正確性，同時(shí)不泄露各輸入值給參與

計(jì)算的其他成員。安全多方計(jì)算的這一特點(diǎn)，對(duì)于大數(shù)據(jù)環(huán)境下的

數(shù)據(jù)機(jī)密性保護(hù)有獨(dú)特的優(yōu)勢(shì)。通用的安全多方計(jì)算協(xié)議雖然可以解

決一般性的安全多方計(jì)算問題，但是計(jì)算效率很低，盡管近年來研

究者努力進(jìn)行實(shí)用化技術(shù)的研究，并取得一些成果，但是離真正的

產(chǎn)業(yè)化應(yīng)用還有一段距離。

5、數(shù)字水印和數(shù)據(jù)血緣追蹤技術(shù)發(fā)展明顯滯后于實(shí)際需求

以上的數(shù)據(jù)識(shí)別、密文計(jì)算、安全監(jiān)控和防護(hù)是“事前”和“事中”

的安全保障技術(shù)，隨著數(shù)據(jù)泄露事件的頻繁發(fā)生，“事后”追蹤和溯

源技術(shù)變得越來越重要。安全事件發(fā)生后泄露源頭的追查和責(zé)任的判

定是及時(shí)發(fā)現(xiàn)問題、查缺補(bǔ)漏的關(guān)鍵，同時(shí)，對(duì)安全管理制度的執(zhí)行

也會(huì)形成一定的威懾作用。目前常用的追蹤溯源技術(shù)包括數(shù)字水印和

數(shù)據(jù)血緣追蹤技術(shù)C

數(shù)字水印技術(shù)是為了保持對(duì)分發(fā)后的數(shù)據(jù)流向追蹤，在數(shù)據(jù)泄

露行為發(fā)生后，對(duì)造成數(shù)據(jù)泄露的源頭可進(jìn)行回溯。對(duì)于結(jié)構(gòu)化數(shù)據(jù),

在分發(fā)數(shù)據(jù)中摻雜不影響運(yùn)算結(jié)果的數(shù)據(jù)，采用增加偽行、增加偽

列等方法，拿到泄密數(shù)據(jù)的樣本，可追溯數(shù)據(jù)泄露源。對(duì)于非結(jié)構(gòu)

化數(shù)據(jù)，數(shù)字水印可以應(yīng)用于數(shù)字圖像、音頻、視頻、打印、文本、

條碼等數(shù)據(jù)信息中，在數(shù)據(jù)外發(fā)的環(huán)節(jié)加上隱蔽標(biāo)識(shí)水印，可以追

蹤數(shù)據(jù)擴(kuò)散路徑。但目前的數(shù)字水印方案大多還是針對(duì)靜態(tài)的數(shù)據(jù)

集，滿足數(shù)據(jù)量巨大、更新速度極快的水印方案尚不成熟。

數(shù)據(jù)血緣(Lineage,Provenance,Pedigree)亦可譯為血統(tǒng)、起

源、世系、譜系，是指數(shù)據(jù)產(chǎn)生的鏈路，數(shù)據(jù)血緣記載了對(duì)數(shù)據(jù)處理

的整個(gè)歷史，包括數(shù)據(jù)的起源和處理這些數(shù)據(jù)的所有后繼過程(數(shù)據(jù)

產(chǎn)生、并隨著時(shí)間推移而演變的整個(gè)過程）。通過數(shù)據(jù)血緣追蹤，可

以獲得數(shù)據(jù)在數(shù)據(jù)流中的演化過程。當(dāng)數(shù)據(jù)發(fā)生異常時(shí)，通過數(shù)據(jù)

血緣分析能追蹤到異常發(fā)生的原因，把風(fēng)險(xiǎn)控制在適當(dāng)?shù)乃?。目?/p>

數(shù)據(jù)血緣分析技術(shù)應(yīng)用尚不廣泛，技術(shù)成熟度還未達(dá)到大規(guī)模實(shí)際的

應(yīng)用需求。

3.3.個(gè)人隱私保護(hù)技術(shù)

大數(shù)據(jù)環(huán)境下，數(shù)據(jù)安全技術(shù)提供了機(jī)密性、完整性和可用性的

防護(hù)基礎(chǔ)，隱私保護(hù)是在此基礎(chǔ)上，保證個(gè)人隱私信息不發(fā)生泄露或

不被外界知悉。目前應(yīng)用最廣泛的是數(shù)據(jù)脫敏技術(shù)，學(xué)術(shù)界也提出了

同態(tài)加密、安全多方計(jì)算等可用于隱私保護(hù)的密碼算法，但應(yīng)用尚不

廣泛。

1、數(shù)據(jù)脫敏技術(shù)發(fā)展成熟，是目前應(yīng)用最廣泛的隱私保護(hù)技術(shù)

數(shù)據(jù)脫敏是指對(duì)某些敏感信息通過脫敏規(guī)則進(jìn)行數(shù)據(jù)的變形，實(shí)

現(xiàn)對(duì)個(gè)人數(shù)據(jù)的隱私保護(hù)，是應(yīng)用最廣泛的隱私保護(hù)技術(shù)。目前的脫

敏技術(shù)主要分為如下三種：第一種加密方法，是指標(biāo)準(zhǔn)的加密算法,

加密后完全失去業(yè)務(wù)屬性，屬于低層次脫軌。算法開銷大，適用于機(jī)

密性要求高、不需要保持業(yè)務(wù)屬性的場(chǎng)景。第二種基于數(shù)據(jù)失真的技

術(shù)，最常用的是隨機(jī)干擾、亂序等，是不可逆算法，通過這種算法可

以生成“看起來很真實(shí)的假數(shù)據(jù)”。適用于群體信息統(tǒng)計(jì)或（和）需

要保持業(yè)務(wù)屬性的場(chǎng)景。第三種可逆的置換算法，兼具可逆和保證業(yè)

務(wù)屬性的特征，可以通過位置變換、表映射、算法映射等方式實(shí)現(xiàn)。

表映射方法應(yīng)用起來相對(duì)簡(jiǎn)單，也能解決業(yè)務(wù)屬性保留的問題，但是

隨著數(shù)據(jù)量的增大，相應(yīng)的映射表同量增大，應(yīng)用局限性高。算法映

射方法不需要做映射表，通過自行設(shè)計(jì)的算法來實(shí)現(xiàn)數(shù)據(jù)的變換，這

類算法都是基于密碼學(xué)的基本概念自行設(shè)計(jì)的，通常的做法是在公開

算法的基礎(chǔ)上做一定的變換，適用于需要保持業(yè)務(wù)屬性或（和）需

要可逆的場(chǎng)景。數(shù)據(jù)應(yīng)用系統(tǒng)在選擇脫敏算法時(shí)，可用性和隱私保護(hù)

的平衡是關(guān)鍵，既要考慮系統(tǒng)開銷，滿足業(yè)務(wù)系統(tǒng)的需求，又要兼顧

最小可用原則，最大限度的保護(hù)用戶隱私。

2、匿名化算法將成為未來解決隱私保護(hù)問題的有效途徑

數(shù)據(jù)匿名化算法可以實(shí)現(xiàn)根據(jù)具體情況有條件地發(fā)布部分?jǐn)?shù)據(jù),

或者數(shù)據(jù)的部分屬性內(nèi)容，包括差分隱私、K匿名、L多樣性、T接

近等。匿名化算法要解決的問題包括：隱私性和可用性間的平衡問

題，執(zhí)行效率問題，度量和評(píng)價(jià)標(biāo)準(zhǔn)問題，動(dòng)態(tài)重發(fā)布數(shù)據(jù)的匿名

化問題，多維約束匿名問題等。匿名化算法由于能夠在數(shù)據(jù)發(fā)布環(huán)

境下防止用戶敏感數(shù)據(jù)被泄露，同時(shí)又能保證發(fā)布數(shù)據(jù)的真實(shí)性，

這一特性在大數(shù)據(jù)安全領(lǐng)域受到廣泛關(guān)注。目前，匿名化算法還有

很多挑戰(zhàn)性問題亟待解決，算法的成熟度和使用普及程度還不是很

高。匿名化相關(guān)算法是目前數(shù)據(jù)安全領(lǐng)域的研究熱點(diǎn)之一，目前取

得了豐富的研究成果，也得到了一些實(shí)際應(yīng)用，后續(xù)匿名化算法會(huì)

在隱私保護(hù)方面得到越來越多的應(yīng)用。

第四章發(fā)展總結(jié)

國(guó)內(nèi)外大數(shù)據(jù)平臺(tái)安全、數(shù)據(jù)安全、隱私保護(hù)相關(guān)的技術(shù)已經(jīng)取

得了一定的進(jìn)展，能夠初步解決本報(bào)告第三章提到的安全問題與挑戰(zhàn);

但在應(yīng)對(duì)一些新的網(wǎng)絡(luò)攻擊形式、數(shù)據(jù)應(yīng)用場(chǎng)景、隱私保護(hù)需求方面，

大數(shù)據(jù)安全技術(shù)的現(xiàn)有能力和水平還存在一定差距。

平臺(tái)安全方面，集中的安全配置管理和安全機(jī)制部署能夠基本滿

足目前平臺(tái)的安全需求，大數(shù)據(jù)平臺(tái)的漏洞掃描與攻擊監(jiān)測(cè)技術(shù)相對(duì)

薄弱。目前的商業(yè)化大數(shù)據(jù)平臺(tái)和商業(yè)化通用安全組件，為Hadoop

生態(tài)系統(tǒng)增加了集中安全管理、準(zhǔn)入控制、多因素認(rèn)證、細(xì)粒度訪問

控制、密鑰管理、數(shù)據(jù)脫敏、集中審計(jì)等安全機(jī)制，在一定程度上填

補(bǔ)了大數(shù)據(jù)平臺(tái)安全機(jī)制的空缺，基本滿足目前平臺(tái)的安全需求，但

Hadoop仍處在快速發(fā)展的階段，認(rèn)證機(jī)制依賴Kerberos,其認(rèn)證

中心可能會(huì)成為系統(tǒng)瓶頸。平臺(tái)防攻擊技術(shù)方面，目前大數(shù)據(jù)平臺(tái)仍

然使用傳統(tǒng)網(wǎng)絡(luò)安全的防護(hù)手段，對(duì)大數(shù)據(jù)環(huán)境下擴(kuò)大的防護(hù)邊界和

更加隱蔽的攻擊方式無法做到全面覆蓋，而且行業(yè)對(duì)大數(shù)據(jù)平臺(tái)本身

可能的攻擊手段關(guān)注較少，預(yù)防手段不足，一旦有新的漏洞出現(xiàn)，波

及范圍將十分巨大C

數(shù)據(jù)安全方面，數(shù)據(jù)安全監(jiān)控和防泄露技術(shù)相對(duì)成熟，數(shù)據(jù)的

共享安全、非結(jié)構(gòu)化數(shù)據(jù)庫(kù)的安全防護(hù)以及數(shù)據(jù)泄露溯源技術(shù)亟待改

進(jìn)。目前，數(shù)據(jù)泄露問題在技術(shù)上可以得到較完備的解決，敏感數(shù)據(jù)

自動(dòng)化識(shí)別為防泄露提供了基礎(chǔ)技術(shù)；人工智能、機(jī)器學(xué)習(xí)等技術(shù)的

引入，使得數(shù)據(jù)防泄露向智能化方向演進(jìn)；數(shù)據(jù)庫(kù)防護(hù)技術(shù)的發(fā)展也

為數(shù)據(jù)泄露提供了有力的技術(shù)保障。密文計(jì)算技術(shù)、數(shù)據(jù)泄露追蹤技

術(shù)的發(fā)展仍無法滿足實(shí)際的應(yīng)用需求，難以解決數(shù)據(jù)處理過程的機(jī)密

性保障問題和數(shù)據(jù)流動(dòng)路徑追蹤溯源問題。具體而言，密文計(jì)算技術(shù)

的研究仍處在理論階段，運(yùn)算效率遠(yuǎn)未達(dá)到實(shí)際應(yīng)用的需求；數(shù)字水

印技術(shù)無法滿足大數(shù)據(jù)環(huán)境下大量、快速更新的應(yīng)用需求；數(shù)據(jù)血緣

追蹤技術(shù)未獲得足夠的應(yīng)用驗(yàn)證，其成熟度尚未達(dá)到產(chǎn)業(yè)化應(yīng)用水平。

隱私保護(hù)方面，技術(shù)的發(fā)展明顯無法滿足當(dāng)前迫切的隱私保護(hù)需

求，大數(shù)據(jù)應(yīng)用場(chǎng)景下的個(gè)人信息保護(hù)問題需要構(gòu)建法律、技術(shù)、經(jīng)

濟(jì)等多重手段相結(jié)合的保障體系。目前，應(yīng)用廣泛的數(shù)據(jù)脫敏技術(shù)

受到多源數(shù)據(jù)匯聚的嚴(yán)重挑戰(zhàn)而可能面臨失效，匿名化算法等前沿技

術(shù)目前鮮有實(shí)際應(yīng)用案例，普遍存在運(yùn)算效率過低、開銷過大等問題，

還需要在算法的優(yōu)化方面進(jìn)行持續(xù)改進(jìn)，以滿足大數(shù)據(jù)環(huán)境下的隱私

保護(hù)需求。如前所述，大數(shù)據(jù)應(yīng)用與個(gè)人信息保護(hù)之間的突出矛盾不

單是技術(shù)問題，尤其是在缺乏技術(shù)保障的當(dāng)下，更需要通過加快立法、

加強(qiáng)執(zhí)法規(guī)范大數(shù)據(jù)應(yīng)用場(chǎng)景下的個(gè)人信息收集、使用行為，盡快構(gòu)

建政府管理、企業(yè)履責(zé)、社會(huì)監(jiān)督、網(wǎng)民自律等多主體共同參與的個(gè)

人信息保護(hù)制度體系。

第五章未來發(fā)展

大數(shù)據(jù)正在成為經(jīng)濟(jì)社會(huì)發(fā)展新的驅(qū)動(dòng)力，日益對(duì)經(jīng)濟(jì)運(yùn)行機(jī)制、

社