2021大數(shù)據(jù)安全白皮書

大數(shù)據(jù)安全白皮書（2021年）IIIIII目錄一、對大數(shù)據(jù)安全的認識和思考 1二、大數(shù)據(jù)安全技術(shù)總體視圖 5（一）大數(shù)據(jù)平臺安全 6（二）數(shù)據(jù)安全 7（三）隱私保護 8三、大數(shù)據(jù)安全面臨的技術(shù)問題和挑戰(zhàn) 8（一）平臺安全問題與挑戰(zhàn) 9（二）數(shù)據(jù)安全問題和挑戰(zhàn) 13（三）個人隱私安全挑戰(zhàn) 16四、大數(shù)據(jù)安全技術(shù)發(fā)展情況 17（一）大數(shù)據(jù)平臺安全技術(shù) 17（二）數(shù)據(jù)安全技術(shù) 22（三）個人隱私保護技術(shù) 26（四）大數(shù)據(jù)安全技術(shù)發(fā)展現(xiàn)狀總結(jié) 28五、大數(shù)據(jù)安全技術(shù)未來發(fā)展建議 31（一）需要站在總體安全觀的高度，構(gòu)建大數(shù)據(jù)安全綜合防御體系 31（二）從攻防兩方面入手，強化大數(shù)據(jù)平臺安全保護 32（三）以關(guān)鍵環(huán)節(jié)和關(guān)鍵技術(shù)為突破點，完善數(shù)據(jù)安全技術(shù)體系 32（四...................................................................................................................33（五）重視大數(shù)據(jù)安全評測技術(shù)的研發(fā)，構(gòu)建第三方安全檢測評估體系 34大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書202111一、對大數(shù)據(jù)安全的認識和思考（一解決大數(shù)據(jù)安全問題會安全體系所產(chǎn)生的影響力和破壞力可能是無法預(yù)料和提大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書202122因此，必須從“大安全”的視角審視大數(shù)據(jù)安全問題，必須站（二數(shù)據(jù)平臺的自身安全將成為大數(shù)據(jù)與實體經(jīng)濟融合領(lǐng)域安全的重要影響因素網(wǎng)絡(luò)安全技術(shù)難以應(yīng)對上述攻擊變化，需要進行理念創(chuàng)新，大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書202133（三數(shù)據(jù)流動是“常態(tài)，數(shù)據(jù)靜止存儲才是“非常態(tài)。同時，可以的靜態(tài)隔離安全保護方法將徹底不能滿足數(shù)據(jù)流動安全防險，構(gòu)建以數(shù)據(jù)為中心的動態(tài)、連續(xù)的數(shù)據(jù)安全防護體系。（四）大數(shù)據(jù)推動數(shù)字經(jīng)濟新業(yè)態(tài)新模式蓬勃發(fā)展，廣大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書202144大民眾卻面臨享受便捷化泛在化信息服務(wù)與保護個人信息權(quán)利之間的兩難抉擇分鐘填表、1分鐘批貸、0”同時將業(yè)務(wù)成本從每單2000元降至2.3元。然而，用戶享受便捷服務(wù)的代價是出讓自己的個人信息權(quán)利。每日推薦、化服務(wù)。但大數(shù)據(jù)應(yīng)用場景下，無所不在的數(shù)據(jù)收集技術(shù)、大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書202155脅用戶的隱私安全。二、大數(shù)據(jù)安全技術(shù)總體視圖1NIST等國內(nèi)外關(guān)于大數(shù)據(jù)技術(shù)參考架構(gòu)的研究成果?？紤]到大數(shù)據(jù)集、存儲、計算、分析與展示等處理的工具和場所，因此，大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書202166圖1.大數(shù)據(jù)安全技術(shù)總體視圖（一）大數(shù)據(jù)平臺安全傳輸交換安全是指保障與外部系統(tǒng)交換數(shù)據(jù)過程的安全可控，需要采用接口鑒權(quán)等機制，對外部系統(tǒng)的合法性進大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書202177（二）數(shù)據(jù)安全數(shù)據(jù)安全防護是指平臺為支撐數(shù)據(jù)流動安全所提供的安全功能，包括數(shù)據(jù)分類分級、元數(shù)據(jù)管理、質(zhì)量管理、數(shù)據(jù)加密、數(shù)據(jù)隔離、防泄露、追蹤溯源、數(shù)據(jù)銷毀等內(nèi)容。大數(shù)據(jù)促使數(shù)據(jù)生命周期由傳統(tǒng)的單鏈條逐漸演變成對海量數(shù)據(jù)進行挖掘分析所得結(jié)果可能包含涉及國家安全、經(jīng)大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書202188（三）隱私保護本報告所提的隱私保護是指利用去標識化、匿名化、密文計算等技術(shù)保障個人數(shù)據(jù)在平臺上處理、流轉(zhuǎn)過程中不泄露個人隱私或個人不愿被外界知道的信息。隱私保護是建立在數(shù)據(jù)安全防護基礎(chǔ)之上的保障個人隱私權(quán)的更深層次安全要求。然而，我們也意識到大數(shù)據(jù)時代的隱私保護不再是狹隘地保護個人隱私權(quán)，而是在個人信息收集、使用過程中保障數(shù)據(jù)主體的個人信息自決權(quán)利。實際上，個人信息保護已經(jīng)成為一個涵蓋產(chǎn)品設(shè)計、業(yè)務(wù)運營、安全防護等在內(nèi)的體系化工程，不是一個單純的技術(shù)問題。但由于本報告重點聚焦大數(shù)據(jù)安全技術(shù)，因此在談及數(shù)據(jù)主體的個人權(quán)益保護時，我們選擇去繁從簡，從研究方向更為清晰的隱私保護技術(shù)入手開展研究。三、大數(shù)據(jù)安全面臨的技術(shù)問題和挑戰(zhàn)大數(shù)據(jù)安全威脅滲透在數(shù)據(jù)生產(chǎn)、采集、處理和共享等大數(shù)據(jù)產(chǎn)業(yè)鏈的各個環(huán)節(jié)，風(fēng)險成因復(fù)雜交織；既有外部攻擊，也有內(nèi)部泄露；既有技術(shù)漏洞，也有管理缺陷；既有新技術(shù)新模式觸發(fā)的新風(fēng)險，也有傳統(tǒng)安全問題的持續(xù)觸發(fā)。本報告將聚焦于大數(shù)據(jù)本身面臨的安全威脅，從大數(shù)據(jù)平臺安全、數(shù)據(jù)安全和個人信息安全三個方面展開分析，確定大大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書202199數(shù)據(jù)安全需求。（一）平臺安全問題與挑戰(zhàn)1Hadoop目前，Hadoop已經(jīng)成為應(yīng)用最廣泛的大數(shù)據(jù)計算軟件平臺，其技術(shù)發(fā)展與開源模式結(jié)合。Hadoop的最初設(shè)計是為了管理大量的公共webHadoopHadoop改JrKerberosACLLinux管理僅支持用戶和用戶組，不支持角色；僅有可讀、可寫、生態(tài)系統(tǒng)中只有分布在各組件中的日志記錄，無原生安全審計功能，Hadoop大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20211010質(zhì)量和數(shù)據(jù)安全關(guān)注較少。因此，開源組件缺乏嚴格的測試管理和安全認證，對組件漏洞和惡意后門的防范能力不足。據(jù)CommonVulnerabilitiesandExposures（以下簡稱“CVE”）漏洞列表顯示，從2013年到2017年，HadoopHadoop漏洞數(shù)量單位：個201720162015201420130Hadoop漏洞數(shù)量單位：個20172016201520142013012345678數(shù)據(jù)來源：CVE圖2.2013-2017年Hadoop漏洞統(tǒng)計圖2、大數(shù)據(jù)平臺服務(wù)用戶眾多、場景多樣，傳統(tǒng)安全機制的性能難以滿足需求大數(shù)據(jù)場景下，數(shù)據(jù)從多個渠道大量匯聚，數(shù)據(jù)類型、用戶角色和應(yīng)用需求更加多樣化，訪問控制面臨諸多新的問題。首先，多源數(shù)據(jù)的大量匯聚增加了訪問控制策略制定及大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書2021授權(quán)管理的難度，過度授權(quán)和授權(quán)不足現(xiàn)象嚴重。其次，數(shù)據(jù)多樣性、用戶角色和需求的細化增加了客體的描述困難，傳統(tǒng)訪問控制方案中往往采用數(shù)據(jù)屬性（如身份證號）來描述訪問控制策略中的客體，非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)無法采取同樣的方式進行精細化描述，導(dǎo)致無法準確為用戶指定其可以訪問的數(shù)據(jù)范圍，難以滿足最小授權(quán)原則。大數(shù)據(jù)復(fù)雜的數(shù)據(jù)存儲和流動場景使得數(shù)據(jù)加密的實現(xiàn)變得異常困難，海量數(shù)據(jù)的密鑰管理也是亟待解決的難題。3、大數(shù)據(jù)平臺的大規(guī)模分布式存儲和計算模式導(dǎo)致安全配置難度成倍增長HadoopShodan5120TBHadoop4、針對大數(shù)據(jù)平臺網(wǎng)絡(luò)攻擊手段呈現(xiàn)新特點，傳統(tǒng)安1https://www.easya/news/334943503.shtml11大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20211212全監(jiān)測技術(shù)暴露不足公司《2018的數(shù)據(jù)泄露與黑客攻擊有關(guān)，其中，DDoS、釣魚攻擊以及特權(quán)濫用是主要的黑客攻3大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20211313數(shù)據(jù)泄露中主要攻擊手段統(tǒng)計數(shù)據(jù)泄露中主要攻擊手段統(tǒng)計黑客攻擊特權(quán)濫用物理攻擊0%10%20%30%40%50%60%數(shù)據(jù)來源：Verizon圖3.數(shù)據(jù)泄露中主要攻擊手段統(tǒng)計圖（二）數(shù)據(jù)安全問題和挑戰(zhàn)1、數(shù)據(jù)泄露事件數(shù)量持續(xù)增長，造成的危害日趨嚴重大數(shù)據(jù)因其蘊藏的巨大價值和集中化的存儲管理模式Gemalto2017數(shù)據(jù)泄露水平指數(shù)報告》顯示，2017年上半年全球范圍內(nèi)192016(142016年下半年增長了160%多，從2013年到2017年全球4大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書2021的數(shù)目呈現(xiàn)逐年上漲的趨勢。僅2017年，全球發(fā)生了多起影響重大的數(shù)據(jù)泄露事件，美國共和黨下屬數(shù)據(jù)分析公司2、征信機構(gòu)320173療等個人信息50億條，在網(wǎng)絡(luò)黑市販賣。此外，數(shù)據(jù)泄露Shodan20172315046MangoDB數(shù)據(jù)泄露事件數(shù)量數(shù)據(jù)泄露事件數(shù)量單位：億個30.0026.0125.0020.0013.7915.0010.2310.005.757.085.000.002013201420152016 2017數(shù)據(jù)來源：Gemalto圖4.2013-2017年數(shù)據(jù)泄露數(shù)量統(tǒng)計圖2、數(shù)據(jù)采集環(huán)節(jié)成為影響決策分析的新風(fēng)險點在數(shù)據(jù)采集環(huán)節(jié)，大數(shù)據(jù)體量大、種類多、來源復(fù)雜的22017年6月，美國共和黨國家委員會下屬的數(shù)據(jù)分析公司DeepRootAnalytics被曝泄露1.98億美國公民的個人信息。32017年5月至7月，美國三大征信機構(gòu)之一Equifax的數(shù)據(jù)庫遭受攻擊，1.43億用戶個人信息遭竊取。14大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20213、數(shù)據(jù)處理過程中的機密性保障問題逐漸顯現(xiàn)4、數(shù)據(jù)流動路徑的復(fù)雜化導(dǎo)致追蹤溯源變得異常困難網(wǎng)絡(luò)環(huán)境下跨越數(shù)據(jù)控制者或安全域的全路徑數(shù)據(jù)追蹤溯2018年3k15大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書2021用數(shù)據(jù)缺乏有效的管理和追責(zé)機制，最終導(dǎo)致8700萬名用（三）個人隱私安全挑戰(zhàn)1、傳統(tǒng)隱私保護技術(shù)因大數(shù)據(jù)超強的分析能力面臨失效的可能在大數(shù)據(jù)環(huán)境下，企業(yè)對多來源多類型數(shù)據(jù)集進行關(guān)聯(lián)分析和深度挖掘，可以復(fù)原匿名化數(shù)據(jù)，進而能夠識別特定個人或獲取其有價值的個人信息。在傳統(tǒng)的隱私保護中，數(shù)據(jù)控制者針對單個數(shù)據(jù)集孤立地選擇隱私保護技術(shù)和參數(shù)來保護個人數(shù)據(jù)，特別是利用去標識、掩碼等技術(shù)的做法，無法應(yīng)對上述大數(shù)據(jù)場景下多源數(shù)據(jù)分析挖掘引發(fā)的隱私泄露問題。2、傳統(tǒng)隱私保護技術(shù)難以適應(yīng)大數(shù)據(jù)的非關(guān)系型數(shù)據(jù)庫80%以上的非結(jié)存儲技術(shù)完16大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20211717隱私保護技術(shù)，如去標識化、匿名化技術(shù)等，多適用于關(guān)系型數(shù)據(jù)庫。四、大數(shù)據(jù)安全技術(shù)發(fā)展情況（一）大數(shù)據(jù)平臺安全技術(shù)隨著市場對大數(shù)據(jù)安全需求的增加，Hadoop開源社區(qū)增加了身份認證、訪問控制、數(shù)據(jù)加密等安全機制。商業(yè)化Hadoop平臺也逐步開發(fā)了集中化安全管理、細粒度訪問控制等安全組件，對平臺進行了安全升級。部分安全服務(wù)提供商也致力于通用的大數(shù)據(jù)平臺安全加固技術(shù)和產(chǎn)品的研發(fā)，已有多款大數(shù)據(jù)平臺安全產(chǎn)品上市。這些安全機制的應(yīng)用為大數(shù)據(jù)平臺安全提供了基礎(chǔ)機制保障。1、Hadoop開源社區(qū)增加了基本安全機制，但安全能力不能滿足現(xiàn)實需求Hadoop開源系統(tǒng)中提供了身份認證、訪問控制、安全審計、數(shù)據(jù)加密等基本安全功能。身份認證方面，Hadoop支持兩種身份驗證機制：簡單機制和Kerberos機制。簡單大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20211818UIDKerberosClient到服務(wù)器的認證。因為Kerberos可以實KerberosKerberosKerberos的認證顆粒度基于操作系統(tǒng)用戶，無法支持系統(tǒng)內(nèi)組件之間的身控制等幾種方式。POSIX權(quán)限和訪問控制列表方式可用于HDFS、MapReduce、HBase中，Hive支持基于角色的訪問控制，HBase和Accumulo提供了基于標簽的訪問控制。開源系統(tǒng)各組件均提供日志和審計文件，可以大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20211919HadoopHadoop2.6RPCTCP/IP和Hadoop2、商業(yè)化大數(shù)據(jù)平臺解決方案已經(jīng)具備相對完善的安全機制商業(yè)化的大數(shù)據(jù)平臺，如Cloudera公司的CDH（Canp、Hs公司的HDP(Hortonworks Data Platform）華為公司的大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書2021pDa（Manager、Ranger、Guardian）形成了大數(shù)據(jù)平臺總體安全管理視圖，Hadoop集群入口的安全，過界面化的配置管理方式，可以方便的管理和啟用基于Kerberos訪問控制策略，實現(xiàn)資源（例如文件、目錄、表、數(shù)據(jù)庫、列族等訪問權(quán)限HiveHBaseHSM（HardwareSecurityModule）集成的解決方案。商業(yè)化大數(shù)據(jù)安全方案從2008年開始起步，經(jīng)過了大20大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20213、商業(yè)化通用安全組件可以為已建大數(shù)據(jù)平臺提供安全加固方案HadoopHadoopKerberos+LDAP認證機制的基礎(chǔ)上，支持口令、手機、PKI等多因素組合認證方式，實登錄。訪問控制方面，引入DAC、MAC、RBAC、DTE等多種訪問控制模式，實現(xiàn)HDFS通用安全組件易于部署和維護、適合對已建大數(shù)據(jù)系統(tǒng)進行安全加固，可以在不改變現(xiàn)有系統(tǒng)架構(gòu)的前提下，解決企業(yè)的大數(shù)據(jù)平臺安全需求。靈活性強，方便與現(xiàn)有的安全機制集成。這類產(chǎn)品的提供者一般都是專業(yè)的安全服務(wù)商，專注于安全問題的解決，防護機制的完備性強，精度高，為21大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書2021開源大數(shù)據(jù)平臺提供了較完備的安全加固方案。（二）數(shù)據(jù)安全技術(shù)（Dataleakageprevention1、敏感數(shù)據(jù)識別技術(shù)作為數(shù)據(jù)安全監(jiān)控的必要技術(shù)條件逐步實現(xiàn)自動化配等方式，通常結(jié)合模式匹配算法展開，該方法簡單實用，22大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書202123232、數(shù)據(jù)防泄露技術(shù)發(fā)展相對成熟并向智能化方向演進DLP信息資產(chǎn)以違反安全策略規(guī)定的形式流出企業(yè)的一類數(shù)據(jù)錄操作員對計算機、文件、軟件和數(shù)據(jù)的操作情況，發(fā)現(xiàn)、技術(shù)，監(jiān)控服務(wù)器、終端以及網(wǎng)絡(luò)中動態(tài)傳輸?shù)拿舾袛?shù)據(jù)，發(fā)現(xiàn)和阻止敏感數(shù)據(jù)通過聊天工具、網(wǎng)盤、微博、FTP、論DLP3、結(jié)構(gòu)化數(shù)據(jù)庫安全防護技術(shù)基本成熟，非結(jié)構(gòu)化數(shù)據(jù)庫安全防護亟需加強大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20212424結(jié)構(gòu)化的數(shù)據(jù)安全技術(shù)主要是指數(shù)據(jù)庫安全防護技術(shù)，4、密文計算技術(shù)因多源數(shù)據(jù)計算機密性需求成為研究熱點隨著多源數(shù)據(jù)計算場景的增多，在保證數(shù)據(jù)機密性的基礎(chǔ)上實現(xiàn)數(shù)據(jù)的流通和合作應(yīng)用一直是困擾產(chǎn)業(yè)界的難題，同態(tài)加密和安全多方計算等密文計算方法為解決這個難題提供了一種有效的解決思路。其結(jié)果與統(tǒng)一方法處理未加密的原始數(shù)據(jù)得到的輸出結(jié)果大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20212525年，Gentry提出了第一個全同態(tài)加密體制使得該方面的研究取得突破性進展，隨后許多密碼學(xué)家在全同態(tài)加密方案的研究上作出了有意義的工作，（SecureMulti-PartyComputationSMPC）是解決一組互不信任的參與方之間保護隱私的協(xié)同計算問用的安全多方計算協(xié)議雖然可以解決一般性的安全多方計5、數(shù)字水印和數(shù)據(jù)血緣追蹤技術(shù)發(fā)展明顯滯后于實際需求以上的數(shù)據(jù)識別、密文計算、安全監(jiān)控和防護是“事前”和“事中”的安全保障技術(shù)，隨著數(shù)據(jù)泄露事件的頻繁發(fā)生，“事后”追蹤和溯源技術(shù)變得越來越重要。安全事件發(fā)生后泄露源頭的追查和責(zé)任的判定是及時發(fā)現(xiàn)問題、查缺補漏的關(guān)大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書2021目前常用的追蹤溯源技術(shù)包括數(shù)字水印和數(shù)據(jù)血緣追蹤技術(shù)。數(shù)據(jù)泄露行為發(fā)生后，對造成數(shù)據(jù)泄露的源頭可進行回溯。數(shù)字圖像、音頻、視頻、打印、文本、條碼等數(shù)據(jù)信息中，數(shù)據(jù)血緣(Lineage，Provenance，Pedigree)亦可譯為（三）個人隱私保護技術(shù)26大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書202127271、數(shù)據(jù)脫敏技術(shù)發(fā)展成熟，是目前應(yīng)用最廣泛的隱私保護技術(shù)數(shù)據(jù)脫敏是指對某些敏感信息通過脫敏規(guī)則進行數(shù)據(jù)。適用于群體信息統(tǒng)計或（和大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20212828（和）2、匿名化算法將成為未來解決隱私保護問題的有效途徑數(shù)據(jù)匿名化算法可以實現(xiàn)根據(jù)具體情況有條件地發(fā)布部分數(shù)據(jù)，或者數(shù)據(jù)的部分屬性內(nèi)容，包括差分隱私、K匿名、L多樣性、T接近等。匿名化算法要解決的問題包括：隱（四）大數(shù)據(jù)安全技術(shù)發(fā)展現(xiàn)狀總結(jié)國內(nèi)外大數(shù)據(jù)平臺安全、數(shù)據(jù)安全、隱私保護相關(guān)的技大數(shù)據(jù)安全白皮書2021大數(shù)據(jù)安全白皮書20212929目前的商業(yè)化大數(shù)據(jù)平臺和商業(yè)化通用安全組件，為Hadoop生態(tài)系統(tǒng)增加了集中安全管理、準入控制、多因素認證、細粒度訪問控制、密鑰管理、數(shù)據(jù)脫敏、集中審計等安全機制，在一定程度上填補了大數(shù)據(jù)平臺安全機制的空缺，基本滿足目前平臺的安全需求，但Hadoop仍處在快速發(fā)展的階段，認證機制依賴Kerberos，其認證中心可能會成為系統(tǒng)瓶頸。平臺防攻擊技術(shù)方面，目前大數(shù)據(jù)平臺仍然使用傳統(tǒng)網(wǎng)絡(luò)安全的防護手段，對大數(shù)據(jù)環(huán)境下擴大的防護邊界和更加隱蔽的攻擊方式無法做到全面覆蓋，而且行業(yè)對大數(shù)據(jù)平臺本身可能的攻擊手段關(guān)注較少，預(yù)防手段不足，一旦有新的漏洞出現(xiàn)，波及范圍將十分巨大。數(shù)據(jù)安全方面，數(shù)據(jù)安全監(jiān)控和防泄露技術(shù)相對成熟，大數(shù)據(jù)安全白皮書2021