大數(shù)據(jù)環(huán)境下的數(shù)據(jù)安全研究.doc

大數(shù)據(jù)環(huán)境下的數(shù)據(jù)安全研究摘要：大數(shù)據(jù)蘊(yùn)藏著價值信息，但數(shù)據(jù)安全面臨嚴(yán)峻挑戰(zhàn)。本文在分析大數(shù)據(jù)基本特征的基礎(chǔ)上，提出了當(dāng)前大數(shù)據(jù)面臨的安全挑戰(zhàn)，并從大數(shù)據(jù)的存儲、應(yīng)用和管理等方面闡述了大數(shù)據(jù)安全的應(yīng)對策略。關(guān)鍵詞：大數(shù)據(jù)；數(shù)據(jù)安全；云計算；數(shù)據(jù)挖掘Abstract：The Big Data contain Valuable information，However, data security is facing serious challenges。based on the analysis of the basic characteristics of the Big Data，The paper propose the current risk of Big Data，and further from the Big Datas storage, application and management expounds the Big Data Security strategy. Key words：Big Data；Data security；Cloud Computing；Data Mining0引言隨著互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等技術(shù)的快速發(fā)展，以及智能終端、網(wǎng)絡(luò)社會、數(shù)字地球等信息體的普及和建設(shè)，全球數(shù)據(jù)量出現(xiàn)爆炸式增長，僅在2011年就達(dá)到1.8萬億GB。IDC預(yù)計，到2020年全球數(shù)據(jù)量將增加50倍。毋庸置疑，大數(shù)據(jù)時代已經(jīng)到來。一方面，云計算為這些海量的、多樣化的數(shù)據(jù)提供存儲和運(yùn)算平臺，同時數(shù)據(jù)挖掘和人工智能從大數(shù)據(jù)中發(fā)現(xiàn)知識、規(guī)律和趨勢，為決策提供信息參考。但是，大數(shù)據(jù)的發(fā)展將進(jìn)一步擴(kuò)大信息的開放程度，隨之而來的隱私數(shù)據(jù)或敏感信息的泄露事件時有發(fā)生。面對大數(shù)據(jù)發(fā)展的新特點(diǎn)、新挑戰(zhàn)，如何保障數(shù)據(jù)安全是我們需要研究的課題。1 大數(shù)據(jù)的特征大數(shù)據(jù)通常被認(rèn)為是一種數(shù)據(jù)量很大、數(shù)據(jù)形式多樣化的非結(jié)構(gòu)化數(shù)據(jù)。隨著對大數(shù)據(jù)研究的進(jìn)一步深入，大數(shù)據(jù)不僅指數(shù)據(jù)本身的規(guī)模，也包括數(shù)據(jù)采集工具、數(shù)據(jù)存儲平臺、數(shù)據(jù)分析系統(tǒng)和數(shù)據(jù)衍生價值等要素。其主要特點(diǎn)有以下幾點(diǎn)：1.1數(shù)據(jù)量大大數(shù)據(jù)時代，各種傳感器、移動設(shè)備、智能終端和網(wǎng)絡(luò)社會等無時不刻都在產(chǎn)生數(shù)據(jù)，數(shù)量級別已經(jīng)突破TB，發(fā)展至PB乃至ZB，統(tǒng)計數(shù)據(jù)量呈千倍級別上升。據(jù)估計，2012年全球產(chǎn)生的數(shù)據(jù)量將達(dá)到2.7ZB，2015年將超過8ZB1。1.2類型多樣當(dāng)前大數(shù)據(jù)不僅僅是數(shù)據(jù)量的井噴性增長，而且還包含著數(shù)據(jù)類型的多樣化發(fā)展。以往數(shù)據(jù)大都以二維結(jié)構(gòu)呈現(xiàn)，但隨著互聯(lián)網(wǎng)、多媒體等技術(shù)的快速發(fā)展和普及，視頻、音頻、圖片、郵件、HTML、RFID、GPS和傳感器等產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，每年都以60%速度增長。預(yù)計，非結(jié)構(gòu)化數(shù)據(jù)將占數(shù)據(jù)總量的80%以上1。1.3運(yùn)算高效基于云計算的Hadoop大數(shù)據(jù)框架，利用集群的威力高速運(yùn)算和存儲，實(shí)現(xiàn)了一個分布式運(yùn)行系統(tǒng)，以流的形式提供高傳輸率來訪問數(shù)據(jù)，適應(yīng)了大數(shù)據(jù)的應(yīng)用程序。而且，數(shù)據(jù)挖掘、語義引擎、可視化分析等技術(shù)的發(fā)展，可從海量的數(shù)據(jù)中深度解析，提取信息，掌控數(shù)據(jù)增值的“加速器”。 1.4產(chǎn)生價值價值是大數(shù)據(jù)的終極目的。大數(shù)據(jù)本身是一個“金礦產(chǎn)”，可以從大數(shù)據(jù)的融合中獲得意想不到的有價值的信息。特別是激烈競爭的商業(yè)領(lǐng)域，數(shù)據(jù)正成為企業(yè)的新型資產(chǎn)，追求數(shù)據(jù)最大價值化。同時，大數(shù)據(jù)價值也存在密度低的特性，需要對海量的數(shù)據(jù)進(jìn)行挖掘分析才能得到真正有用的信息，形成用戶價值。以監(jiān)控視頻為例，連續(xù)的播放畫面，可以產(chǎn)生價值信息的數(shù)據(jù)可能是僅僅的一兩秒。2 大數(shù)據(jù)面臨的安全挑戰(zhàn)正如Gartner所說：“大數(shù)據(jù)安全是一場必要的斗爭”2。在大數(shù)據(jù)時代，無處不在的智能終端、互動頻繁的社交網(wǎng)絡(luò)和超大容量的數(shù)字化存儲，不得不承認(rèn)大數(shù)據(jù)已經(jīng)滲透到各個行業(yè)領(lǐng)域，逐漸成為一種生產(chǎn)要素發(fā)揮著重要作用，成為未來競爭的至高點(diǎn)。大數(shù)據(jù)所含信息量較高，雖然相對價值密度較低，但是對它里面所蘊(yùn)藏的潛在信息，隨著快速處理和分析提取技術(shù)的發(fā)展，可以快速捕捉到有價值的信息以提供參考決策。然而，大數(shù)據(jù)掀起新一輪生產(chǎn)率提高和消費(fèi)者盈余浪潮的同時，隨著而來的是信息安全的挑戰(zhàn)。2.1網(wǎng)絡(luò)化社會使大數(shù)據(jù)易成為攻擊目標(biāo)網(wǎng)絡(luò)化社會的形成，為大數(shù)據(jù)在各個行業(yè)領(lǐng)域?qū)崿F(xiàn)資源共享和數(shù)據(jù)互通搭建平臺和通道?；谠朴嬎愕木W(wǎng)絡(luò)化社會為大數(shù)據(jù)提供了一個開放的環(huán)境，分布在不同地區(qū)的資源可以快速整合，動態(tài)配置，實(shí)現(xiàn)數(shù)據(jù)集合的共建共享。而且，網(wǎng)絡(luò)訪問便捷化和數(shù)據(jù)流的形成，為實(shí)現(xiàn)資源的快速彈性推送和個性化服務(wù)提供基礎(chǔ)。正因?yàn)槠脚_的暴露，使得蘊(yùn)含著海量數(shù)據(jù)和潛在價值的大數(shù)據(jù)更容易吸引黑客的攻擊。也就是說，在開放的網(wǎng)絡(luò)化社會，大數(shù)據(jù)的數(shù)據(jù)量大且相互關(guān)聯(lián)，對于攻擊者而言，相對低的成本可以獲得“滾雪球”的收益。近年來在互聯(lián)網(wǎng)上發(fā)生的用戶帳號的信息失竊等連鎖反應(yīng)可以看出，大數(shù)據(jù)更容易吸引黑客，而且一旦遭受攻擊，失竊的數(shù)據(jù)量也是巨大的。2.2非結(jié)構(gòu)化數(shù)據(jù)對大數(shù)據(jù)存儲提出新要求在大數(shù)據(jù)之前，我們通常將數(shù)據(jù)存儲分為關(guān)系型數(shù)據(jù)庫和文件服務(wù)器兩種。而當(dāng)前大數(shù)據(jù)洶涌而來，數(shù)據(jù)類型的千姿百態(tài)也使我們措手不及。對于將占數(shù)據(jù)總量80%以上的非結(jié)構(gòu)化數(shù)據(jù)，雖然NoSQL數(shù)據(jù)存儲具有可擴(kuò)展性和可用性等優(yōu)點(diǎn)，利于趨勢分析，為大數(shù)據(jù)存儲提供了初步解決方案。但是NoSQL數(shù)據(jù)存儲仍存在以下問題：一是相對于嚴(yán)格訪問控制和隱私管理的SQL技術(shù)，目前NoSQL還無法沿用SQL的模式，而且適應(yīng)NoSQL的存儲模式并不成熟；二是雖然NoSQL軟件從傳統(tǒng)數(shù)據(jù)存儲中取得經(jīng)驗(yàn)，但NoSQL仍然存在各種漏洞，畢竟它使用的是新代碼。三是由于NoSQL服務(wù)器軟件沒有內(nèi)置足夠的安全，所以客戶端應(yīng)用程序需要內(nèi)建安全因素，這又反過來導(dǎo)致產(chǎn)生了諸如身份驗(yàn)證、授權(quán)過程和輸入驗(yàn)證等大量的安全問題。2.3技術(shù)發(fā)展增加了安全風(fēng)險隨著計算機(jī)網(wǎng)絡(luò)技術(shù)和人工智能的發(fā)展，服務(wù)器、防火墻、無線路由等網(wǎng)絡(luò)設(shè)備和數(shù)據(jù)挖掘應(yīng)用系統(tǒng)等技術(shù)越來越廣泛，為大數(shù)據(jù)自動收集效率以及智能動態(tài)分析性提供方便。但是，技術(shù)發(fā)展也增加了大數(shù)據(jù)的安全風(fēng)險。一方面，大數(shù)據(jù)本身的安全防護(hù)存在漏洞。雖然云計算對大數(shù)據(jù)提供了便利，但對大數(shù)據(jù)的安全控制力度仍然不夠，API訪問權(quán)限控制以及密鑰生成、存儲和管理方面的不足都可能造成數(shù)據(jù)泄漏。而且大數(shù)據(jù)本身可以成為一個可持續(xù)攻擊的載體，被隱藏在大數(shù)據(jù)中的惡意軟件和病毒代碼很難發(fā)現(xiàn)，從而達(dá)到長久攻擊的目的。另一方面，攻擊的技術(shù)提高了。在用數(shù)據(jù)挖掘和數(shù)據(jù)分析等大數(shù)據(jù)技術(shù)獲取價值信息的同時，攻擊者也在利用這些大數(shù)據(jù)技術(shù)進(jìn)行攻擊。3 大數(shù)據(jù)安全的應(yīng)對策略當(dāng)然，大數(shù)據(jù)也為數(shù)據(jù)安全的發(fā)展提供了新機(jī)遇。大數(shù)據(jù)正在為安全分析提供新的可能性，對海量數(shù)據(jù)的分析有助于更好地跟蹤網(wǎng)絡(luò)異常行為，對實(shí)時安全和應(yīng)用數(shù)據(jù)結(jié)合在一起的數(shù)據(jù)進(jìn)行預(yù)防性分析，可防止詐騙和黑客入侵。網(wǎng)絡(luò)攻擊行為總會留下蛛絲馬跡，這些痕跡都以數(shù)據(jù)的形式隱藏在大數(shù)據(jù)中，從大數(shù)據(jù)的存儲、應(yīng)用和管理等方面層層把關(guān)，可以有針對性地應(yīng)對數(shù)據(jù)安全威脅。3.1大數(shù)據(jù)存儲安全策略 基于云計算架構(gòu)的大數(shù)據(jù)，數(shù)據(jù)的存儲和操作都是以服務(wù)的形式提供。目前，大數(shù)據(jù)的安全存儲采用虛擬化海量存儲技術(shù)來存儲數(shù)據(jù)資源，涉及數(shù)據(jù)傳輸、隔離、恢復(fù)等的問題。解決大數(shù)據(jù)的安全存儲，一是數(shù)據(jù)加密。在大數(shù)據(jù)安全服務(wù)的設(shè)計中，大數(shù)據(jù)可以按照數(shù)據(jù)安全存儲的需求，被存儲在數(shù)據(jù)集的任何存儲空間，通過SSL（安全套接層）加密，實(shí)現(xiàn)數(shù)據(jù)集的節(jié)點(diǎn)和應(yīng)用程序之間移動保護(hù)大數(shù)據(jù)。在大數(shù)據(jù)的傳輸服務(wù)過程中，加密為數(shù)據(jù)流的上傳與下載提供有效的保護(hù)。應(yīng)用隱私保護(hù)和外包數(shù)據(jù)計算，屏蔽網(wǎng)絡(luò)攻擊。目前，PGP和TrueCrypt等程序都提供了強(qiáng)大的加密功能。二是分離密鑰和加密數(shù)據(jù)。使用加密把數(shù)據(jù)使用與數(shù)據(jù)保管分離，把密鑰與要保護(hù)的數(shù)據(jù)隔離開4。同時，定義產(chǎn)生、存儲、備份、恢復(fù)等密鑰管理生命周期。三是使用過濾器。通過過濾器的監(jiān)控，一旦發(fā)現(xiàn)數(shù)據(jù)離開了用戶的網(wǎng)絡(luò)，就自動阻止數(shù)據(jù)的再次傳輸。四是數(shù)據(jù)備份。通過系統(tǒng)容災(zāi)、敏感信息集中管控和數(shù)據(jù)管理等產(chǎn)品，實(shí)現(xiàn)端對端的數(shù)據(jù)保護(hù)，確保大數(shù)據(jù)損壞情況下有備無患和安全管控。3.2大數(shù)據(jù)應(yīng)用安全策略隨著大數(shù)據(jù)應(yīng)用所需的技術(shù)和工具快速發(fā)展，大數(shù)據(jù)應(yīng)用安全策略主要從以下幾方面著手：一是防止APT攻擊。借助大數(shù)據(jù)處理技術(shù)，針對APT安全攻擊隱蔽能力強(qiáng) 、長期潛伏、攻擊路徑和渠道不確定等特征，設(shè)計具備實(shí)時檢測能力與事后回溯能力的全流量審計方案，提醒隱藏有病毒的應(yīng)用程序。二是用戶訪問控制。大數(shù)據(jù)的跨平臺傳輸應(yīng)用在一定程度上會帶來內(nèi)在風(fēng)險，可以根據(jù)大數(shù)據(jù)的密級程度和用戶需求的不同，將大數(shù)據(jù)和用戶設(shè)定不同的權(quán)限等級，并嚴(yán)格控制訪問權(quán)限。而且，通過單點(diǎn)登錄的統(tǒng)一身份認(rèn)證與權(quán)限控制技術(shù)，對用戶訪問進(jìn)行嚴(yán)格的控制，有效地保證大數(shù)據(jù)應(yīng)用安全。三是整合工具和流程。通過整合工具和流程，確保大數(shù)據(jù)應(yīng)用安全處于大數(shù)據(jù)系統(tǒng)的頂端。整合點(diǎn)平行于現(xiàn)有的連接的同時，減少通過連接企業(yè)或業(yè)務(wù)線的SIEM工具的輸出到大數(shù)據(jù)安全倉庫，以防止這些被預(yù)處理的數(shù)據(jù)被暴露算法和溢出加工后的數(shù)據(jù)集。同時，通過設(shè)計一個標(biāo)準(zhǔn)化的數(shù)據(jù)格式簡化整合過程，同時也可以改善分析算法的持續(xù)驗(yàn)證。四是數(shù)據(jù)實(shí)時分析引擎。數(shù)據(jù)實(shí)時分析引擎融合了云計算、機(jī)器學(xué)習(xí)、語義分析、統(tǒng)計學(xué)等多個領(lǐng)域，通過數(shù)據(jù)實(shí)時分析引擎，從大數(shù)據(jù)中第一時間挖掘出黑客攻擊、非法操作、潛在威脅等各類安全事件，第一時間發(fā)出警告響應(yīng)。3.3大數(shù)據(jù)管理安全策略云計算專家李志霄博士說：“數(shù)據(jù)安全三分靠技術(shù)，七分靠管理”5。通過技術(shù)來保護(hù)大數(shù)據(jù)的安全必然重要，但管理也很關(guān)鍵。大數(shù)據(jù)的管理安全策略主要有：一是規(guī)范建設(shè)。大數(shù)據(jù)建設(shè)是一項(xiàng)有序的、動態(tài)的、可持續(xù)發(fā)展的系統(tǒng)工程，一套規(guī)范的運(yùn)行機(jī)制、建設(shè)標(biāo)準(zhǔn)和共享平臺建設(shè)至關(guān)重要。規(guī)范化建設(shè)可以促進(jìn)大數(shù)據(jù)管理過程的正規(guī)有序，實(shí)現(xiàn)各級各類信息系統(tǒng)的網(wǎng)絡(luò)互連、數(shù)據(jù)集成、資源共享，在統(tǒng)一的安全規(guī)范框架下運(yùn)行。二是建立以數(shù)據(jù)為中心的安全系統(tǒng)?；谠朴嬎愕拇髷?shù)據(jù)存儲在云共享環(huán)境中，為了大數(shù)據(jù)的所有者可以對大數(shù)據(jù)使用進(jìn)行控制，可以通過建設(shè)一個基于異構(gòu)數(shù)據(jù)為中心的安全方法，從系統(tǒng)管理上保證大數(shù)據(jù)的安全。三是融合創(chuàng)新。大數(shù)據(jù)是在云計算的基礎(chǔ)上提出的新概念，大數(shù)據(jù)時代應(yīng)以智慧創(chuàng)新理念融合大數(shù)據(jù)與云計算 ，以智能管道與聚合平臺為基礎(chǔ) ，提升數(shù)據(jù)流量規(guī)模 、層次及內(nèi)涵，在大數(shù)據(jù)流中提升知識價值洞察力。積極創(chuàng)造大數(shù)據(jù)公司技術(shù)融合平臺，尋找數(shù)據(jù)洪流大潮中新的立足點(diǎn)，特別是在數(shù)據(jù)挖掘、人工智能 、機(jī)器學(xué)習(xí)等新技術(shù)的創(chuàng)新應(yīng)用融合創(chuàng)新。4 結(jié)束語大數(shù)據(jù)是信息化時代的“石油”。大數(shù)據(jù)轉(zhuǎn)化為信息和知識的速度與能力將成為這個時代的核心競爭力之一，而大數(shù)據(jù)面臨的安全挑戰(zhàn)卻不容忽視。只有大數(shù)據(jù)技術(shù)和大數(shù)據(jù)安全“兩條腿”走路時，大數(shù)據(jù)才可以真正成為這個時代的驅(qū)動力量。參考文獻(xiàn)1孟小峰,慈祥.大數(shù)據(jù)管理：概念、技術(shù)