大數(shù)據(jù)應(yīng)用案例分析

1、在如今這個(gè)大數(shù)據(jù)的時(shí)代里，人人都希望能夠借助大數(shù)據(jù)的力量：電商希望 能夠借助大數(shù)據(jù)進(jìn)一步獲悉用戶的消費(fèi)需求，實(shí)現(xiàn)更為精準(zhǔn)的營(yíng)銷；網(wǎng)絡(luò)安全從 業(yè)者希望通過(guò)大數(shù)據(jù)更早洞悉惡意攻擊者的意圖，實(shí)現(xiàn)主動(dòng)、超前的安全防護(hù)； 而駭客們也在利用大數(shù)據(jù)，更加詳盡的挖掘出被攻擊目標(biāo)信息，降低攻擊發(fā)起的 難度。大數(shù)據(jù)應(yīng)用最為典型的案例就是國(guó)外某著名零售商，通過(guò)對(duì)用戶購(gòu)買(mǎi)物品等 數(shù)據(jù)的分析，向該用戶一一一位少女寄送了嬰兒床與衣服的優(yōu)惠券 ，而少女的家 人在此前對(duì)少女懷孕的事情一無(wú)所知。大數(shù)據(jù)的威力正在逐步顯現(xiàn)，銀行、保險(xiǎn) 公司、醫(yī)院、零售商等等諸多企業(yè)都愈發(fā)動(dòng)力十足的開(kāi)始搜集整理自己用戶的各 類數(shù)據(jù)資料。但與之相比極

2、度落后的數(shù)據(jù)安全防護(hù)措施，卻讓駭客們樂(lè)了：如此重 要的數(shù)據(jù)不僅可以輕松偷盜，而且還就是整理好的，憑借這些數(shù)據(jù)駭客能夠發(fā)起 更具“真實(shí)性”的欺詐攻擊。好在安全防御者們也開(kāi)始發(fā)現(xiàn)利用大數(shù)據(jù)抵抗各類 惡意攻擊的方法了。擾動(dòng)安全的大數(shù)據(jù)2014年IDC在“未來(lái)全球安全行業(yè)的展望報(bào)告”中指出，預(yù)計(jì)到2020年信 息安全市場(chǎng)規(guī)模將達(dá)到500億美元。與此同時(shí)，安全威脅的不斷變化、IT交付模 式的多樣性、復(fù)雜性以及數(shù)據(jù)量的劇增，針對(duì)信息安全的傳統(tǒng)以控制為中心的方 法將站不住腳。預(yù)計(jì)到2020年,60%的企業(yè)信息化安全預(yù)算將會(huì)分配到以大數(shù)據(jù) 分析為基礎(chǔ)的快速檢測(cè)與響應(yīng)的產(chǎn)品上。瀚思(HanSight)聯(lián)合創(chuàng)始人

3、董昕認(rèn)為，借助大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)安全即將開(kāi)啟 “上帝之眼”模式?！澳荒鼙Ｗo(hù)您所不知道的”已經(jīng)成為安全圈的一句名言，即使部署再多的安全防御設(shè)備仍然會(huì)產(chǎn)生“不為人知”的信息，在各種不同設(shè)備 產(chǎn)生的海量日志中發(fā)現(xiàn)安全事件的蛛絲馬跡非常困難。而大數(shù)據(jù)技術(shù)能將不同設(shè)備產(chǎn)生的海量日志進(jìn)行集中存儲(chǔ)，通過(guò)數(shù)據(jù)格式的統(tǒng)一規(guī)整、自動(dòng)歸并、關(guān)聯(lián)分 析、機(jī)器學(xué)習(xí)等方法，自動(dòng)發(fā)現(xiàn)威脅與異常行為，讓安全分析更簡(jiǎn)單。同時(shí)通過(guò)豐 富的可視化技術(shù)，將威脅及異常行為可視化呈現(xiàn)出來(lái)，讓安全瞧得見(jiàn)。愛(ài)加密CEC®磊提出，基于大數(shù)據(jù)技術(shù)能夠從海量數(shù)據(jù)中分析已經(jīng)發(fā)生的安 全問(wèn)題、病毒樣本、攻擊策略等，對(duì)于安全問(wèn)題的分析能夠以宏觀

4、角度與微觀思 路雙管齊下找到問(wèn)題根本的存在。所以，在安全領(lǐng)域使用大數(shù)據(jù)技術(shù)，可以使原本單一攻防分析轉(zhuǎn)為基于大數(shù)據(jù)的預(yù)防與安全策略。大數(shù)據(jù)的意義在于提供了一種 新的安全思路與解決辦法，而不僅僅就是一種工具，單純的海量數(shù)據(jù)就是沒(méi)有意 義的。如果大數(shù)據(jù)領(lǐng)域運(yùn)用得當(dāng)，可以十分便捷地與安全領(lǐng)域進(jìn)行結(jié)合，通過(guò)對(duì)數(shù) 據(jù)分析所得出的結(jié)論反映出安全領(lǐng)域所存在漏洞問(wèn)題的方向，從而針對(duì)該類漏洞問(wèn)題制定出相對(duì)應(yīng)的解決方法?？ò退够夹g(shù)開(kāi)發(fā)(北京)有限公司大中華區(qū)技術(shù)總監(jiān)陳羽興強(qiáng)調(diào)，大數(shù)據(jù)對(duì) 于安全公司就是件殺敵利器，對(duì)于黑客來(lái)說(shuō)也就是一塊巨大的“奶酪”，而這塊“奶 酪”有時(shí)候不僅僅就是存放在一個(gè)地方，如果仍然使用傳統(tǒng)

5、的防范手段一一端點(diǎn)、 網(wǎng)絡(luò)、加密等一一就是不足以抵擋黑客的，所以作為安全公司不僅要著力去完善 自家的解決方案，同時(shí)在整個(gè)產(chǎn)業(yè)鏈各個(gè)環(huán)節(jié)的企業(yè)都要開(kāi)放，形成產(chǎn)業(yè)協(xié)同。其實(shí)云計(jì)算的大熱，就已經(jīng)讓用戶與云服務(wù)提供商愈加意識(shí)到云安全的重要 性，云安全則更需要大數(shù)據(jù)。作為客戶數(shù)據(jù)托管方的云服務(wù)提供商，客戶最關(guān)注的 就是服務(wù)提供商保證她們的數(shù)據(jù)安全：既不丟失也不被非法訪問(wèn)，且遵從法規(guī)要 求。即使就是在企業(yè)的私有云中，各個(gè)部門(mén)之間的信息安全也必須考慮，特別就是 財(cái)務(wù)數(shù)據(jù)、客戶信息等。由于數(shù)據(jù)的集中，云所需要處理的數(shù)據(jù)可能就是 PB級(jí)甚 至更大，如此大的數(shù)據(jù)量就是傳統(tǒng)安全分析手段根本處理不了的 ，只有依靠大數(shù)

6、 據(jù)分布式計(jì)算技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行安全分析。排兵布陣情報(bào)先行近兩年，安全企業(yè)就如何運(yùn)用大數(shù)據(jù)于網(wǎng)絡(luò)安全中費(fèi)盡了腦筋，而安全威脅情報(bào)可以說(shuō)就是大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全防御環(huán)節(jié)里比較成熟的應(yīng)用。什么就是安全威脅情報(bào)？形象地說(shuō)，人們經(jīng)?？梢詮腃ERT安全服務(wù)廠商、 防病毒廠商、政府機(jī)構(gòu)與安全組織那里瞧到安全預(yù)警通告、漏洞通告、威脅通告 等等，這些都屬于典型的安全威脅情報(bào)。而隨著新型威脅的不斷增長(zhǎng)，也出現(xiàn)了新 的安全威脅情報(bào)，例如僵尸網(wǎng)絡(luò)地址情報(bào)(Zeus/SpyEye Tracker) 、0day漏洞信 息、惡意URLM址情報(bào)，等等。陳羽興舉了一個(gè)十分有趣的例子：中國(guó)股市剛剛興起時(shí)，人們要去證券大廳 了解

7、行情，門(mén)口擺攤賣茶葉蛋的老太太雖然不懂股票，但就是她懂一個(gè)道理：茶葉 蛋生意清淡的時(shí)候買(mǎi)入、茶葉蛋生意火爆的時(shí)候賣出。其實(shí)茶葉蛋本身的銷量數(shù) 據(jù)不會(huì)直接導(dǎo)致股票的漲跌，但就是這兩者之間存在“相關(guān)性”，大數(shù)據(jù)環(huán)境下的 安全威脅情報(bào)也就是如此。目前，無(wú)論國(guó)內(nèi)還就是國(guó)外對(duì)安全威脅情報(bào)系統(tǒng)的建設(shè)都普遍參考STIX標(biāo)準(zhǔn)框架，它有幾個(gè)關(guān)鍵點(diǎn)：時(shí)效性、完整的攻擊鏈條(包括：攻擊行動(dòng)、攻擊入口、 攻擊目標(biāo)、Incident事件、TTP 攻擊戰(zhàn)術(shù)、技術(shù)與過(guò)程、攻擊特征指標(biāo)、攻 擊表象、行動(dòng)方針等)以及威脅情報(bào)共享。而傳統(tǒng)漏洞與病毒庫(kù)只就是在安全廠 家捕獲到樣本后將對(duì)應(yīng)的特征碼更新到漏洞或病毒數(shù)據(jù)庫(kù)里，并沒(méi)有將整

8、個(gè)攻擊 過(guò)程完整描述下來(lái)，且缺少相互共享合作。大數(shù)據(jù)時(shí)代下，通過(guò)大數(shù)據(jù)的計(jì)算能力、算法與機(jī)器學(xué)習(xí)優(yōu)勢(shì)可以快速、自 動(dòng)的在海量數(shù)據(jù)中發(fā)現(xiàn)安全問(wèn)題，提升安全情報(bào)的時(shí)效性。其次由于大數(shù)據(jù)分析 的數(shù)據(jù)來(lái)自網(wǎng)絡(luò)、終端、認(rèn)證系統(tǒng)等各個(gè)維度，便于分析整個(gè)安全攻擊鏈條形成 安全威脅情報(bào)。最后，隨著一些新興的大數(shù)據(jù)廠商興起，用戶至上、信息共享等互 聯(lián)網(wǎng)思維逐步形成，使安全威脅情報(bào)共享得以實(shí)現(xiàn)。瀚思采用“圖分析”結(jié)合強(qiáng)大情報(bào)系統(tǒng)(域名Whois、被動(dòng)DNS黑名單)所 實(shí)現(xiàn)的極速感知可疑域名方法，就就是通過(guò)將每天各個(gè)渠道收集到的幾十萬(wàn)域名 及其相關(guān)信息導(dǎo)入圖數(shù)據(jù)庫(kù)，根據(jù)節(jié)點(diǎn)關(guān)系快速繪制連接邊，形象直觀的展現(xiàn)節(jié) 點(diǎn)之

9、間內(nèi)在聯(lián)系，將有問(wèn)題的域名暴露在安全分析人員的眼前，使得以域名為基 礎(chǔ)的惡意行為無(wú)處躲藏，并以最快的速度查出惡意網(wǎng)站。卡巴斯基則在10年前就建立了自己的安全網(wǎng)絡(luò) KSN通過(guò)多年的數(shù)據(jù)搜集與 研究,再加上其所設(shè)立的全球威脅分析團(tuán)隊(duì)(Great team),已經(jīng)能夠?qū)ξ磥?lái)威脅 走向進(jìn)行相對(duì)比較準(zhǔn)確的預(yù)判。而綠盟科技的研究團(tuán)隊(duì)在吸收“殺傷鏈(Kill Chain) ”與“攻擊樹(shù)(Attack Tree) ”等相關(guān)理論，形成獨(dú)特推理決策引擎后，借助大數(shù)據(jù)安全分析系統(tǒng)的分布 式數(shù)據(jù)庫(kù)，實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)入侵態(tài)勢(shì)的感知。高磊認(rèn)為，其實(shí)大數(shù)據(jù)從誕生開(kāi)始就用于統(tǒng)計(jì)與記錄安全情報(bào)。它能夠幫助 情報(bào)分析人員發(fā)現(xiàn)藏匿于數(shù)

10、據(jù)中的威脅，通過(guò)大數(shù)據(jù)分析處理獲取威脅情報(bào)、預(yù) 測(cè)攻擊事件。與傳統(tǒng)情報(bào)獲取方法不同的就是，真正意義的大數(shù)據(jù)安全情報(bào)就是 能夠基于更多的數(shù)據(jù)(不就是僅僅一些工具)分析半年以上的重點(diǎn)風(fēng)險(xiǎn)，預(yù)測(cè)未來(lái) 的風(fēng)險(xiǎn)趨勢(shì)。玩轉(zhuǎn)大數(shù)據(jù)安全分析如何才能實(shí)現(xiàn)對(duì)數(shù)據(jù)的有效深入分析呢？綠盟科技的安全專家發(fā)現(xiàn)，大數(shù)據(jù)安全分析主要的問(wèn)題在于將業(yè)務(wù)目標(biāo)與技 術(shù)實(shí)現(xiàn)混淆以及業(yè)務(wù)目標(biāo)不明確兩個(gè)方面。 而大數(shù)據(jù)安全分析的三大瓶頸分別就 是:大數(shù)據(jù)僅僅就是一種技術(shù)手段而不就是一個(gè)業(yè)務(wù)目標(biāo) ，安全分析才就是實(shí)際 要解決的核心問(wèn)題；大數(shù)據(jù)安全分析能夠在安全防御里起到很重要的作用 ，但并 不能解決全部的安全問(wèn)題；大數(shù)據(jù)安全分析需要極為詳細(xì)

11、的業(yè)務(wù)梳理、 安全分析、 數(shù)據(jù)分析等一系列工作，而不就是簡(jiǎn)單的數(shù)據(jù)堆疊。要想解決這些問(wèn)題，需要明確 業(yè)務(wù)目標(biāo)，明確目標(biāo)的分解落實(shí)，還要在項(xiàng)目啟動(dòng)前進(jìn)行安全咨詢，并基于安全咨 詢結(jié)果編制目標(biāo)及項(xiàng)目階段，分階段實(shí)現(xiàn)項(xiàng)目目標(biāo)，同時(shí)進(jìn)行專業(yè)分析人員的培 養(yǎng)工作。陳羽興提出要想實(shí)現(xiàn)對(duì)數(shù)據(jù)的有效安全分析，首先要有統(tǒng)一的數(shù)據(jù)管理平臺(tái) 要能夠支持多種數(shù)據(jù)類型一一大數(shù)據(jù)分析平臺(tái)需要足夠掌握不同安全類型的語(yǔ) 義信息以便進(jìn)行整合與關(guān)聯(lián)分析，還要有諸如Hadoop Spark等專業(yè)的安全分析 工具，以及富有經(jīng)驗(yàn)的專業(yè)安全分析人員。高磊強(qiáng)調(diào)“如果無(wú)法對(duì)數(shù)據(jù)進(jìn)行分析篩選，獲取有價(jià)值的信息，就不就是真正 的大數(shù)據(jù)安全分析。

12、”例如，愛(ài)加密采集的APP®過(guò)1000萬(wàn)個(gè)，其會(huì)對(duì)所有的APP 進(jìn)行拆包分析，對(duì)病毒樣本進(jìn)行記錄保存，并對(duì)應(yīng)用的類型、大小、簽名、包名等 多方面參數(shù)進(jìn)行記錄存儲(chǔ)，對(duì)樣本進(jìn)行詳細(xì)分析，錄入特征值，并對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì) 分析，生成報(bào)表。瀚思在大數(shù)據(jù)安全分析上的經(jīng)驗(yàn)就是，“首先在底層架構(gòu)上采用了主流大數(shù) 據(jù)分布式架構(gòu)，即Hadoop+Spark+Elasticsearch,它能準(zhǔn)實(shí)時(shí)處理幾百TB以上的數(shù)據(jù)；其次在安全應(yīng)用上則采用一些自動(dòng)化分析的手段，瀚思做了比較多的機(jī)器學(xué)習(xí)、算法工作，通過(guò)模型給用戶、業(yè)務(wù)來(lái)建模，并建立正常訪問(wèn)基線，這個(gè)環(huán)節(jié) 稱之為異常檢查(anomaly detection)

13、,并基于此實(shí)現(xiàn) Web®問(wèn)安全、反欺詐、內(nèi) 部核心資源等傳統(tǒng)安全很難解決的問(wèn)題；第三在算法層面上，瀚思主要使用基于 用戶行為序列與基于時(shí)間序列的建模。”機(jī)器學(xué)習(xí)就是自動(dòng)化與提升日志數(shù)據(jù)洞 察力的關(guān)鍵。不同的機(jī)器學(xué)習(xí)技術(shù)要應(yīng)對(duì)不同類型的日志數(shù)據(jù)與分析挑戰(zhàn)。瀚思能夠提前確定機(jī)器學(xué)習(xí)要查找的關(guān)聯(lián)性與其她模式，采用非監(jiān)督式學(xué)習(xí)的方式， 并輔助專家準(zhǔn)備供參考的“練習(xí)數(shù)據(jù)”集，以便于機(jī)器學(xué)習(xí)算法能夠識(shí)別具有重 大聯(lián)系的模式，幫助企業(yè)提早發(fā)現(xiàn)風(fēng)險(xiǎn)，防患于未然。最后就就是將分析安全問(wèn)題 及異常行為通過(guò)可視化的手段呈現(xiàn)出來(lái)，讓安全問(wèn)題瞧得見(jiàn)、瞧得懂。在安全世界里大數(shù)據(jù)可以做得更多網(wǎng)絡(luò)安全防御主要分為三

14、個(gè)環(huán)節(jié)：預(yù)防、保護(hù)與查找攻擊，大數(shù)據(jù)能夠?yàn)檫@三 個(gè)環(huán)節(jié)提供強(qiáng)大的數(shù)據(jù)支撐。面對(duì) 0-day漏洞、AP政擊等未知威脅，利用大數(shù) 據(jù)分析手段可以進(jìn)行快速檢測(cè)與響應(yīng)。組織在建立安全防御體系過(guò)程中，也可以利用大數(shù)據(jù)影響人與管理流程，通過(guò)大數(shù)據(jù)的反饋更有針對(duì)性的提高用戶的安全 意識(shí)，對(duì)安全管理的模式進(jìn)行更新。借助大數(shù)據(jù)還可以實(shí)現(xiàn)用戶異常行為檢測(cè)、 敏感數(shù)據(jù)泄露檢測(cè)、DN新常分析、反欺詐等。未來(lái),大數(shù)據(jù)還可能會(huì)成為網(wǎng)絡(luò)安全智能化的推動(dòng)者。 設(shè)想一下：某平臺(tái)系統(tǒng) 在分析知道攻擊者的攻擊目標(biāo)或者攻擊方式時(shí)，能夠通過(guò)大數(shù)據(jù)分析，智能關(guān)閉 有關(guān)服務(wù)或者端口 ，防止信息泄露，又或者在受到攻擊之后，系統(tǒng)從經(jīng)驗(yàn)中知道問(wèn)

15、 題所在，及時(shí)采取切斷連接等手段，實(shí)現(xiàn)網(wǎng)絡(luò)安全智能化。陳羽興表示，引導(dǎo)人的行為與事物的發(fā)展向更安全的目標(biāo)走近，這就是大數(shù) 據(jù)能給人們帶來(lái)的更大意義所在。大數(shù)據(jù)時(shí)代下的大安全“大數(shù)據(jù)時(shí)代下，安全將經(jīng)歷數(shù)據(jù)統(tǒng)計(jì)階段、數(shù)據(jù)分析階段、網(wǎng)絡(luò)安全智能 化階段。”高磊表示，數(shù)據(jù)統(tǒng)計(jì)階段只能通過(guò)經(jīng)驗(yàn)與案例分析所需記錄數(shù)據(jù)類型 ， 盡可能的獲取到所需信息。數(shù)據(jù)分析階段則要注重完善數(shù)據(jù)庫(kù)的效率與針對(duì)性。而網(wǎng)絡(luò)安全智能化階段將基本上不依賴人力即可控制系統(tǒng)自主進(jìn)行智能保護(hù)、 自 主查找可能的攻擊源，此時(shí)需要做好測(cè)試工作，搭建虛擬數(shù)據(jù)庫(kù)，防止智能系統(tǒng)落 后。董昕提出，一個(gè)完整的大數(shù)據(jù)安全生態(tài)應(yīng)該包括安全情報(bào)、企業(yè)級(jí)大數(shù)據(jù)安 全分析系統(tǒng)、安全即服務(wù)這三部分，只有三者相互配合才能組成完整的安全閉環(huán)。“當(dāng)然，專業(yè)的安全研究團(tuán)隊(duì)與服務(wù)團(tuán)隊(duì)也就是少不了的?！卞汲藗鹘y(tǒng)精通 于攻防、漏洞、合規(guī)等方面的專家外，還擁有多名精通安全與數(shù)據(jù)分析的跨界專 家。例如瀚思聯(lián)合創(chuàng)始人兼首席科學(xué)家萬(wàn)曉川先生就就是核心安全分析、算法、 Sandbox領(lǐng)域以及異常檢測(cè)與用戶行為分析的世界級(jí)專家 ，她擁有多項(xiàng)美國(guó)專利 并一直在倡導(dǎo)將機(jī)器學(xué)習(xí)應(yīng)用于信息安全。 這也就是數(shù)