YY直播應(yīng)用大數(shù)據(jù)決勝安全對(duì)抗的實(shí)踐35

《YY直播應(yīng)用大數(shù)據(jù)決勝安全對(duì)抗的實(shí)踐》當(dāng)前1頁，總共35頁。大數(shù)據(jù)安全對(duì)抗應(yīng)用背景大數(shù)據(jù)分析在DDOS對(duì)抗中的應(yīng)用大數(shù)據(jù)分析在機(jī)器人外掛識(shí)別中的應(yīng)用1235當(dāng)前2頁，總共35頁。大數(shù)據(jù)讓YY安全防御體系從“溫飽”過渡到“小康”當(dāng)前3頁，總共35頁。歡聚時(shí)代(YY)直播業(yè)務(wù)

--

娛樂&游戲&教育當(dāng)前4頁，總共35頁。DDOS

攻擊滲透入侵外掛業(yè)務(wù)破壞逆向破解

盜號(hào)盜Y幣面臨的安全威脅當(dāng)前5頁，總共35頁。對(duì)抗技術(shù)演進(jìn)攻擊、入侵、滲透等顯著特征模糊識(shí)別精

TEXT

別

ADD

CONTENTS確識(shí)從“精確的模式特征”

向

“模糊的模式特征”演進(jìn)

通過大數(shù)據(jù)分析、數(shù)據(jù)挖掘、實(shí)時(shí)計(jì)算等分析模糊特征當(dāng)前6頁，總共35頁。當(dāng)前7頁，總共35頁。當(dāng)前8頁，總共35頁。

云防DDOS業(yè)務(wù)風(fēng)控系統(tǒng)

WAF

Kafka&Storm&Hadoop

大數(shù)據(jù)(實(shí)時(shí)&離線)計(jì)算平臺(tái)(K-Means、Decision

Tree、Apriori等)安全系統(tǒng)的log/message上報(bào)外掛對(duì)抗系統(tǒng)主機(jī)入侵檢測(cè)賬號(hào)安全系統(tǒng)

計(jì)算結(jié)果在安全系統(tǒng)中應(yīng)用

業(yè)務(wù)系統(tǒng)(登陸、禮物、好友、搜索等)

登陸、支付等協(xié)議數(shù)據(jù)上報(bào)

計(jì)算分析結(jié)果:(IP畫像庫、設(shè)備

畫像庫等)基線歷史數(shù)據(jù)：

bps/pps/qps/rt

等基線數(shù)據(jù)大數(shù)據(jù)計(jì)算在平臺(tái)框架當(dāng)前9頁，總共35頁。大數(shù)據(jù)安全對(duì)抗應(yīng)用背景大數(shù)據(jù)分析在DDOS對(duì)抗中的應(yīng)用大數(shù)據(jù)分析在機(jī)器人外掛識(shí)別中的應(yīng)用12345當(dāng)前10頁，總共35頁。當(dāng)前11頁，總共35頁?；趕rc_ip頻率模式基于報(bào)文特征頻率模式src_ip的散列度&歸屬地報(bào)文的重復(fù)度攻擊報(bào)文聚類挖掘機(jī)器學(xué)習(xí)報(bào)文特征IP畫像庫大數(shù)據(jù)流量模型機(jī)器學(xué)習(xí)防御DDOS技術(shù)演進(jìn)

畸形報(bào)文特征

非法填充報(bào)文特征

黑名單攻擊報(bào)文特征

白名單指紋特征

Syn

cookie等人機(jī)挑戰(zhàn)當(dāng)前12頁，總共35頁。（1）機(jī)器學(xué)習(xí)報(bào)文提取特征；（2）大數(shù)據(jù)分析疑似的攻擊源ip；（3）基于大數(shù)據(jù)IP進(jìn)行“柔性可活”人機(jī)挑戰(zhàn)和對(duì)抗；（4）基于歷史大數(shù)據(jù)學(xué)習(xí)單ip響應(yīng)延時(shí)數(shù)學(xué)分布;在DDOS防御中的應(yīng)用場(chǎng)景（1）報(bào)文特征根據(jù)經(jīng)驗(yàn)輸入程序；（2）根據(jù)當(dāng)前請(qǐng)求頻率分析攻擊源；（3）根據(jù)當(dāng)前的請(qǐng)求src_ip對(duì)抗；（4）根據(jù)經(jīng)驗(yàn)預(yù)先“拍”閾值；當(dāng)前13頁，總共35頁。場(chǎng)景一：大數(shù)據(jù)分析在報(bào)文特征機(jī)器學(xué)習(xí)和攻擊源IP的識(shí)別云防DDOS

檢測(cè)模塊云防DDOS清

洗模塊服務(wù)器A服務(wù)器B服務(wù)器CC的攻擊流量

清洗后C的流量A的正常流量

B的正常流量

鏡像或分光A,B,C所有流

量

核心交換機(jī)LVS+Nginx集群(WAF)

C的流量被牽

引到清洗設(shè)備正常用戶攻擊者大數(shù)據(jù)中心WAF處理Http協(xié)議CC攻擊當(dāng)前14頁，總共35頁。

鏡像流量攻擊檢測(cè)引擎流量回注

交換機(jī)轉(zhuǎn)發(fā)流量到業(yè)

務(wù)服務(wù)器

發(fā)現(xiàn)攻擊

BGP宣告路由流量清洗引擎

攻擊？沒有攻擊大數(shù)據(jù)分析

平臺(tái)當(dāng)前15頁，總共35頁。云防DDOS在清洗比例低于閾值自動(dòng)抓包當(dāng)前16頁，總共35頁。解析報(bào)文并提取關(guān)鍵信息挖掘至長(zhǎng)度為4字節(jié)的特征，發(fā)現(xiàn)特征：74

55

42

02挖掘完畢，最長(zhǎng)長(zhǎng)度為4字節(jié)，共15個(gè)特征，目前以文件方式記錄云防DDOS實(shí)現(xiàn)基于DPDK自動(dòng)抓包分析報(bào)文特征當(dāng)前17頁，總共35頁。正文第46字節(jié)

第45字節(jié)

…

…Vx，其中x指代數(shù)據(jù)包正文部分第x個(gè)字節(jié)惡意特征概率發(fā)現(xiàn)特征由于算法決定，特征串需要經(jīng)過序號(hào)排列最終符合閱讀習(xí)慣，后續(xù)將根據(jù)調(diào)用特征的接口所需規(guī)范進(jìn)行翻譯實(shí)際所指代的含義V40

V41

V42

V43

V44

V45

V46

V47

V48

V49

V50

64

**

94

**

**

3267**26

16e7

64

5494

**

**32

67

**26

16

**當(dāng)前18頁，總共35頁。發(fā)現(xiàn)可疑IP寫文件記錄可疑IP惡意顯著性抽查結(jié)果與惡意IP庫中已收錄IP相互印證云防DDOS在攻擊報(bào)文中識(shí)別惡意IP

分析到第10個(gè)pcap文件將前述的Apriori算法改造，可用于大規(guī)模發(fā)現(xiàn)DDOS攻擊中的惡意IP當(dāng)前19頁，總共35頁。.總包量40萬，源地址數(shù)量39萬，散列度極高99%的IP只發(fā)送一個(gè)數(shù)據(jù)包源地址表面接近，實(shí)則地理分布分散，海外地址比例過高，分別來源泰國(guó)，日本，韓國(guó)，澳大利亞，廣州，福州等地（目標(biāo)服務(wù)器位于遼寧沈陽）不同位置的服務(wù)器訪問相同的目標(biāo)服務(wù)器，TTL高度集中在同一水平（238）時(shí)間戳源地址目標(biāo)地址包長(zhǎng)

TTL源端口

目的端口偽造源地址攻擊的樣本當(dāng)前20頁，總共35頁。度量說明定義正常訪問真實(shí)地址攻擊虛假地址攻擊時(shí)間窗口內(nèi)源地址散列程度該度量隨正常訪問真實(shí)地址攻擊虛假地址攻擊顯著提升單位時(shí)間窗口內(nèi)，互異的IP數(shù)量除以總的包數(shù)量小于10%稍高，約30%~40%約90%相繼同源數(shù)據(jù)包比例虛假地址攻擊中該比例較正常訪問或真實(shí)地址攻擊大幅降低時(shí)間軸上相鄰兩個(gè)訪問數(shù)據(jù)包具有同源的數(shù)量除以總體相鄰數(shù)目高于10%約10%上下小于5%時(shí)間窗口內(nèi)單包傳輸比例虛假IP地址幾乎不會(huì)重復(fù)使用，絕大部分虛假地址只會(huì)發(fā)送一個(gè)數(shù)據(jù)包統(tǒng)計(jì)各源IP發(fā)包數(shù)量，計(jì)算發(fā)送單包IP數(shù)量的占比90%以上大于190%以上大于190%以上是單包時(shí)間窗口內(nèi)TTL均值及標(biāo)準(zhǔn)差虛假IP數(shù)據(jù)包通常設(shè)置TTL為255，且虛假IP占絕大多數(shù)下，TTL均值趨于更大計(jì)算單位時(shí)間窗口內(nèi)數(shù)據(jù)包TTL的均值和方差均值：約50多至60多標(biāo)準(zhǔn)差：小于30均值：約50多至110多標(biāo)準(zhǔn)差：大于30均值：大于200標(biāo)準(zhǔn)差：小于30IP與指定相鄰IP間組內(nèi)距離*真實(shí)地址傾向頻繁出現(xiàn)，且通常來自相近地理位置，虛假地址則傾向隨機(jī)，分布不存在規(guī)律某一源地址，計(jì)算它與其后N個(gè)地址的平均距離普遍小于50100上下，通常小于200普遍超過300當(dāng)前21頁，總共35頁。正常訪問或真實(shí)地址攻擊中：1.2.同一IP總是頻繁重復(fù)出現(xiàn)，相鄰距離較多出現(xiàn)0的情況由于負(fù)載均衡和網(wǎng)絡(luò)加速技術(shù)，目標(biāo)服務(wù)器總是服務(wù)于相對(duì)固定區(qū)域的用戶而虛假地址攻擊中：1.2.幾乎不存在相鄰距離為0的情況（虛假IP不會(huì)重復(fù)出現(xiàn)）訪問目標(biāo)機(jī)器的IP呈現(xiàn)隨機(jī)化K相鄰IP組內(nèi)距離概念當(dāng)前22頁，總共35頁。正常樣本.5.源地址散列程度

：0.028相繼同源IP比例：46%發(fā)包規(guī)模：90%以上29個(gè)包以上TTL均值

62，標(biāo)準(zhǔn)差1310個(gè)相鄰IP間距：79真實(shí)地址攻擊樣本.5.源地址散列程度

：0.101相繼同源IP比例：8.5%發(fā)包規(guī)模：90%以上22個(gè)包以上TTL均值

51，標(biāo)準(zhǔn)差1410個(gè)相鄰IP間距：105虛假地址攻擊樣本.5.源地址散列程度

：0.931相繼同源IP比例：3.0%發(fā)包規(guī)模：99%以上單包TTL均值

230，標(biāo)準(zhǔn)差3410個(gè)相鄰IP間距：455當(dāng)前23頁，總共35頁。IP相鄰間IP距離IP相鄰間IP距離K相鄰IP組內(nèi)距離（K=10）

真實(shí)地址樣本虛假地址樣本?

100%國(guó)內(nèi)地址?超過50%有在惡意IP庫收錄?

同外掛和網(wǎng)絡(luò)代理維度匹配?

（確認(rèn)為真實(shí)地址）?約6%IP與惡意IP庫記錄重合?

絕大部分海外地址當(dāng)前24頁，總共35頁。大數(shù)據(jù)IP畫像在CC攻擊對(duì)抗中的應(yīng)用場(chǎng)景檢測(cè)算法：（1）單src_ip的連接數(shù)超過閾值（舉例：200

QPS)；（2）后端業(yè)務(wù)服務(wù)器（tomcat)響應(yīng)延時(shí)超時(shí)比例超過閾值(舉例：50%）；（3）后端業(yè)務(wù)服務(wù)器（tomcat)響應(yīng)延時(shí)延遲比例閾值(舉例：8s以上30%）；防御算法：（1）人機(jī)挑戰(zhàn)(anticookie-js)；（2）根據(jù)當(dāng)前連接數(shù)，封src_ip

top

n

的http請(qǐng)求；應(yīng)用大數(shù)據(jù)：（1）計(jì)算所有后端服務(wù)器(tomcat)響應(yīng)nginx集群的響應(yīng)的延時(shí)數(shù)學(xué)分布；（2）計(jì)算分析歷史單src_ip的連接數(shù)數(shù)學(xué)分布數(shù)據(jù)；（3）根據(jù)當(dāng)前的連接數(shù)top

n

同時(shí)結(jié)合IP畫像庫大數(shù)據(jù)，精確度更高；當(dāng)前25頁，總共35頁。云防DDOS外掛對(duì)抗WAF防刷系統(tǒng)IP畫像數(shù)據(jù)分析移動(dòng)安全加

固反廣告過濾賬號(hào)安全系

統(tǒng)

秩序違規(guī)反向探測(cè)掃描IP畫像庫（1）探測(cè)開放代理端口（2）探測(cè)XX云主機(jī)（3）探測(cè)域名解析IP（4）探測(cè)IP歸屬地（5）探測(cè)運(yùn)行路由服務(wù)

IP畫像服務(wù)接口層提供IP畫像調(diào)用接口，返回IP惡意定級(jí)、命中

維度IP畫像庫大數(shù)據(jù)分析框架圖當(dāng)前26頁，總共35頁。當(dāng)前27頁，總共35頁。大數(shù)據(jù)安全對(duì)抗應(yīng)用背景大數(shù)據(jù)分析在DDOS對(duì)抗中的應(yīng)用大數(shù)據(jù)分析在機(jī)器人外掛識(shí)別中的應(yīng)用12345當(dāng)前28頁，總共35頁。當(dāng)前29頁，總共35頁。當(dāng)前30頁，總共35頁。正常用戶&行為惡意用戶&行為攻擊行為、入侵行為、滲透掃描行為、

外掛機(jī)器人用戶等惡意特征明顯；正常用戶&行為特征明顯；大數(shù)據(jù)

分析Storm/Hadoop大數(shù)據(jù)分析在用戶行為識(shí)別的應(yīng)用當(dāng)前31頁，總共35頁。設(shè)備畫像設(shè)備硬件信息設(shè)備環(huán)境信息

IP畫像網(wǎng)絡(luò)信

息黑產(chǎn)IP

歷史地域信

息用戶畫像行為模

式惡意歷史信息登陸信

息特征通訊協(xié)議特征進(jìn)程埋點(diǎn)特征

技術(shù)行

為特征技術(shù)KafkaStormHadoop數(shù)據(jù)挖掘

分析機(jī)器人外掛對(duì)抗系統(tǒng)機(jī)器人用戶大數(shù)據(jù)識(shí)別框架

設(shè)備運(yùn)

行信息

對(duì)抗策略下發(fā)登陸服務(wù)對(duì)抗策略下發(fā)

XXXX服務(wù)

對(duì)抗策略下發(fā)頻道服務(wù)當(dāng)前32頁，總共35頁。已知某條件概率，如何得到兩個(gè)事件交換后的概率，也就是在已知P(A|B)的情況下如何求得P(B|A)。換成反外掛領(lǐng)域語言理解：已知外掛（非外掛）中uid的各特征組合的百分比，根據(jù)樸素貝葉斯定理，可求得當(dāng)出現(xiàn)指定特征組合時(shí)，該特征視為外掛（非外掛）的概率當(dāng)前33頁，總共35頁。分析1Confidence=0.5為例對(duì)這些序列計(jì)算密度函數(shù)

正態(tài)分布指數(shù)分布當(dāng)前34頁，總共35頁。分析2左圖是將不同的Confidence得到的序列的分布函數(shù)集中展現(xiàn)。橫軸是單個(gè)IP多開UID數(shù)量，縱軸是多開數(shù)量占總體數(shù)量的百分比。如圖中的黑圈，表示Confidence為0的情