YY直播應用大數(shù)據(jù)決勝安全對抗的實踐培訓課件(共36張)

1、YY直播應用大數(shù)據(jù)決勝安全對抗的實踐直播應用大數(shù)據(jù)決勝安全對抗的實踐大數(shù)據(jù)安全對抗應用背景大數(shù)據(jù)分析在DDOS對抗中的應用大數(shù)據(jù)分析在機器人外掛識別中的應用1235大數(shù)據(jù)讓YY安全防御體系從“溫飽”過渡到“小康”歡聚時代(YY)直播業(yè)務 - 娛樂&游戲&教育DDOS攻擊滲透入侵外掛業(yè)務破壞逆向破解盜號盜Y幣面臨的安全威脅對抗技術演進攻擊、入侵、滲透等顯著特征模糊識別精 TEXT 別ADD CONTENTS確識從“精確的模式特征” 向 “模糊的模式特征”演進通過大數(shù)據(jù)分析、數(shù)據(jù)挖掘、實時計算等分析模糊特征云防DDOS業(yè)務風控系統(tǒng)WAFKafka&Storm&Had

2、oop大數(shù)據(jù)(實時&離線)計算平臺(K-Means、Decision Tree、Apriori等)安全系統(tǒng)的log/message上報外掛對抗系統(tǒng)主機入侵檢測賬號安全系統(tǒng)計算結果在安全系統(tǒng)中應用業(yè)務系統(tǒng)(登陸、禮物、好友、搜索等)登陸、支付等協(xié)議數(shù)據(jù)上報計算分析結果:(IP畫像庫、設備畫像庫等)基線歷史數(shù)據(jù)：bps/pps/qps/rt等基線數(shù)據(jù)大數(shù)據(jù)計算在平臺框架大數(shù)據(jù)安全對抗應用背景大數(shù)據(jù)分析在DDOS對抗中的應用大數(shù)據(jù)分析在機器人外掛識別中的應用12345基于src_ip頻率模式基于報文特征頻率模式src_ip的散列度&歸屬地報文的重復度攻擊報文聚類挖掘機器學習報文特征I

3、P畫像庫大數(shù)據(jù)流量模型機器學習防御DDOS技術演進畸形報文特征非法填充報文特征黑名單攻擊報文特征白名單指紋特征Syn cookie等人機挑戰(zhàn)（1）機器學習報文提取特征；（2）大數(shù)據(jù)分析疑似的攻擊源ip；（3）基于大數(shù)據(jù)IP進行“柔性可活”人機挑戰(zhàn)和對抗；（4）基于歷史大數(shù)據(jù)學習單ip響應延時數(shù)學分布;在DDOS防御中的應用場景（1）報文特征根據(jù)經(jīng)驗輸入程序；（2）根據(jù)當前請求頻率分析攻擊源；（3）根據(jù)當前的請求src_ip對抗；（4）根據(jù)經(jīng)驗預先“拍”閾值；場景一：大數(shù)據(jù)分析在報文特征機器學習和攻擊源IP的識別云防DDOS檢測模塊云防DDOS清洗模塊服務器A服務器B服務器CC的攻擊流量清洗后C

4、的流量A的正常流量B的正常流量鏡像或分光A,B,C所有流量核心交換機LVS+Nginx集群(WAF)C的流量被牽引到清洗設備正常用戶攻擊者大數(shù)據(jù)中心WAF處理Http協(xié)議CC攻擊鏡像流量攻擊檢測引擎流量回注交換機轉發(fā)流量到業(yè)務服務器發(fā)現(xiàn)攻擊BGP宣告路由流量清洗引擎攻擊？沒有攻擊大數(shù)據(jù)分析平臺云防DDOS在清洗比例低于閾值自動抓包解析報文并提取關鍵信息挖掘至長度為4字節(jié)的特征，發(fā)現(xiàn)特征：74 55 42 02挖掘完畢，最長長度為4字節(jié)，共15個特征，目前以文件方式記錄云防DDOS實現(xiàn)基于DPDK自動抓包分析報文特征正文第46字節(jié) 第45字節(jié) Vx，其中x指代數(shù)據(jù)包正文部分第x個字節(jié)惡意特征概率

5、發(fā)現(xiàn)特征由于算法決定，特征串需要經(jīng)過序號排列最終符合閱讀習慣，后續(xù)將根據(jù)調用特征的接口所需規(guī)范進行翻譯實際所指代的含義V40 V41 V42 V43 V44 V45 V46 V47 V48 V49 V5064 * 94 * * 32 67 * 26 16 e764 54 94 * * 32 67 * 26 16 *發(fā)現(xiàn)可疑IP寫文件記錄可疑IP惡意顯著性抽查結果與惡意IP庫中已收錄IP相互印證云防DDOS在攻擊報文中識別惡意IP分析到第10個pcap文件將前述的Apriori算法改造，可用于大規(guī)模發(fā)現(xiàn)DDOS攻擊中的惡意IP.總包量40萬，源地址數(shù)量39萬，散列度極高99%的IP

6、只發(fā)送一個數(shù)據(jù)包源地址表面接近，實則地理分布分散，海外地址比例過高，分別來源泰國，日本，韓國，澳大利亞，廣州，福州等地（目標服務器位于遼寧沈陽）不同位置的服務器訪問相同的目標服務器，TTL高度集中在同一水平（238）時間戳源地址目標地址包長 TTL 源端口 目的端口偽造源地址攻擊的樣本度量說明定義正常訪問真實地址攻擊虛假地址攻擊時間窗口內源地址散列程度該度量隨正常訪問真實地址攻擊虛假地址攻擊顯著提升單位時間窗口內，互異的IP數(shù)量除以總的包數(shù)量小于10%稍高，約30%40%約90%相繼同源數(shù)據(jù)包比例虛假地址攻擊中該比例較正常訪問或真實地址攻擊大幅降低時間軸上相鄰兩個訪問數(shù)據(jù)包具有同源的數(shù)量除以總

7、體相鄰數(shù)目高于10%約10%上下小于5%時間窗口內單包傳輸比例虛假IP地址幾乎不會重復使用，絕大部分虛假地址只會發(fā)送一個數(shù)據(jù)包統(tǒng)計各源IP發(fā)包數(shù)量，計算發(fā)送單包IP數(shù)量的占比90%以上大于190%以上大于190%以上是單包時間窗口內TTL均值及標準差虛假IP數(shù)據(jù)包通常設置TTL為255，且虛假IP占絕大多數(shù)下，TTL均值趨于更大計算單位時間窗口內數(shù)據(jù)包TTL的均值和方差均值：約50多至60多標準差：小于30均值：約50多至110多標準差：大于30均值：大于200標準差：小于30IP與指定相鄰IP間組內距離*真實地址傾向頻繁出現(xiàn)，且通常來自相近地理位置，虛假地址則傾向隨機，分布不存在規(guī)律某一源地

8、址，計算它與其后N個地址的平均距離普遍小于50100上下，通常小于200普遍超過300正常訪問或真實地址攻擊中：1.2.同一IP總是頻繁重復出現(xiàn)，相鄰距離較多出現(xiàn)0的情況由于負載均衡和網(wǎng)絡加速技術，目標服務器總是服務于相對固定區(qū)域的用戶而虛假地址攻擊中：1.2.幾乎不存在相鄰距離為0的情況（虛假IP不會重復出現(xiàn)）訪問目標機器的IP呈現(xiàn)隨機化K相鄰IP組內距離概念正常樣本.5.源地址散列程度 ：0.028相繼同源IP比例：46%發(fā)包規(guī)模：90%以上29個包以上TTL均值 62，標準差1310個相鄰IP間距：79真實地址攻擊樣本.5.源地址散列程度 ：0.101相繼同源

9、IP比例：8.5%發(fā)包規(guī)模：90%以上22個包以上TTL均值 51，標準差1410個相鄰IP間距：105虛假地址攻擊樣本.5.源地址散列程度 ：0.931相繼同源IP比例：3.0%發(fā)包規(guī)模：99%以上單包TTL均值 230，標準差3410個相鄰IP間距：455IP相鄰間IP距離IP相鄰間IP距離K相鄰IP組內距離（K=10）真實地址樣本虛假地址樣本 100%國內地址 超過50%有在惡意IP庫收錄 同外掛和網(wǎng)絡代理維度匹配 （確認為真實地址） 約6%IP與惡意IP庫記錄重合 絕大部分海外地址大數(shù)據(jù)IP畫像在CC攻擊對抗中的應用場景檢測算法：（1）單src_ip的連接數(shù)超過閾值（舉例

10、：200 QPS)；（2）后端業(yè)務服務器（tomcat)響應延時超時比例超過閾值(舉例：50%）；（3）后端業(yè)務服務器（tomcat)響應延時延遲比例閾值(舉例：8s以上30%）；防御算法：（1）人機挑戰(zhàn)(anticookie-js)；（2）根據(jù)當前連接數(shù)，封src_ip top n 的http請求；應用大數(shù)據(jù)：（1）計算所有后端服務器(tomcat)響應nginx集群的響應的延時數(shù)學分布；（2）計算分析歷史單src_ip的連接數(shù)數(shù)學分布數(shù)據(jù)；（3）根據(jù)當前的連接數(shù)top n 同時結合IP畫像庫大數(shù)據(jù)，精確度更高；云防DDOS外掛對抗WAF防刷系統(tǒng)IP畫像數(shù)據(jù)分析移動安全加固反廣告過濾賬號安全

11、系統(tǒng)秩序違規(guī)反向探測掃描IP畫像庫（1）探測開放代理端口（2）探測XX云主機（3）探測域名解析IP（4）探測IP歸屬地（5）探測運行路由服務IP畫像服務接口層提供IP畫像調用接口，返回IP惡意定級、命中維度IP畫像庫大數(shù)據(jù)分析框架圖大數(shù)據(jù)安全對抗應用背景大數(shù)據(jù)分析在DDOS對抗中的應用大數(shù)據(jù)分析在機器人外掛識別中的應用12345正常用戶&行為惡意用戶&行為攻擊行為、入侵行為、滲透掃描行為、外掛機器人用戶等惡意特征明顯；正常用戶&行為特征明顯；大數(shù)據(jù)分析Storm/Hadoop大數(shù)據(jù)分析在用戶行為識別的應用設備畫像設備硬件信息設備環(huán)境信息IP畫像網(wǎng)絡信息黑產(chǎn)IP歷史地域信

12、息用戶畫像行為模式惡意歷史信息登陸信息特征通訊協(xié)議特征進程埋點特征技術行為特征技術KafkaStormHadoop數(shù)據(jù)挖掘分析機器人外掛對抗系統(tǒng)機器人用戶大數(shù)據(jù)識別框架設備運行信息對抗策略下發(fā)登陸服務對抗策略下發(fā)XXXX服務對抗策略下發(fā)頻道服務已知某條件概率，如何得到兩個事件交換后的概率，也就是在已知P(A|B)的情況下如何求得P(B|A) 。換成反外掛領域語言理解：已知外掛（非外掛）中uid的各特征組合的百分比，根據(jù)樸素貝葉斯定理，可求得當出現(xiàn)指定特征組合時，該特征視為外掛（非外掛）的概率分析1Confidence=0.5為例對這些序列計算密度函數(shù)正態(tài)分布指數(shù)分布分析2左圖是將不同的Confidence得到的序列的分布函數(shù)集中展現(xiàn)。橫軸是單個IP多開UID數(shù)量，縱軸是多開數(shù)量占總體數(shù)量的百分比。如圖中的黑圈，表示Confidence為0的情況下，一個IP登錄一個UID的情況占比超過90%。對應的紅