云WAF與大數(shù)據(jù)實(shí)時(shí)分析實(shí)踐

1、云WAF與大數(shù)據(jù)實(shí)時(shí)分析實(shí)踐技術(shù)創(chuàng)新，變革未來(lái)背景痛點(diǎn)難點(diǎn)方案閉環(huán)設(shè)計(jì)規(guī)則源部署日志大數(shù)據(jù)分析前置分析接口提供后置學(xué)習(xí)構(gòu)建實(shí)踐架構(gòu)特色現(xiàn)狀可視化以后的路自動(dòng)化計(jì)劃大綱背景痛點(diǎn)業(yè)務(wù)安全需 求惡意IP封禁惡意用戶封禁應(yīng)用安全防 護(hù)需求SQL注入XSS跨站LFI、RCE.應(yīng)急響應(yīng)需 求不能精確攔截發(fā)布更新周期長(zhǎng)規(guī)則生效慢帶寬、效率瓶頸成本高昂不適合分布式多機(jī)房硬件 Struts 2 s2-032之類的0day或者1day很多商WAF業(yè)WAF都不支持，并且響應(yīng)更新慢商業(yè)云WAF規(guī)則定制難業(yè)務(wù)線長(zhǎng)難以全部遷 移背景難點(diǎn)10種左右的系統(tǒng)版本5種左右的web容器N種不同的編碼語(yǔ)言不同的底層系 統(tǒng)不同的web

2、服 務(wù)器背景方案Cloud-based web application firewalls集中式平臺(tái)，客戶端無(wú)需任何改變僅需要DNS解析指向檢測(cè)信息共享閉環(huán)設(shè)計(jì)規(guī)則源外部搜集，內(nèi)部整理通過(guò)日志、流量運(yùn)用規(guī)則做實(shí)時(shí)計(jì)算將實(shí)時(shí)計(jì)算的結(jié)果進(jìn)行分析將誤報(bào)率低、漏報(bào)率低的規(guī)則策略發(fā)至線上規(guī)則優(yōu)化OWASP-Core Rule Set外部搜集內(nèi)部經(jīng)驗(yàn)實(shí)時(shí)計(jì)算離線分析誤報(bào)統(tǒng)計(jì)大數(shù)據(jù)分析前置分析基于STORM對(duì)流量進(jìn)行實(shí)時(shí)計(jì)算更寬泛的規(guī)則策略實(shí)時(shí)分?jǐn)?shù)計(jì)算可自動(dòng)或手動(dòng)與WAF聯(lián)動(dòng)閉環(huán)設(shè)計(jì)部署結(jié)合nginx，一行配置，無(wú)縫開啟waf結(jié)合Load Balance，低成本部署產(chǎn)生高性能REST API用于管理部署加載

3、維護(hù)管理可用 性耦合大數(shù)據(jù)分析接口提供RESTful API接口支持動(dòng)態(tài)規(guī)則，攔截基于IP、UA、UID等策略組合支持靜態(tài)規(guī)則，攔截基于參數(shù)、內(nèi)容的web攻擊攔截支持一鍵開啟關(guān)閉WAF、一鍵切換攔截、檢測(cè)模式、一鍵bypass支持狀態(tài)查詢、規(guī)則下發(fā)、規(guī)則更新等功能閉環(huán)設(shè)計(jì)日志處理日志搜集優(yōu)化feature優(yōu)化參數(shù)離線訓(xùn)練分類器分類Supervised Learning誤報(bào)率、漏報(bào)率機(jī)器學(xué)習(xí)為輔、人工為主誤報(bào)率、漏 報(bào)率優(yōu)化大數(shù)據(jù)分析后置學(xué)習(xí)基于SPARK stream、SPARK mllib針對(duì)WAF日志進(jìn)行解析、分析、統(tǒng)計(jì)、學(xué)習(xí)自動(dòng)分析每日上百萬(wàn)日志中誤報(bào)條目人工確認(rèn)結(jié)果作為訓(xùn)練數(shù)據(jù)輸入Lo

4、g fileLogstashKafkaKafka ZookeeperSpark StreamSpark ML Web構(gòu)建實(shí)踐架構(gòu)Kafka-Logstash-ES-KibanaService ClusterApp ClusterService ClusterREST APILBWAFREST APIREST APILBWAFREST APIApp ClusterManageWebBillions of Request構(gòu)建實(shí)踐特色結(jié)合LB，對(duì)HTTPS友好快速部署、規(guī)則策略秒級(jí)生效引擎一鍵進(jìn)入攔截、檢測(cè)、關(guān)閉模式預(yù)留REST API接口，配合風(fēng)控、反爬規(guī)則來(lái)源于Storm實(shí)時(shí)計(jì)算優(yōu)化后構(gòu)建實(shí)踐現(xiàn)狀每天處理十億級(jí)請(qǐng)求，每次處理耗時(shí)0.2ms左右每天攔截百萬(wàn)次攻擊，誤報(bào)率低于千萬(wàn)分之一保護(hù)成千上萬(wàn)的應(yīng)用構(gòu)建實(shí)踐可視化以后的路自動(dòng)化無(wú)人值守？機(jī)器學(xué)習(xí)判定誤報(bào)、漏報(bào)？自動(dòng)加白？自動(dòng)