基于大數(shù)據(jù)的安全分析及溯源技術-技術規(guī)范及評分標準

1、“移動互聯(lián)網(wǎng)系統(tǒng)與應用安全國家工程實驗室”基于大數(shù)據(jù)的安全分析及溯源技術技術規(guī)范2015年9月目錄一、 項目背景3二、 項目建設目標3三、 總體架構(gòu)4四、 本期采購內(nèi)容6五、 主要采購需求61. 供應商資質(zhì)71) 注冊資金72) 投標方產(chǎn)品案例73) 投標方服務案例74) 第三方資質(zhì)75) 信譽要求72. 功能需求81) 流量數(shù)據(jù)解析模塊82) 數(shù)據(jù)清洗及去重模塊83) 報文信息及協(xié)議解析模塊84) 數(shù)據(jù)入庫模塊95) 分析算法庫96) 挖掘算法庫97) 惡意特征庫108) 趨勢預測模型模塊109) 數(shù)據(jù)脫敏及模糊化模塊1010) 信息生命周期管理模塊1111) 日志審計模塊1112) 網(wǎng)絡及

2、移動數(shù)據(jù)隱私防泄漏模塊113. 性能需求121) 流量數(shù)據(jù)解析122) 數(shù)據(jù)清洗及去重123) 數(shù)據(jù)入庫124) 分析算法庫125) 挖掘算法庫126) 惡意特征庫137) 數(shù)據(jù)隱私保護及審計13六、 招投標評分表131、 項目背景 國家發(fā)改委于2013年11月4日正式批復（發(fā)改辦高技20132685 號文）中國電信建設“移動互聯(lián)網(wǎng)系統(tǒng)與應用安全國家工程實驗室”（下稱國家實驗室），中國電信確定由上海研究院為主承建。為進行實驗室建設，中國電信下達了“中國電信 2014 年移動互聯(lián)網(wǎng)系統(tǒng)與應用安全國家工程實驗室建設工程”、“中國電信 2014 年移動互聯(lián)網(wǎng)系統(tǒng)與應用安全國家工程實驗室配套工程”等項

3、目，搭建移動互聯(lián)網(wǎng)與業(yè)務安全研發(fā)實驗平臺，端到端的安全測評和仿真實驗平臺，移動互聯(lián)網(wǎng)安全技術應用示范平臺等三大平臺。2、 項目建設目標國家實驗室的已建成網(wǎng)絡信息的大數(shù)據(jù)采集套件、大數(shù)據(jù)分析系統(tǒng)軟件，主要著眼于移動互聯(lián)網(wǎng)信息內(nèi)容安全方面的研發(fā)。本期采購1套第三方軟件，在國家實驗室現(xiàn)有基礎上增加算法特征庫、網(wǎng)絡及終端數(shù)據(jù)保護等工具，完備國家實驗室在“基于大數(shù)據(jù)的安全分析與溯源”方向的研發(fā)環(huán)境，并利用大數(shù)據(jù)在“移動互聯(lián)網(wǎng)系統(tǒng)與應用安全”方面進行技術研究及突破，構(gòu)建“大數(shù)據(jù)安全分析及溯源示范過程”，主要以實現(xiàn)：1) 面向智能終端用戶及應用開發(fā)商的移動互聯(lián)網(wǎng)仿冒應用識別及渠道監(jiān)測能力：通過對海量數(shù)據(jù)進行

4、分析，對主流移動互聯(lián)網(wǎng)應用進行快速抽取及比對，進行仿冒移動互聯(lián)網(wǎng)應用的識別、警示以及應用發(fā)布渠道的監(jiān)測；2) 面向監(jiān)管部門及移動互聯(lián)網(wǎng)應用商城的結(jié)合大數(shù)據(jù)安全分析的移動互聯(lián)網(wǎng)應用檢測能力：通過對應用層協(xié)議的上下文會話數(shù)據(jù)提取及深度分析能力，對移動互聯(lián)網(wǎng)應用進行深度挖掘分析，結(jié)合移動互聯(lián)網(wǎng)應用特征庫及應用檢測技術對應用App所包含的惡意代碼、木馬病毒特征等進行發(fā)現(xiàn)；3) 面向政企用戶的網(wǎng)絡威脅情報分析服務：利用流式計算和大規(guī)模并行計算等技術進行實時分析及深度挖掘等，通過流量對進行歷史分析、回話關聯(lián)對如APT（高級可持續(xù)性）攻擊等進行檢測；4) 面向后端運維部門的惡意行為發(fā)現(xiàn)及溯源服務：對數(shù)據(jù)進行

5、安全元數(shù)據(jù)的提取，結(jié)合惡意地址、惡意行為特征進行監(jiān)測發(fā)現(xiàn)，可為移動互聯(lián)網(wǎng)應用等后端的服務器提供注入攻擊監(jiān)測、XSS攻擊監(jiān)測、遠程命令執(zhí)行監(jiān)測等的能力；5) 面向國家安全部門提供移動互聯(lián)網(wǎng)安全態(tài)勢分析能力服務：主要結(jié)合海量數(shù)據(jù)的分析挖掘技術對惡意行為進行發(fā)現(xiàn)、事件反查溯源、傳播預測/預警、系統(tǒng)漏洞發(fā)現(xiàn)及挖掘等；項目建設的預期主要指標如下：l 端對端采集清洗輸出延遲 < 800ms l 系統(tǒng)采集有效數(shù)據(jù)包丟包率 < 0.01% l 實時清洗率 > 97%；l 支持分布式白名單；l 惡意特征庫動態(tài)加載，生效延遲 < 0.5s l 支持分布式旁路分析及挖掘算法庫；l 系統(tǒng)支持分

6、布式負載均衡；3、 總體架構(gòu)“基于大數(shù)據(jù)的安全分析與溯源”平臺整體架構(gòu)如下圖所示：其中綠色部分為國家工程實驗室現(xiàn)有基礎，主要為實現(xiàn)移動互聯(lián)網(wǎng)信息內(nèi)容安全方面的分析與溯源；紅色為本期采購涉及內(nèi)容，藍色部分為實驗室自主研發(fā)部分。目前所具備的的主要數(shù)據(jù)源如下：1) 與IT部大數(shù)據(jù)平臺互通，主要獲取固網(wǎng)DPI、C網(wǎng)DPI、LTE DPI等數(shù)據(jù)：中國電信信息園區(qū) B12 1 樓實驗室機房新增 1 根專線連接北泰(/云蓮)機房；2) 通過端口鏡像使用分流采集設備，以1對多的輸入、輸出獲取IDC流量：信息園區(qū) B2 IDC 2-1 機房 A13 機架至信息園區(qū) B12B國家工程實驗室機房；3) 承接集團公司

7、信安部對國家實驗室開展大數(shù)據(jù)安全及大數(shù)據(jù)安全分析科研的要求，與上海CU平臺對接，獲取本地IDC CU平臺數(shù)據(jù)：新桃浦 3 樓 IDC B21 機架至信息園區(qū) B12B 國家工程實驗室機房；4) 以FTP或離線數(shù)據(jù)導入方式不定期從集團“移動用戶上網(wǎng)日志留存”平臺獲取電信移動用戶上網(wǎng)留存日志；4、 本期采購內(nèi)容本期主要采購的功能模塊如下：1 流量數(shù)據(jù)解析模塊2 數(shù)據(jù)清洗及去重模塊3 報文信息及協(xié)議解析模塊4 數(shù)據(jù)入庫模塊5 分析算法庫6 挖掘算法庫7 惡意特征庫8 趨勢預測模型9 數(shù)據(jù)脫敏及模糊化模塊10 信息生命周期管理模塊11 日志審計模塊12 網(wǎng)絡及移動數(shù)據(jù)隱私防泄漏模塊5、 主要采購需求本

8、期采購需求分為：供應商資質(zhì)、模塊功能、模塊性能三部分，具體如下：1. 供應商資質(zhì)1) 注冊資金投標人注冊資金情況，注冊資金1000萬元人民幣以上；2) 投標方產(chǎn)品案例應具有為省部級或以上單位成功案例3個以上，須采用大數(shù)據(jù)分析技術進行數(shù)據(jù)挖掘或流量分析；應具有近2年內(nèi)合同金額大于200萬的運營商大數(shù)據(jù)平臺建設或數(shù)據(jù)處理分析服務案例；應提供該案例的合同或立項證明，并提供該案例的完整技術方案；3) 投標方服務案例近兩年內(nèi)：應具有為省部級以上單位提供大數(shù)據(jù)安全管理軟件或平臺服務的案例；應提供相應的合同或協(xié)議證明；4) 第三方資質(zhì)對投標方所獲得的第三方資質(zhì)要求，如：CMMI3級及以上資質(zhì)、通信信息網(wǎng)絡系

9、統(tǒng)集成企業(yè)資質(zhì)”丙級及以上或“計算機信息系統(tǒng)集成企業(yè)資質(zhì)3級及以上，滿足ISO9001質(zhì)量管理體系認證；5) 信譽要求投標人不得存在下列情形之一：u 投標人被責令停業(yè)或破產(chǎn)狀態(tài)的；u 投標人被暫?；蛉∠稑速Y格的；u 投標人財產(chǎn)被重組、接管、查封、扣押或凍結(jié)的；u 投標人在最近三年內(nèi)（2012年至今）有違法行為或被媒體曝光且在社會上造成惡劣影響的；u 投標人在最近三年內(nèi)（2012年至今）嚴重違反合同約定的；u 投標人在最近三年內(nèi)（2012年至今）有騙取中標的；u 投標產(chǎn)品在使用過程中出現(xiàn)過重大質(zhì)量問題且未妥善解決的；2. 功能需求采購內(nèi)容功能需求如下，其中帶*號項為需求關鍵項。1) 流量數(shù)據(jù)解

10、析模塊* 需能夠支持解析pcap、netflow、sflow等大規(guī)模流量格式；* 需可還原Http類型的IP包頭和內(nèi)容，包括源IP、源端口、源所在地、目標IP、目標端口、目標所在地、協(xié)議、威脅等級等；* 需可支持全球數(shù)據(jù)解析定位，獲取所在的的經(jīng)緯度；2) 數(shù)據(jù)清洗及去重模塊* 需能確保實現(xiàn)數(shù)據(jù)的一致性：當原始數(shù)據(jù)源更新時，清洗和去重后的數(shù)據(jù)能反應變化和聯(lián)系；* 具備分布式實時清洗技術；需能夠有效防止數(shù)據(jù)污染，對收集數(shù)據(jù)中的副作用數(shù)據(jù)進行識別和過濾，以及有效避免數(shù)據(jù)遭受入侵、篡改和替換；需能根據(jù)平臺需求將來源不同的數(shù)據(jù)進行標準化處理，統(tǒng)一為同一種待分析數(shù)據(jù)；需能根據(jù)平臺分析的需要，進行必要的降維

11、處理，以聚焦主要指標分析，通過相關性分析進行降維；3) 報文信息及協(xié)議解析模塊* 需可支持Http類型TCP協(xié)議解析，支持到鏈路層、傳輸層、會話層、應用層等協(xié)議識別和解析；需可支持各類工控協(xié)議的解析識別和移動應用Http類型的協(xié)議的解析識別；需可支持標記未知的應用層協(xié)議；* 需可支持網(wǎng)頁、Webmail等內(nèi)容的解析。* 需可將解析的內(nèi)容進行重組再現(xiàn)，以直觀進行展現(xiàn)。4) 數(shù)據(jù)入庫模塊* 具備數(shù)據(jù)處理過程的智能調(diào)度；* 支持針對結(jié)構(gòu)化和非結(jié)構(gòu)化協(xié)議報文數(shù)據(jù)的入庫接口。* 數(shù)據(jù)入庫接口需支持HDFS、HBase、Hive等非結(jié)構(gòu)化數(shù)據(jù)存儲平臺。5) 分析算法庫* 需可支持進行分析算法自定義，從而快

12、速進行分析算法的擴展；* 需支持基于安全元數(shù)據(jù)的共性計算特性，包括基于共同屬性的關聯(lián)分析，以及異構(gòu)數(shù)據(jù)源之間的元數(shù)據(jù)關聯(lián)分析；* 需可支持Web應用層Http類型的協(xié)議的上下文會話數(shù)據(jù)提取、深度分析能力；* 支持惡意應用、惡意代碼、惡意攻擊者、惡意網(wǎng)址URL的溯源分析能力；* 應支持包括Hadoop、Spark、Storm等平臺；* 需支持本地部署，以及至少3年的分析算法庫免費更新；* 需可提供進行二次開發(fā)Restful API接口；6) 挖掘算法庫* 需可支持進行分析算法自定義，從而快速進行挖掘算法的擴展；* 需支持針對Webshell、XSS、SQL注入、爬蟲、掃描攻擊等的大規(guī)模離線和實時

13、混合分析與檢測機制，并生成攔截過濾規(guī)則；支持基于大規(guī)模移動應用Http類型流量的聚類分析功能；支持基于大規(guī)模普通Web流量的聚類分析功能；* 實現(xiàn)基于Http請求包的深度安全檢測能力，能夠檢測潛在的惡意攻擊行為和竊密行為等；* 提供的各類挖掘算法應支持包括Hadoop、Spark、Storm等平臺；* 需支持本地部署，以及至少3年的挖掘算法庫免費更新；* 需可提供進行二次開發(fā)Restful API接口；7) 惡意特征庫* 需可支持通過ioc等腳本工具查找某一類的惡意文件、網(wǎng)站、代碼等；* 需可根據(jù)用戶需求自定義惡意特征庫；* 應支持包括Hadoop、Spark、Storm等平臺；* 需支持本地

14、部署，以及至少3年的挖掘算法庫免費更新；* 需可提供進行二次開發(fā)Restful API接口；8) 趨勢預測模型模塊* 可提供針對移動平臺的應用傳播趨勢預測模型；* 可提供針對移動平臺的惡意應用增長趨勢預測模型；* 提供針對普通Web應用的惡意攻擊增長趨勢預測模型；可提供針對漏洞和0Day的傳播趨勢預測模型；* 需可支持運行于分布式數(shù)據(jù)庫之上，以適用于進行海量數(shù)據(jù)的分析；* 需可進行預測模型可定義，以預測模型的修改和擴展；* 應支持包括Hadoop、Spark、Storm等平臺；* 需支持本地部署，以及至少3年的預測模型庫免費更新；* 需可提供進行二次開發(fā)Restful API接口；9) 數(shù)據(jù)脫

15、敏及模糊化模塊* 需可支持敏感數(shù)據(jù)脫敏需滿足PII（個人可識別信息）定義，即脫敏后數(shù)據(jù)不能包含可識別或者定位個人的信息集；。* 需可支持對需要統(tǒng)計的精確數(shù)據(jù)支持模糊化處理能力；* 需可支持進行數(shù)據(jù)脫敏規(guī)則的自定義；需支持針對脫敏后的數(shù)據(jù)進行審計，防止未脫敏數(shù)據(jù)外泄；* 需支持本地部署，以及至少3年免費的脫敏庫更新服務；* 需可提供進行二次開發(fā)Restful API接口；10) 信息生命周期管理模塊* 需可支持對平臺內(nèi)安全元數(shù)據(jù)、帳號、應用等進行全流程生命周期管理；* 需可支持針對不同權(quán)限和用途的賬號進行全流程控制管理；需可支持針對信息和用戶的管理規(guī)則自定義；需可針對生命周期管理進行定期審計；1

16、1) 日志審計模塊* 需可支持分布式日志數(shù)據(jù)的高性能采集、格式化、存儲和管理，并且與平臺業(yè)務相互隔離；* 需可支持提供日志范式化和詳盡的日志分類；* 需可支持大規(guī)模部署和功能擴展；能夠以可視化的方式展現(xiàn)日志審計的結(jié)果，并至少標注出可疑日志、入侵行為日志等，為不同層級的用戶提供多視角、多層次的審計視圖；支持日志數(shù)據(jù)的離線和在線備份、確保具有合適的容災恢復能力；需可支持日志等級設置，可提供不同的人員進行審計或者故障排查、定位；* 需支持日志記錄格式、路徑常規(guī)等設置；12) 網(wǎng)絡及移動數(shù)據(jù)隱私防泄漏模塊* 需可支持隱私數(shù)據(jù)規(guī)自定義，可根據(jù)業(yè)務靈活增刪改隱私數(shù)據(jù)；* 需可針對系統(tǒng)內(nèi)的數(shù)據(jù)進行隱私審計，

17、支持正則表達式定義，以實現(xiàn)模糊審計；* 需可具有近似實時檢測網(wǎng)絡中敏感數(shù)據(jù)內(nèi)容的能力，并能標記和存儲；需可具有近似實時檢測、標記網(wǎng)絡中威脅的能力，支持阻斷、提醒、告警和加密等功能；* 需提供全業(yè)務流程的安全訪問控制和授權(quán)機制，防止賬號被濫用、冒用；并支持基于賬號權(quán)限對不同層次的敏感信息進行屏蔽；* 需可支持網(wǎng)絡數(shù)據(jù)平臺的所有輸入輸出操作都有日志記錄功能、文件泄露可以快速定位泄露源頭；需支持備份數(shù)據(jù)的加密機制，并建立數(shù)字水印，確保備份數(shù)據(jù)的可追蹤；需支持對平臺的掃描、監(jiān)控和預警模塊，以保護平臺及內(nèi)部數(shù)據(jù)的安全；3. 性能需求采購內(nèi)容性能需求如下，其中帶*號項為需求關鍵項。1) 流量數(shù)據(jù)解析* 需

18、可支持峰值10Gbps的Http流量數(shù)據(jù)還原解析；* 數(shù)據(jù)還原準確率需至少90%；2) 數(shù)據(jù)清洗及去重* 需能夠有效甄別不完整數(shù)據(jù)項、去除重復數(shù)據(jù)，確保數(shù)據(jù)的精確性至少95%以上；* 需保證數(shù)據(jù)處理后的冗余率在1%以下；3) 數(shù)據(jù)入庫* 需支持在采用萬兆網(wǎng)卡的情況下，最大存儲速度可達至少1G/S；4) 分析算法庫*支持TB級別數(shù)據(jù)10秒內(nèi)單關鍵字查詢和檢索操作。*支持TB級10秒內(nèi)的單個元數(shù)據(jù)查詢操作。*支持TB級10秒內(nèi)的單個元數(shù)據(jù)增刪改操作。5) 挖掘算法庫* 需支持至少10種的挖掘算法；* 支持TB級別單條數(shù)據(jù)的10秒內(nèi)級查詢和檢索操作；需支持5種及以上聚類分析算法；需支持5種及以上安全

19、挖掘算法；6) 惡意特征庫* 提供不少于5000萬的惡意URL數(shù)據(jù)庫；* 提供不少于2000條的Web應用層指紋數(shù)據(jù)庫；* 提供不少于20萬的惡意移動應用標識數(shù)據(jù)庫；提供不少于5000千萬的惡意攻擊溯源IP數(shù)據(jù)庫；提供不少于200條的惡意訪問請求攔截規(guī)則庫；支持TB級別數(shù)據(jù)的10秒內(nèi)單個數(shù)據(jù)的查詢、匹配操作；7) 數(shù)據(jù)隱私保護及審計* 脫敏準確率需要達到95%以上；支持實時數(shù)據(jù)隱私審計效率500Mbps，及10秒內(nèi)操作響應；支持日志記錄能力1000條/秒以上；需支持當數(shù)據(jù)外泄時，10秒內(nèi)進行提醒并同時掛起數(shù)據(jù)傳輸進程；6、 招投標評分表配分類別配分內(nèi)容配分1、報價相關評分計算貨物投標總價時,以

20、貨物到達買方指定交貨地點的交貨價為依據(jù)。評標工作小組對各投標人的投標價格逐一審核并修正得出修正后的投標價,修正后的投標價指修正錯誤并統(tǒng)一以人民幣表示的投標價。在進行價格評審時,將只考慮人民幣報價。1.1保修期后維保年費率評分（未報以0分計算）：根據(jù)投標人所報的保修期后維保年費率依次排序。51.2報價評分： 根據(jù)符合招標文件要求的投標人的開標價依次排序，如投標人的有效投標報價小于等于5家，以最低價和次低價的平均價作為基準價。如投標人的有效投標報價大于5家小于等于10家，則去除所有報價中最高和最低報價后，取余下有效報價中的最低價和次低報價的平均價作為基準價。如投標人的有效投標報價大于20家以上，則去除所有報價中3個最高報價和3個最低報價，取余下有效報價中由低至高排名有效報價總數(shù)20%處（向上取整）的報價作為基準價。202、技術評分設備和技術方案設計的合理性、先進性和對需求的滿足情況2.1設備或產(chǎn)品的功能滿足情況需能夠有效防止數(shù)據(jù)污染，對收集數(shù)據(jù)中的副作用數(shù)據(jù)進行識別和過濾，以及有效避免數(shù)據(jù)遭受入侵、篡改和替換需能根據(jù)平臺需求將來源不同的數(shù)據(jù)進行標準化處理，統(tǒng)一為同一種待分析數(shù)據(jù)需能根據(jù)平臺分析的需要，進行必要的降維處理，以聚焦主要指標分析，通過相關性分析進行降維需可支持各類工控協(xié)議的解析識別和移動應用協(xié)議的解析識別需可支持標記未知的應用層協(xié)議支持基于大規(guī)模移動應用http