互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)項(xiàng)目建設(shè)方案

目錄第一章 項(xiàng)目概述 11、項(xiàng)目名稱(chēng) 12、項(xiàng)目背景 13、指導(dǎo)思想 24、建設(shè)原則 25、建設(shè)目標(biāo)與任務(wù) 5第二章 需求分析 61、業(yè)務(wù)目標(biāo)需求分析結(jié)論 62、系統(tǒng)功能指標(biāo)分析 73、信息量指標(biāo)分析 84、系統(tǒng)性能指標(biāo)分析 9第三章 總體建設(shè)方案 111、總體設(shè)計(jì)原則 111.1、總體框架 111.2、總體技術(shù)路線(xiàn) 132、總體目標(biāo)與分期目標(biāo) 132.1、總體目標(biāo) 132.2、分期目標(biāo) 143、總體建設(shè)任務(wù)與分期建設(shè)內(nèi)容 143.1、總體建設(shè)任務(wù) 144、系統(tǒng)總體結(jié)構(gòu)和邏輯結(jié)構(gòu) 154.2、系統(tǒng)邏輯結(jié)構(gòu) 15第四章 本期項(xiàng)目設(shè)計(jì)方案 161、建設(shè)目標(biāo)、規(guī)模與內(nèi)容 161.1、建設(shè)目標(biāo) 161.2、建設(shè)規(guī)模 161.3、建設(shè)內(nèi)容 172、標(biāo)準(zhǔn)規(guī)范建設(shè)內(nèi)容 172.1、項(xiàng)目建設(shè)標(biāo)準(zhǔn) 172.2、項(xiàng)目先進(jìn)性標(biāo)準(zhǔn) 193、信息資源規(guī)劃和數(shù)據(jù)庫(kù)設(shè)計(jì) 203.1、信息資源規(guī)劃 203.2、數(shù)據(jù)庫(kù)設(shè)計(jì) 214、應(yīng)用支撐系統(tǒng)設(shè)計(jì) 225、應(yīng)用系統(tǒng)設(shè)計(jì) 235.1、資產(chǎn)識(shí)別 235.2、資產(chǎn)查詢(xún) 245.3、資產(chǎn)數(shù)據(jù)分析挖掘 255.4、業(yè)務(wù)領(lǐng)先的資產(chǎn)指紋識(shí)別能力 255.5、準(zhǔn)確的資產(chǎn)與漏洞檢測(cè)能力 255.6、獨(dú)有掃描機(jī)制 265.7、系統(tǒng)抓取分析技術(shù) 266、數(shù)據(jù)處理和存儲(chǔ)系統(tǒng)設(shè)計(jì) 276.1、數(shù)據(jù)處理設(shè)計(jì) 276.2、數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì) 317、終端系統(tǒng)及接口設(shè)計(jì) 378、網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì) 3810、備份系統(tǒng)設(shè)計(jì) 3911、運(yùn)行維護(hù)系統(tǒng)設(shè)計(jì) 4012、系統(tǒng)配置及軟硬件選型原則 4414、系統(tǒng)軟硬件物理部署方案 44第五章 人員配置與培訓(xùn) 461、人員配置計(jì)劃 461.1、技術(shù)力量和人員配置 461.2、人員培訓(xùn)需求和計(jì)劃 461.3、項(xiàng)目建設(shè)的實(shí)施策略 462、人員培訓(xùn)方案 472.1、人員培訓(xùn)計(jì)劃 472.2、培訓(xùn)目標(biāo) 472.3、培訓(xùn)對(duì)象 482.4、培訓(xùn)講師 482.5、培訓(xùn)時(shí)間 492.6、培訓(xùn)課程 492.7、培訓(xùn)方式 502.8、培訓(xùn)意見(jiàn)反饋 52第八章 效益分析 541、前期項(xiàng)目建設(shè)成效分析 542、本期項(xiàng)目效益分析 54 第一章 項(xiàng)目概述1、項(xiàng)目名稱(chēng)互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)建設(shè)項(xiàng)目2、項(xiàng)目背景目前，隨著各類(lèi)開(kāi)源系統(tǒng)的逐漸豐富，安全問(wèn)題也隨之逐步暴露，全球范圍內(nèi)的通用漏洞開(kāi)始呈現(xiàn)出爆發(fā)式的增長(zhǎng)趨勢(shì)。伴隨著今年Struts2漏洞的再次爆發(fā)，黑客利用通用漏洞進(jìn)行攻擊的案例越來(lái)越多。2017年6月，“永恒之藍(lán)”勒索軟件漏洞影響了全球近千萬(wàn)臺(tái)服務(wù)器，僅我國(guó)境內(nèi)受影響服務(wù)器多達(dá)4萬(wàn)多臺(tái)?？梢钥吹剑槍?duì)通用組件的攻擊將成為未來(lái)很長(zhǎng)一段時(shí)間的主旋律。反觀(guān)我們國(guó)家整體的安全建設(shè)，網(wǎng)絡(luò)防火墻、Web應(yīng)用防火墻、下一代防火墻、IDS、IPS、掃描器等等設(shè)備一應(yīng)俱全，為何仍會(huì)在Struts2及“永恒之藍(lán)”等漏洞出現(xiàn)時(shí)束手無(wú)策。由此可見(jiàn)，在新的網(wǎng)絡(luò)安全形勢(shì)下，已有的安全監(jiān)控及防護(hù)手段存在著極大的不足和滯后性，無(wú)法及時(shí)反映出信息系統(tǒng)、網(wǎng)絡(luò)設(shè)備的信息及安全狀況，缺少一種高效精準(zhǔn)的技術(shù)手段了解這些系統(tǒng)和設(shè)備開(kāi)放的組件、服務(wù)和端口情況，以至于在出現(xiàn)嚴(yán)重漏洞時(shí)既不知道受不受影響，也不知道影響范圍有多大。因此亟待采取有效的措施來(lái)進(jìn)行彌補(bǔ)，了解并掌握網(wǎng)絡(luò)資產(chǎn)狀況，一旦高危漏洞爆發(fā)時(shí)，能夠更快速、精確的發(fā)現(xiàn)存在問(wèn)題的站點(diǎn)并發(fā)出預(yù)警及利用?；ヂ?lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)的推廣將會(huì)在這個(gè)過(guò)程中起到至關(guān)重要的作用，幫助技術(shù)偵查部門(mén)掌握足夠的真實(shí)數(shù)據(jù)以做出了解判斷并及時(shí)預(yù)警、響應(yīng)，同時(shí)可以加以利用，獲取有價(jià)值的信息，信息系統(tǒng)化的方式大量節(jié)約人力和時(shí)間。3、指導(dǎo)思想以“情報(bào)信息主導(dǎo)”理念為導(dǎo)向，緊密結(jié)合工作實(shí)際，按照“因地制宜，分類(lèi)指導(dǎo)，穩(wěn)步推進(jìn)”的原則，全力推動(dòng)信息化建設(shè)工作。從基礎(chǔ)建設(shè)、加強(qiáng)執(zhí)法管理、業(yè)務(wù)流程等環(huán)節(jié)入手，切實(shí)推動(dòng)基礎(chǔ)工作信息化，使工作和隊(duì)伍管理真正融入到信息化平臺(tái)，不斷提升信息化應(yīng)用的整體水平。4、建設(shè)原則互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)建設(shè)應(yīng)遵循如下基本原則：全面性互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)的框架設(shè)計(jì)，應(yīng)遵循科學(xué)的設(shè)計(jì)理念，各個(gè)組成部分均符合當(dāng)代信息技術(shù)發(fā)展形勢(shì)，滿(mǎn)足未來(lái)各種業(yè)務(wù)對(duì)信息系統(tǒng)的要求，提供統(tǒng)一系統(tǒng)應(yīng)用，選擇先進(jìn)的平臺(tái)軟件，提供針對(duì)各種數(shù)據(jù)源的接口支持。開(kāi)放性在現(xiàn)有應(yīng)用系統(tǒng)和手段建設(shè)中有大量資源，包括軟硬件環(huán)境資源和大量信息資源，在實(shí)現(xiàn)資源共享時(shí)要統(tǒng)一規(guī)劃，最大限度實(shí)現(xiàn)各類(lèi)資源共享，支持多重業(yè)務(wù)工作的開(kāi)展。系統(tǒng)需提供多種數(shù)據(jù)訪(fǎng)問(wèn)、服務(wù)調(diào)用和資源管理接口，實(shí)現(xiàn)資源和服務(wù)對(duì)其他業(yè)務(wù)手段和使用人員的共享。靈活性各警種未來(lái)在數(shù)據(jù)類(lèi)型、數(shù)據(jù)規(guī)模、業(yè)務(wù)應(yīng)用方面都會(huì)有不斷擴(kuò)展和演化，系統(tǒng)設(shè)計(jì)需采用靈活架構(gòu)實(shí)現(xiàn)可配置，動(dòng)態(tài)可擴(kuò)展和自定義，有較強(qiáng)的可擴(kuò)展性。融合性工作涉及到海量數(shù)據(jù)、多用戶(hù)。良好的數(shù)據(jù)融合和應(yīng)用融合可以幫助在日常工作和情報(bào)分析工作中快速、有效、準(zhǔn)確的獲得成果。標(biāo)準(zhǔn)化數(shù)據(jù)中心的設(shè)計(jì)與開(kāi)發(fā)應(yīng)堅(jiān)持標(biāo)準(zhǔn)化、規(guī)范化原則，采用業(yè)界成熟的標(biāo)準(zhǔn)化技術(shù)，遵循國(guó)家和部制定的相關(guān)標(biāo)準(zhǔn)和技術(shù)規(guī)范。只有基于標(biāo)準(zhǔn)化的處理方式，數(shù)據(jù)資源才能有序、完好的匯聚到數(shù)據(jù)中心，系統(tǒng)才能橫向或縱向的可持續(xù)發(fā)展。安全性系統(tǒng)必須有高可靠性，能夠長(zhǎng)時(shí)間運(yùn)行而不宕機(jī)，要保證系統(tǒng)使用的連續(xù)性。建立全局的數(shù)據(jù)安全機(jī)制，建立統(tǒng)一的訪(fǎng)問(wèn)控制機(jī)制，實(shí)現(xiàn)統(tǒng)一的身份認(rèn)證、訪(fǎng)問(wèn)控制、審計(jì)等安全機(jī)制。實(shí)戰(zhàn)化系統(tǒng)的建設(shè)以保證圍繞為一線(xiàn)民警提供強(qiáng)有力的手段為原則，確保系統(tǒng)的易操作性，功能的實(shí)用性，業(yè)務(wù)的全面性，切實(shí)滿(mǎn)足實(shí)戰(zhàn)需要。同時(shí)，系統(tǒng)的建設(shè)也要能夠提升數(shù)據(jù)資源的成果轉(zhuǎn)化，提升工作人員的信息化技戰(zhàn)實(shí)力。先進(jìn)性在保證實(shí)用性、標(biāo)準(zhǔn)化、可靠性的前提下，系統(tǒng)在達(dá)到設(shè)計(jì)思想先進(jìn)性的同時(shí)，也能夠與現(xiàn)有主流應(yīng)用系統(tǒng)技術(shù)兼容，其體系結(jié)構(gòu)應(yīng)采用先進(jìn)的架構(gòu)和成熟技術(shù)。易維護(hù)性項(xiàng)目涉及面廣、復(fù)雜度高、規(guī)模較大，系統(tǒng)的可管理性和可維護(hù)性是系統(tǒng)能否持續(xù)運(yùn)行的關(guān)鍵，系統(tǒng)需要具備可解決問(wèn)題并易于管理的系統(tǒng)。貫徹面向最終用戶(hù)的原則，部署快捷，具有了友好的用戶(hù)界面，操作簡(jiǎn)單、直觀(guān)、靈活，易于學(xué)習(xí)和掌握。5、建設(shè)目標(biāo)與任務(wù)漏洞危機(jī)帶來(lái)的新的威脅以及網(wǎng)絡(luò)環(huán)境的日趨復(fù)雜，脆弱性?huà)呙枵苫⒅悄芑较虬l(fā)展。脆弱性?huà)呙璧男纶厔?shì)具體包括：集成系統(tǒng)漏洞、數(shù)據(jù)庫(kù)漏洞、Web漏洞、安全配置漏洞的發(fā)現(xiàn)能力，并可生成風(fēng)險(xiǎn)分析報(bào)告；支持對(duì)掃描資產(chǎn)的管理，并能夠結(jié)合漏洞評(píng)價(jià)，計(jì)算主機(jī)和網(wǎng)絡(luò)的脆弱性風(fēng)險(xiǎn)，為風(fēng)險(xiǎn)評(píng)估和風(fēng)險(xiǎn)監(jiān)控提供必要支撐；支持對(duì)不同軟件、系統(tǒng)類(lèi)別的漏洞進(jìn)行統(tǒng)一評(píng)級(jí)，并保證評(píng)級(jí)的開(kāi)放性和客觀(guān)性，為漏洞評(píng)級(jí)的交流提供方便；支持對(duì)歷次掃描結(jié)果中的漏洞情況、脆弱性風(fēng)險(xiǎn)的變化趨勢(shì)進(jìn)行分析，為漏洞管理策略合理化調(diào)整提供決策依據(jù)；廠(chǎng)商必須具備持續(xù)性的漏洞跟蹤及研究能力，以確保產(chǎn)品中漏洞知識(shí)庫(kù)的全面性、準(zhǔn)確性和權(quán)威性，并且能夠做到及時(shí)更新，甚至能夠?qū)χ卮蟮耐话l(fā)漏洞事件進(jìn)行應(yīng)急；廠(chǎng)商在漏洞檢測(cè)領(lǐng)域有長(zhǎng)期的積累，以保證產(chǎn)品應(yīng)用的成熟度?；ヂ?lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)利用基于指紋庫(kù)的組件識(shí)別技術(shù)，進(jìn)行網(wǎng)絡(luò)信息采集，可識(shí)別的設(shè)備類(lèi)型包括：路由器、交換機(jī)、郵件服務(wù)器、網(wǎng)站服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、防火墻、打印設(shè)備、攝像頭設(shè)備等；可識(shí)別的網(wǎng)絡(luò)設(shè)備軟件包括：Linux（操作系統(tǒng)）、Windows（操作系統(tǒng)）、IIS（Web容器）、Apache（Web容器）、WebLogic（Web容器）、WordPress（CMS系統(tǒng)）、Discuz（論壇系統(tǒng)）、MySQL（數(shù)據(jù)庫(kù)）、MongoDB（數(shù)據(jù)庫(kù)）等。互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)是針對(duì)網(wǎng)絡(luò)設(shè)備資產(chǎn)進(jìn)行信息普查和風(fēng)險(xiǎn)感知的手段。通過(guò)對(duì)全球互聯(lián)網(wǎng)IP段、端口等參數(shù)進(jìn)行探測(cè)，掌握應(yīng)用系統(tǒng)、網(wǎng)絡(luò)設(shè)備的存活情況、開(kāi)放端口、組件信息、服務(wù)信息，并通過(guò)周期性監(jiān)控，及時(shí)發(fā)現(xiàn)信息變化。第二章 需求分析1、業(yè)務(wù)目標(biāo)需求分析結(jié)論隨著企業(yè)的發(fā)展和IT信息化建設(shè)的快速開(kāi)展，承載企業(yè)業(yè)務(wù)的資產(chǎn)越來(lái)越多，接入互聯(lián)網(wǎng)的設(shè)備也是五花八門(mén)的，除了個(gè)人PC機(jī)和服務(wù)器，還包括交換機(jī)、路由器、打印機(jī)、視頻監(jiān)控、移動(dòng)設(shè)備、物聯(lián)網(wǎng)設(shè)備等。這些設(shè)備共同組成了企業(yè)等單位所處的網(wǎng)絡(luò)空間?；ヂ?lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)是一個(gè)針對(duì)全球互聯(lián)網(wǎng)中，包括政府、高校、企事業(yè)單位開(kāi)發(fā)的網(wǎng)絡(luò)空間資產(chǎn)檢索系統(tǒng)，能夠自動(dòng)獲取網(wǎng)絡(luò)空間存活的資產(chǎn)和開(kāi)啟的服務(wù)，然后進(jìn)行協(xié)議識(shí)別，根據(jù)協(xié)議的信息對(duì)資產(chǎn)進(jìn)行指紋識(shí)別，并且還可以出具各種資產(chǎn)統(tǒng)計(jì)報(bào)表。要求系統(tǒng)具有快速、全面、準(zhǔn)確等優(yōu)勢(shì)。可采用全球領(lǐng)先的端口掃描程序，可快速獲取到企業(yè)的存活資產(chǎn)。包含110多種協(xié)議的識(shí)別，覆蓋網(wǎng)絡(luò)常用端口，能夠全面識(shí)別出來(lái)資產(chǎn)開(kāi)放的服務(wù)，超過(guò)7000多條識(shí)別規(guī)則能夠識(shí)別出資產(chǎn)的指紋信息。要求系統(tǒng)可以解決防火墻等設(shè)備導(dǎo)致的端口開(kāi)放的誤報(bào)情況，使結(jié)果更加準(zhǔn)確?；ヂ?lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)建設(shè)，通過(guò)對(duì)于網(wǎng)絡(luò)空間資產(chǎn)的檢索、掃描、漏洞驗(yàn)證、報(bào)送呈現(xiàn)，為后期業(yè)務(wù)工作提供基礎(chǔ)數(shù)據(jù)資源。將有利于加快推進(jìn)技術(shù)偵查工作的步伐，實(shí)現(xiàn)“以網(wǎng)管網(wǎng)”的工作目標(biāo)，有效打擊涉網(wǎng)犯罪，更好地促進(jìn)互聯(lián)網(wǎng)環(huán)境健康發(fā)展。2、系統(tǒng)功能指標(biāo)分析在全面網(wǎng)絡(luò)資產(chǎn)識(shí)別基礎(chǔ)上，重新定義了安全事件處理和漏洞掃描形式，基于漏洞匹配符合特征的網(wǎng)絡(luò)資產(chǎn)進(jìn)行專(zhuān)項(xiàng)掃描，并結(jié)合資產(chǎn)分布統(tǒng)計(jì)、安全態(tài)勢(shì)分析等功能，形成集資產(chǎn)探測(cè)管理、安全事件驗(yàn)證、智能統(tǒng)計(jì)分析、安全態(tài)勢(shì)感知、持續(xù)安全監(jiān)控為一體的全方位安全體系。3、信息量指標(biāo)分析資產(chǎn)搜集系統(tǒng)可自動(dòng)搜集網(wǎng)絡(luò)空間中的存活資產(chǎn)，在線(xiàn)資產(chǎn)識(shí)別比例超過(guò)95%。資產(chǎn)檢索支持針對(duì)資產(chǎn)的模糊檢索；支持根據(jù)資產(chǎn)IP地址、資產(chǎn)名稱(chēng)、端口、服務(wù)、操作系統(tǒng)、設(shè)備類(lèi)型、廠(chǎng)商、組件、設(shè)備地區(qū)、業(yè)務(wù)應(yīng)用進(jìn)行高級(jí)檢索。端口掃描支持全網(wǎng)端口掃描，深度識(shí)別240個(gè)以上的常用網(wǎng)絡(luò)端口，包括協(xié)議的默認(rèn)和非默認(rèn)端口，并支持自定義端口。

協(xié)議識(shí)別支持110種以上的主流協(xié)議識(shí)別，包括數(shù)據(jù)庫(kù)、SSH、FTP、HTTP、程序組件、工控等類(lèi)型；支持協(xié)議擴(kuò)展。

指紋識(shí)別預(yù)置超7000條指紋識(shí)別規(guī)則，包括視頻監(jiān)控、安全產(chǎn)品、路由器、交換機(jī)、OA、財(cái)務(wù)、郵件、項(xiàng)目管理等。

掃描速度掃描10000資產(chǎn),網(wǎng)絡(luò)常用端口（240個(gè)）5M帶寬30分鐘。

高準(zhǔn)確度能夠準(zhǔn)確識(shí)別協(xié)議的開(kāi)放情況，由于連接重置和防火墻導(dǎo)致的誤報(bào)率低于3%。

漏洞快速掃描系統(tǒng)支持單個(gè)漏洞的快速掃描，1W以?xún)?nèi)資產(chǎn)單個(gè)漏洞掃描速度5分鐘。10W以?xún)?nèi)資產(chǎn)，單個(gè)漏洞掃描速度15分鐘。

分析報(bào)告包括資產(chǎn)分析、漏洞分析；針對(duì)資產(chǎn)的設(shè)備類(lèi)型、廠(chǎng)商、端口、操作系統(tǒng)、數(shù)據(jù)庫(kù)使用、地區(qū)分布、資產(chǎn)總量變化進(jìn)行統(tǒng)計(jì)分析；針對(duì)漏洞的分布、影響進(jìn)行統(tǒng)計(jì)分析；支持餅圖、柱形圖、折線(xiàn)圖、地圖等多種圖表形式；支持添加自定義圖表。4、系統(tǒng)性能指標(biāo)分析互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)的各種性能要求如下表：項(xiàng)目分類(lèi)時(shí)間響應(yīng)時(shí)間IP查詢(xún)<2秒端口查詢(xún)<2秒資產(chǎn)查詢(xún)<3秒漏洞查詢(xún)<3秒采集入庫(kù)時(shí)間IP入庫(kù)<15分種端口入庫(kù)<15分種資產(chǎn)入庫(kù)<20分種協(xié)議入庫(kù)<10分種指紋入庫(kù)<15分種漏洞入庫(kù)<15分種連接建立時(shí)間資產(chǎn)搜集<5秒資產(chǎn)檢索<5秒端口掃描<5秒?yún)f(xié)議識(shí)別<5秒指紋識(shí)別<10秒漏洞驗(yàn)證<15秒

第三章 總體建設(shè)方案1、總體設(shè)計(jì)原則1.1、總體框架互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)采用B/S架構(gòu)，通過(guò)瀏覽器即可使用，人性化的管理界面，可視化操作流程，使用成本低。整個(gè)系統(tǒng)分為數(shù)據(jù)采集層、數(shù)據(jù)聚合層、數(shù)據(jù)存儲(chǔ)層、任務(wù)管理、Web展示層五個(gè)大的模塊組成。1）WEB展示層控制臺(tái)、資產(chǎn)導(dǎo)入、資產(chǎn)管理、數(shù)據(jù)檢索、報(bào)表管理、漏洞管理、流量分析等UI展示相關(guān)的功能。2）數(shù)據(jù)儲(chǔ)存層主要承擔(dān)存儲(chǔ)數(shù)據(jù)的功能，存儲(chǔ)的數(shù)據(jù)包括企業(yè)資產(chǎn)信息、協(xié)議信息和HTTP信息、周期掃描數(shù)據(jù)等，可提供資產(chǎn)信息大容量數(shù)據(jù)存儲(chǔ)和高速數(shù)據(jù)檢索，任務(wù)隊(duì)列管理模塊提供掃描任務(wù)隊(duì)列高速緩存。3）數(shù)據(jù)聚合層數(shù)據(jù)采集層采集到的都是原始數(shù)據(jù)，需要經(jīng)過(guò)一定的分類(lèi)匯總后才能存儲(chǔ)到系統(tǒng)中去。數(shù)據(jù)聚合層主要用于數(shù)據(jù)的關(guān)聯(lián)性分析、資產(chǎn)動(dòng)態(tài)變化統(tǒng)計(jì)和資產(chǎn)指紋管理等。4）數(shù)據(jù)采集層通過(guò)全網(wǎng)端口掃描、協(xié)議識(shí)別、網(wǎng)絡(luò)爬蟲(chóng)、流量監(jiān)控等模塊，收集企事業(yè)單位網(wǎng)絡(luò)空間資產(chǎn)信息，支持進(jìn)行單IP、IP段掃描，全網(wǎng)端口掃描模塊基于一定的頻度對(duì)網(wǎng)絡(luò)空間中的常用標(biāo)準(zhǔn)端口（如21、22、80、3306等）以及非標(biāo)準(zhǔn)端口進(jìn)行掃描，收集資產(chǎn)開(kāi)放端口的情況；自主研發(fā)的協(xié)議識(shí)別模塊根據(jù)端口和協(xié)議信息進(jìn)行詳細(xì)的識(shí)別，從而收集協(xié)議的各項(xiàng)信息，收集信息包括IP、端口號(hào)、banner、證書(shū)等；網(wǎng)絡(luò)爬蟲(chóng)模塊主動(dòng)進(jìn)行HTTP協(xié)議的信息抓取，采集的信息包括host、domain、header、server、body、title等，這幾個(gè)模塊是整個(gè)系統(tǒng)的原始數(shù)據(jù)來(lái)源。1.2、總體技術(shù)路線(xiàn)由主控進(jìn)程把每個(gè)站的各個(gè)檢測(cè)任務(wù)扔到任務(wù)隊(duì)列中，jobserver把任務(wù)丟給worker去異步執(zhí)行，由每個(gè)worker定期去更新自己的進(jìn)度，另有daemon程序定期檢測(cè)意外死掉或失敗的worker，去做善后工作，然后更新?tīng)顟B(tài)。這樣，各個(gè)子功能模塊之間耦合比較低，容易通過(guò)水平擴(kuò)展來(lái)提升處理能力。2、總體目標(biāo)與分期目標(biāo)2.1、總體目標(biāo)通過(guò)該項(xiàng)目的建設(shè)，系統(tǒng)可以針對(duì)網(wǎng)絡(luò)設(shè)備資產(chǎn)進(jìn)行信息普查和風(fēng)險(xiǎn)感知，并通過(guò)對(duì)全球互聯(lián)網(wǎng)IP段、端口等參數(shù)進(jìn)行探測(cè)，尤其掌握關(guān)注范圍內(nèi)的應(yīng)用系統(tǒng)、網(wǎng)絡(luò)設(shè)備的存活情況、開(kāi)放端口、組件信息、服務(wù)信息，此外進(jìn)行周期性監(jiān)控，及時(shí)發(fā)現(xiàn)信息變化，做到對(duì)全球網(wǎng)絡(luò)空間尤其是指定站點(diǎn)目標(biāo)的網(wǎng)絡(luò)相關(guān)信息探測(cè)。2.2、分期目標(biāo)根據(jù)一期項(xiàng)目建設(shè)情況及工作實(shí)戰(zhàn)需求進(jìn)行研討后，確定后期建設(shè)任務(wù)并啟動(dòng)系統(tǒng)定制開(kāi)發(fā)任務(wù)。3、總體建設(shè)任務(wù)與分期建設(shè)內(nèi)容3.1、總體建設(shè)任務(wù)隨著信息網(wǎng)絡(luò)技術(shù)的發(fā)展,網(wǎng)絡(luò)信息安全已成為維護(hù)國(guó)家安全和社會(huì)穩(wěn)定的焦點(diǎn)。安全掃描技術(shù)是一種極為有效的主動(dòng)防御技術(shù),成為網(wǎng)絡(luò)安全研究中的熱點(diǎn)。目前漏洞的廣泛存在已成為網(wǎng)絡(luò)系統(tǒng)的直接安全威脅,研究針對(duì)發(fā)現(xiàn)漏洞的網(wǎng)絡(luò)安全掃描技術(shù)具有重要的意義。圍繞網(wǎng)絡(luò)安全掃描技術(shù)和工具開(kāi)展研究與實(shí)現(xiàn)工作。系統(tǒng)通過(guò)模擬黑客攻擊的方式對(duì)目標(biāo)可能存在的已知安全漏洞進(jìn)行逐項(xiàng)檢測(cè),在完成對(duì)目標(biāo)的掃描后,給出掃描報(bào)告,從而幫助民警快速、及時(shí)地查看網(wǎng)絡(luò)的安全狀況，該系統(tǒng)應(yīng)用專(zhuān)業(yè)技術(shù)有效地提高了系統(tǒng)擴(kuò)展性,為系統(tǒng)對(duì)新漏洞的檢測(cè)提供了支撐。系統(tǒng)除了本身的功能模塊和相關(guān)組件,也給出了主要漏洞掃描的驗(yàn)證，通過(guò)測(cè)試證實(shí),證明系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)方案的有效性。4、系統(tǒng)總體結(jié)構(gòu)和邏輯結(jié)構(gòu)4.2、系統(tǒng)邏輯結(jié)構(gòu)

第四章 本期項(xiàng)目設(shè)計(jì)方案1、建設(shè)目標(biāo)、規(guī)模與內(nèi)容1.1、建設(shè)目標(biāo)按照業(yè)務(wù)工作的要求，并結(jié)合本地實(shí)際情況，開(kāi)展互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)建設(shè)工作。提升部門(mén)對(duì)互聯(lián)網(wǎng)網(wǎng)絡(luò)資產(chǎn)和漏洞資源掌握利用的能力，為部門(mén)和其他警種提供有效的實(shí)戰(zhàn)支撐。實(shí)現(xiàn)監(jiān)查管理的流程化，依托系統(tǒng)建立流程化監(jiān)查管理體系，完善基礎(chǔ)信息的收集、核驗(yàn)；對(duì)采集接入數(shù)據(jù)進(jìn)行統(tǒng)一的針對(duì)質(zhì)量、標(biāo)準(zhǔn)化的預(yù)處理機(jī)制；建立統(tǒng)一的數(shù)據(jù)存儲(chǔ)方案；并且對(duì)數(shù)據(jù)進(jìn)行有效的統(tǒng)計(jì)工作。實(shí)現(xiàn)實(shí)戰(zhàn)化應(yīng)用，以服務(wù)實(shí)戰(zhàn)為導(dǎo)向，通過(guò)互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)建立服務(wù)實(shí)戰(zhàn)數(shù)據(jù)資源支撐體系，緊緊圍繞相關(guān)需求，研發(fā)實(shí)戰(zhàn)應(yīng)用模塊。1.2、建設(shè)規(guī)模擬計(jì)劃針對(duì)全球互聯(lián)網(wǎng)IP進(jìn)行資產(chǎn)掃描，漏洞驗(yàn)證等相關(guān)符合技術(shù)偵查部門(mén)實(shí)戰(zhàn)業(yè)務(wù)需求的手段建設(shè)。1.3、建設(shè)內(nèi)容建設(shè)有可對(duì)全球主機(jī)開(kāi)放的端口進(jìn)行掃描、搜集、存儲(chǔ)、分析等等功能，查找已經(jīng)產(chǎn)生的可利用漏洞以及即將有可能產(chǎn)生的漏洞，并對(duì)漏洞加以利用、分析及預(yù)防?；ヂ?lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)通過(guò)對(duì)盲掃或者指定的IP段及端口進(jìn)行探測(cè)，掌握其范圍內(nèi)的應(yīng)用系統(tǒng)、網(wǎng)絡(luò)設(shè)備、主機(jī)設(shè)備的存活情況、開(kāi)放端口、組件信息、服務(wù)信息，并通過(guò)周期性監(jiān)控，及時(shí)發(fā)現(xiàn)信息變化，做到對(duì)目前全球大環(huán)境下的網(wǎng)絡(luò)情況心中有數(shù)。系統(tǒng)可以針對(duì)目標(biāo)網(wǎng)絡(luò)設(shè)備的資產(chǎn)信息和漏洞信息，進(jìn)行數(shù)據(jù)統(tǒng)計(jì)和趨勢(shì)分析，從宏觀(guān)上展現(xiàn)網(wǎng)絡(luò)資產(chǎn)和風(fēng)險(xiǎn)情況，及其變化趨勢(shì)。同時(shí)，用戶(hù)可以根據(jù)需求選擇數(shù)據(jù)統(tǒng)計(jì)和分析的不同維度，進(jìn)行自定義的數(shù)據(jù)挖掘。2、標(biāo)準(zhǔn)規(guī)范建設(shè)內(nèi)容2.1、項(xiàng)目建設(shè)標(biāo)準(zhǔn)統(tǒng)一規(guī)劃、分步實(shí)施立足于實(shí)際應(yīng)用和發(fā)展要求，從全局出發(fā)，統(tǒng)一進(jìn)行方案整體規(guī)劃、設(shè)計(jì)，并分步開(kāi)展實(shí)施。兼容性、適應(yīng)性在總體框架下，充分發(fā)揮規(guī)模、集約效應(yīng)，充分遵循部委、省廳制定的標(biāo)準(zhǔn)和規(guī)范，確保良好的適應(yīng)性。完整性系統(tǒng)提供體系完備、功能完整、架構(gòu)完善的服務(wù)能力，包括網(wǎng)絡(luò)服務(wù)、虛擬主機(jī)、分布式數(shù)據(jù)庫(kù)、對(duì)象存儲(chǔ)服務(wù)和大數(shù)據(jù)計(jì)算服務(wù)能力，應(yīng)滿(mǎn)足多節(jié)點(diǎn)內(nèi)系統(tǒng)的互聯(lián)互通和數(shù)據(jù)同步?？蓴U(kuò)展性系統(tǒng)應(yīng)具有靈活的結(jié)構(gòu)并留有合理的擴(kuò)充余地，具備基礎(chǔ)資源池的快速、彈性、持續(xù)和自動(dòng)化供給服務(wù)能力，提供大規(guī)模、分布式集群的管控能力，通過(guò)增加物理設(shè)備，實(shí)現(xiàn)總體網(wǎng)絡(luò)資源、計(jì)算/存儲(chǔ)資源、內(nèi)存資源和數(shù)據(jù)庫(kù)資源的自動(dòng)擴(kuò)展；提供橫向擴(kuò)展能力，可根據(jù)業(yè)務(wù)、管理要求，增加節(jié)點(diǎn)。安全性系統(tǒng)要具有高可靠性及強(qiáng)大的容錯(cuò)能力，應(yīng)保持一定數(shù)量的冗余以保證整體平臺(tái)的高可靠性和高可用性；嚴(yán)格按照國(guó)家關(guān)于信息安全的規(guī)定和要求。結(jié)合安全基礎(chǔ)防護(hù)、安全監(jiān)測(cè)管理、安全運(yùn)維等，形成完整的安全防護(hù)體系。技術(shù)領(lǐng)先性系統(tǒng)應(yīng)采用虛擬化、大數(shù)據(jù)、云計(jì)算等行業(yè)領(lǐng)先技術(shù)以滿(mǎn)足用戶(hù)復(fù)雜業(yè)務(wù)需求，采用先進(jìn)的設(shè)計(jì)思想和方法，成熟開(kāi)源技術(shù)，符合技術(shù)發(fā)展趨勢(shì)，創(chuàng)新互動(dòng)設(shè)計(jì)。開(kāi)放性支持異構(gòu)平臺(tái)，兼容主流硬件產(chǎn)品；基于應(yīng)用開(kāi)發(fā)平臺(tái)以服務(wù)接口的方式提供服務(wù)，可以和第三方軟件產(chǎn)品集成、兼容，便于有技術(shù)能力的工作人員或者開(kāi)發(fā)人員快速實(shí)現(xiàn)基于服務(wù)接口的實(shí)戰(zhàn)型小應(yīng)用開(kāi)發(fā)、搭建。2.2、項(xiàng)目先進(jìn)性標(biāo)準(zhǔn)安全可靠具備必要的安全保護(hù)和保密措施，以及對(duì)計(jì)算機(jī)犯罪和病毒的防范能力。適應(yīng)性、可擴(kuò)展性系統(tǒng)必須具備較好的可擴(kuò)展性，適應(yīng)業(yè)務(wù)的發(fā)展，通過(guò)良好的架構(gòu)設(shè)計(jì)和系統(tǒng)配置管理，保證系統(tǒng)的適應(yīng)性。實(shí)用性在設(shè)計(jì)和開(kāi)發(fā)過(guò)程中，本著“以需求為導(dǎo)向”的原則，避免為了集中而集中。先進(jìn)性在保證實(shí)用、可靠的前提下，結(jié)合業(yè)界先進(jìn)的設(shè)計(jì)思想和軟件技術(shù)、數(shù)據(jù)庫(kù)技術(shù)。高效性系統(tǒng)負(fù)責(zé)處理所有數(shù)據(jù)的清洗入庫(kù)、服務(wù)調(diào)度等工作。必須具有很高的響應(yīng)能力。易管理系統(tǒng)在投入使用后，需要進(jìn)行運(yùn)行維護(hù)和管理，管理操作必須簡(jiǎn)潔易用。3、信息資源規(guī)劃和數(shù)據(jù)庫(kù)設(shè)計(jì)3.1、信息資源規(guī)劃在建設(shè)互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)時(shí)，可以采取“從上自下”、“從下而上”或“上下結(jié)合”的方式進(jìn)行信息資源規(guī)劃。1.從上自下。從的應(yīng)用需求出發(fā)，通過(guò)分析建設(shè)互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)來(lái)解決什么問(wèn)題，從而歸納出需要從該系統(tǒng)中獲取哪方面的知識(shí)，然而倒推出該系統(tǒng)的信息體系結(jié)構(gòu)和數(shù)據(jù)體系結(jié)構(gòu)。2.從下而上。從現(xiàn)有的數(shù)據(jù)資源出發(fā)，分析所能獲得的數(shù)據(jù)資源，歸納整理出互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)的數(shù)據(jù)體系結(jié)構(gòu)，再往上推出該系統(tǒng)的信息體系結(jié)構(gòu)和知識(shí)體系結(jié)構(gòu)。3.上下結(jié)合。既考慮所能獲得的數(shù)據(jù)資源，又考慮業(yè)務(wù)對(duì)互聯(lián)網(wǎng)資產(chǎn)信息采集監(jiān)測(cè)系統(tǒng)的應(yīng)用需求。3.2、數(shù)據(jù)庫(kù)設(shè)計(jì)數(shù)據(jù)庫(kù)設(shè)計(jì)總體規(guī)劃包括源數(shù)據(jù)層、數(shù)據(jù)ETL層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)計(jì)算層和數(shù)據(jù)服務(wù)層五層結(jié)構(gòu)，主要建設(shè)八大部分的內(nèi)容：源數(shù)據(jù)接入整合、數(shù)據(jù)整合ETL工具、基礎(chǔ)數(shù)據(jù)資源庫(kù)、應(yīng)用服務(wù)資源庫(kù)、云文件中心、數(shù)據(jù)管理、數(shù)據(jù)計(jì)算和數(shù)據(jù)服務(wù)?；A(chǔ)匯集庫(kù)：保存全量的基礎(chǔ)數(shù)據(jù)，全系統(tǒng)所有數(shù)據(jù)資源最終匯集于此。總體建成后，整個(gè)體系架構(gòu)支持萬(wàn)億（FB級(jí)別）規(guī)模的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)訪(fǎng)問(wèn)，主要用于離線(xiàn)分析和查詢(xún)。應(yīng)用服務(wù)資源庫(kù)包括：主題庫(kù)、基礎(chǔ)調(diào)研庫(kù)、業(yè)務(wù)專(zhuān)題庫(kù)、索引數(shù)據(jù)庫(kù)、緩存數(shù)據(jù)庫(kù)、應(yīng)用配置庫(kù)、應(yīng)用日志庫(kù)、個(gè)人關(guān)注庫(kù)、統(tǒng)計(jì)數(shù)據(jù)庫(kù)、分析關(guān)聯(lián)庫(kù)、中間結(jié)果庫(kù)等。?主題庫(kù)：以基礎(chǔ)匯集庫(kù)、基礎(chǔ)調(diào)研庫(kù)、業(yè)務(wù)專(zhuān)題庫(kù)為數(shù)據(jù)來(lái)源,主要用于在線(xiàn)分析和查詢(xún)。?基礎(chǔ)調(diào)研庫(kù)：在業(yè)務(wù)工作中累計(jì)的，針對(duì)特定群體或課題，未成為專(zhuān)案專(zhuān)項(xiàng)人員目標(biāo)的數(shù)據(jù)，主要由業(yè)務(wù)干部手工錄入。?業(yè)務(wù)專(zhuān)題庫(kù)：主要包括主要業(yè)務(wù)部門(mén)分別提供的簡(jiǎn)項(xiàng)降密之后的業(yè)務(wù)數(shù)據(jù)、組織的要素?cái)?shù)據(jù)，主要由業(yè)務(wù)部門(mén)從專(zhuān)用數(shù)據(jù)庫(kù)系統(tǒng)中篩選后手工擺渡至系統(tǒng)。?索引數(shù)據(jù)庫(kù)：基于基礎(chǔ)匯集庫(kù)、基礎(chǔ)調(diào)研庫(kù)、業(yè)務(wù)專(zhuān)題庫(kù)、主題庫(kù)、云文件中心等抽取提煉的全文索引。?緩存數(shù)據(jù)庫(kù)：主要是用戶(hù)進(jìn)行海量數(shù)據(jù)分析操作時(shí)的數(shù)據(jù)暫存平臺(tái)和大數(shù)據(jù)計(jì)算平臺(tái)。?應(yīng)用配置庫(kù)：應(yīng)用功能的相關(guān)配置信息，包括：用戶(hù)、權(quán)限、各類(lèi)標(biāo)準(zhǔn)參數(shù)、數(shù)據(jù)資源列表等。?應(yīng)用日志庫(kù)：應(yīng)用和數(shù)據(jù)的操作日志存儲(chǔ)。數(shù)據(jù)管理可以統(tǒng)一管理整個(gè)數(shù)據(jù)中心，包括：數(shù)據(jù)整合管理、數(shù)據(jù)資源監(jiān)控、數(shù)據(jù)資源統(tǒng)計(jì)報(bào)表、數(shù)據(jù)質(zhì)量管理等。4、應(yīng)用支撐系統(tǒng)設(shè)計(jì)系統(tǒng)掃描節(jié)點(diǎn)使用大量VPS，VPS（VirtualPrivateServer虛擬專(zhuān)用服務(wù)器）技術(shù)，將一臺(tái)服務(wù)器分割成多個(gè)虛擬專(zhuān)享服務(wù)器的優(yōu)質(zhì)服務(wù)。實(shí)現(xiàn)VPS的技術(shù)分為容器技術(shù)，和虛擬化技術(shù)。在容器或虛擬機(jī)中，每個(gè)VPS都可分配獨(dú)立公網(wǎng)IP地址、獨(dú)立操作系統(tǒng)、實(shí)現(xiàn)不同VPS間磁盤(pán)空間、內(nèi)存、CPU資源、進(jìn)程和系統(tǒng)配置的隔離，為用戶(hù)和應(yīng)用程序模擬出“獨(dú)占”使用計(jì)算資源的體驗(yàn)。VPS可以像獨(dú)立服務(wù)器一樣，重裝操作系統(tǒng)，安裝程序，單獨(dú)重啟服務(wù)器。IDC資源租用，由VPS提供商提供。不同VPS提供商所使用的硬件VPS軟件的差異。這些VPS主機(jī)以最大化的效率共享硬件、軟件許可證以及管理資源。每個(gè)VPS主機(jī)都可分配獨(dú)立公網(wǎng)IP地址、獨(dú)立操作系統(tǒng)、獨(dú)立超大空間、獨(dú)立內(nèi)存、獨(dú)立CPU資源、獨(dú)立執(zhí)行程序和獨(dú)立系統(tǒng)配置等.VPS主機(jī)用戶(hù)除了可以分配多個(gè)虛擬主機(jī)及無(wú)限企業(yè)郵箱外，更具有獨(dú)立主機(jī)功能,可自行安裝程序，單獨(dú)重啟主機(jī)。5、應(yīng)用系統(tǒng)設(shè)計(jì)5.1、資產(chǎn)識(shí)別系統(tǒng)綜合運(yùn)用多種手段，準(zhǔn)確、快速的發(fā)現(xiàn)目標(biāo)中存活的網(wǎng)絡(luò)設(shè)備，準(zhǔn)確識(shí)別其相關(guān)屬性：開(kāi)放端口、提供服務(wù)、設(shè)備類(lèi)型和廠(chǎng)商、使用組件名稱(chēng)和版本。可探測(cè)的網(wǎng)絡(luò)設(shè)備類(lèi)型包括：路由器、交換機(jī)、郵件服務(wù)器、網(wǎng)站服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器、防火墻、打印設(shè)備、攝像頭設(shè)備等。可探測(cè)的組件包括：Apache（Web容器）、IIS（Web容器）、WordPress（博客系統(tǒng)）、Discuz（論壇系統(tǒng)）、Mysql（數(shù)據(jù)庫(kù)）等。同時(shí)，系統(tǒng)能夠?qū)⒕W(wǎng)絡(luò)資產(chǎn)的自有屬性（資產(chǎn)所屬部門(mén)和重要性等屬性）與信息普查結(jié)果進(jìn)行融合，管理收集與主動(dòng)采集兩個(gè)手段相配合，為技術(shù)偵查部門(mén)提供基礎(chǔ)數(shù)據(jù)資源。具體資產(chǎn)類(lèi)型分類(lèi)：WEB服務(wù)容器信息WEB應(yīng)用類(lèi)型信息：如CMS，ERP，OA等主機(jī)資產(chǎn)指紋信息端口信息協(xié)議信息IoT設(shè)備信息網(wǎng)絡(luò)攝像頭信息網(wǎng)絡(luò)設(shè)備指紋信息網(wǎng)絡(luò)資產(chǎn)IP信息地理位置信息5.2、資產(chǎn)查詢(xún)?yōu)榱藢?duì)數(shù)據(jù)進(jìn)行有效處理和查詢(xún)，對(duì)數(shù)據(jù)進(jìn)行了數(shù)據(jù)預(yù)處理，刪除無(wú)效及重復(fù)數(shù)據(jù)，根據(jù)預(yù)處理后的數(shù)據(jù)進(jìn)行逐條解析并歸一化，最后存儲(chǔ)至數(shù)據(jù)庫(kù)。數(shù)據(jù)存儲(chǔ)使用ElasticSearch數(shù)據(jù)庫(kù)，存儲(chǔ)大量數(shù)據(jù)，采用多臺(tái)機(jī)器進(jìn)行分布式集群部署。為了保證數(shù)據(jù)的可靠性和安全性，數(shù)據(jù)存儲(chǔ)的同時(shí)創(chuàng)建備份，進(jìn)行準(zhǔn)備切換。也提高了查詢(xún)的性能。提供API接口，方便用戶(hù)能夠自動(dòng)化對(duì)接。5.3、資產(chǎn)數(shù)據(jù)分析挖掘系統(tǒng)可以針對(duì)目標(biāo)網(wǎng)絡(luò)設(shè)備的資產(chǎn)信息和漏洞信息，進(jìn)行數(shù)據(jù)統(tǒng)計(jì)和趨勢(shì)分析，從宏觀(guān)上展現(xiàn)網(wǎng)絡(luò)資產(chǎn)和風(fēng)險(xiǎn)情況，及其變化趨勢(shì)。同時(shí)，用戶(hù)可以根據(jù)需求選擇數(shù)據(jù)統(tǒng)計(jì)和分析的不同維度，進(jìn)行自定義的數(shù)據(jù)挖掘。5.4、業(yè)務(wù)領(lǐng)先的資產(chǎn)指紋識(shí)別能力系統(tǒng)依賴(lài)于自主研發(fā)的組件識(shí)別調(diào)度框架、高效的組件識(shí)別引擎和海量精準(zhǔn)的組件指紋庫(kù)，并輔以不斷更新組件指紋庫(kù)的常態(tài)機(jī)制，保證系統(tǒng)的組件識(shí)別能力始終處于業(yè)界領(lǐng)先水平。5.5、準(zhǔn)確的資產(chǎn)與漏洞檢測(cè)能力每當(dāng)有新漏洞爆發(fā)，產(chǎn)品背后的安全團(tuán)隊(duì)會(huì)及時(shí)對(duì)漏洞進(jìn)行分析與研究，掌握漏洞危害、驗(yàn)證方法以及修復(fù)措施，將信息整合推送至產(chǎn)品，保證產(chǎn)品對(duì)最新漏洞的響應(yīng)速度。漏洞檢測(cè)是基于已經(jīng)發(fā)現(xiàn)的資產(chǎn)信息進(jìn)行針對(duì)性的檢測(cè)，根據(jù)資產(chǎn)類(lèi)型選擇適用性的檢測(cè)策略，保證了整個(gè)檢測(cè)過(guò)程的快速性。漏洞檢測(cè)是通過(guò)漏洞特定驗(yàn)證工具來(lái)實(shí)現(xiàn)的，每個(gè)漏洞對(duì)應(yīng)了一個(gè)特定的漏洞驗(yàn)證工具，漏洞存在時(shí)會(huì)展示漏洞驗(yàn)證的取證信息，保證了漏洞檢測(cè)準(zhǔn)確率高達(dá)99%。5.6、獨(dú)有掃描機(jī)制在對(duì)安全設(shè)備進(jìn)行掃描時(shí)，一般掃描系統(tǒng)會(huì)依據(jù)IP地址進(jìn)行按序掃描，而一些安全設(shè)備通常具有防掃描機(jī)制，會(huì)根據(jù)掃描的順序性來(lái)判斷，如果單一IP請(qǐng)求過(guò)于頻繁且?guī)в幸欢ㄒ?guī)則性，則容易被判定為掃描行為或攻擊行為，后續(xù)的連接請(qǐng)求將會(huì)被阻斷，這將會(huì)影響掃描結(jié)果。而本系統(tǒng)進(jìn)行掃描時(shí)，會(huì)將IP列表進(jìn)行拆分，打亂順序進(jìn)行掃描，掃描完成后將再次重新排列組合，避免被防掃描安全設(shè)備防御機(jī)制所阻斷，大大提高了掃描成功率。5.7、系統(tǒng)抓取分析技術(shù)系統(tǒng)使用了基于正則匹配、動(dòng)態(tài)文檔結(jié)構(gòu)、動(dòng)態(tài)腳本解析等技術(shù)來(lái)訪(fǎng)問(wèn)各種應(yīng)用系統(tǒng)，從而在目標(biāo)信息收集中不會(huì)出現(xiàn)系統(tǒng)地址及參數(shù)遺漏、解析錯(cuò)誤等問(wèn)題，確保了信息收集時(shí)數(shù)據(jù)的完整性。獨(dú)有的基于智能指紋識(shí)匹配算法，能夠準(zhǔn)確識(shí)別各種類(lèi)型系統(tǒng)的信息，避免與其他應(yīng)用程序出現(xiàn)的誤報(bào)現(xiàn)象。6、數(shù)據(jù)處理和存儲(chǔ)系統(tǒng)設(shè)計(jì)6.1、數(shù)據(jù)處理設(shè)計(jì)6.1.1離線(xiàn)計(jì)算Mapreduce1）數(shù)據(jù)劃分和計(jì)算任務(wù)調(diào)度：系統(tǒng)自動(dòng)將一個(gè)作業(yè)（Job）待處理的大數(shù)據(jù)劃分為很多個(gè)數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊對(duì)應(yīng)于一個(gè)計(jì)算任務(wù)（Task），并自動(dòng)調(diào)度計(jì)算節(jié)點(diǎn)來(lái)處理相應(yīng)的數(shù)據(jù)塊。作業(yè)和任務(wù)調(diào)度功能主要負(fù)責(zé)分配和調(diào)度計(jì)算節(jié)點(diǎn)（Map節(jié)點(diǎn)或Reduce節(jié)點(diǎn)），同時(shí)負(fù)責(zé)監(jiān)控這些節(jié)點(diǎn)的執(zhí)行狀態(tài)，并負(fù)責(zé)Map節(jié)點(diǎn)執(zhí)行的同步控制。2）數(shù)據(jù)/代碼互定位：為了減少數(shù)據(jù)通信，一個(gè)基本原則是本地化數(shù)據(jù)處理，即一個(gè)計(jì)算節(jié)點(diǎn)盡可能處理其本地磁盤(pán)上所分布存儲(chǔ)的數(shù)據(jù)，這實(shí)現(xiàn)了代碼向數(shù)據(jù)的遷移；當(dāng)無(wú)法進(jìn)行這種本地化數(shù)據(jù)處理時(shí)，再尋找其他可用節(jié)點(diǎn)并將數(shù)據(jù)從網(wǎng)絡(luò)上傳送給該節(jié)點(diǎn)（數(shù)據(jù)向代碼遷移），但將盡可能從數(shù)據(jù)所在的本地機(jī)架上尋找可用節(jié)點(diǎn)以減少通信延遲。3）系統(tǒng)優(yōu)化：為了減少數(shù)據(jù)通信開(kāi)銷(xiāo)，中間結(jié)果數(shù)據(jù)進(jìn)入Reduce節(jié)點(diǎn)前會(huì)進(jìn)行一定的合并處理；一個(gè)Reduce節(jié)點(diǎn)所處理的數(shù)據(jù)可能會(huì)來(lái)自多個(gè)Map節(jié)點(diǎn)，為了避免Reduce計(jì)算階段發(fā)生數(shù)據(jù)相關(guān)性，Map節(jié)點(diǎn)輸出的中間結(jié)果需使用一定的策略進(jìn)行適當(dāng)?shù)膭澐痔幚?，保證相關(guān)性數(shù)據(jù)發(fā)送到同一個(gè)Reduce節(jié)點(diǎn)；此外，系統(tǒng)還進(jìn)行一些計(jì)算性能優(yōu)化處理，如對(duì)最慢的計(jì)算任務(wù)采用多備份執(zhí)行、選最快完成者作為結(jié)果。4）出錯(cuò)檢測(cè)和恢復(fù)：在大規(guī)模MapReduce計(jì)算集群中，節(jié)點(diǎn)硬件（主機(jī)、磁盤(pán)、內(nèi)存等）出錯(cuò)和軟件出錯(cuò)是常態(tài)，因此MapReduce需要能檢測(cè)并隔離出錯(cuò)節(jié)點(diǎn)，并調(diào)度分配新的節(jié)點(diǎn)接管出錯(cuò)節(jié)點(diǎn)的計(jì)算任務(wù)。同時(shí)，系統(tǒng)還將維護(hù)數(shù)據(jù)存儲(chǔ)的可靠性，用多備份冗余存儲(chǔ)機(jī)制提高數(shù)據(jù)存儲(chǔ)的可靠性，并能及時(shí)檢測(cè)和恢復(fù)出錯(cuò)的數(shù)據(jù)。Spark構(gòu)建在Spark上處理Stream數(shù)據(jù)的框架，是將Stream數(shù)據(jù)分成小的時(shí)間片斷（幾秒），以類(lèi)似batch批量處理的方式來(lái)處理這小部分?jǐn)?shù)據(jù)。SparkStreaming構(gòu)建在Spark上，一方面是因?yàn)镾park的低延遲執(zhí)行引擎（100ms+），雖然比不上專(zhuān)門(mén)的流式數(shù)據(jù)處理軟件，也可以用于實(shí)時(shí)計(jì)算，另一方面相比基于Record的其它處理框架（如Storm），一部分窄依賴(lài)的RDD數(shù)據(jù)集可以從源數(shù)據(jù)重新計(jì)算達(dá)到容錯(cuò)處理目的。此外小批量處理的方式使得它可以同時(shí)兼容批量和實(shí)時(shí)數(shù)據(jù)處理的邏輯和算法。方便了一些需要?dú)v史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)聯(lián)合分析的特定應(yīng)用場(chǎng)合。6.1.2流式實(shí)時(shí)計(jì)算StormStorm是個(gè)實(shí)時(shí)的、分布式以及具備高容錯(cuò)的計(jì)算系統(tǒng)。同Hadoop一樣Storm也可以處理大批量的數(shù)據(jù)，然而Storm在保證高可靠性的前提下還可以讓處理進(jìn)行的更加實(shí)時(shí)；也就是說(shuō)，所有的信息都會(huì)被處理。Storm同樣還具備容錯(cuò)和分布計(jì)算這些特性，這就讓Storm可以擴(kuò)展到不同的機(jī)器上進(jìn)行大批量的數(shù)據(jù)處理。SparkStreamingSparkStreaming是核心SparkAPI的一個(gè)擴(kuò)展，它并不會(huì)像Storm那樣一次一個(gè)地處理數(shù)據(jù)流，而是在處理前按時(shí)間間隔預(yù)先將其切分為一段一段的批處理作業(yè)。Spark針對(duì)持續(xù)性數(shù)據(jù)流的抽象稱(chēng)為DStream（DiscretizedStream），一個(gè)DStream是一個(gè)微批處理（micro-batching）的RDD（彈性分布式數(shù)據(jù)集）；而RDD則是一種分布式數(shù)據(jù)集，能夠以?xún)煞N方式并行運(yùn)作，分別是任意函數(shù)和滑動(dòng)窗口數(shù)據(jù)的轉(zhuǎn)換。6.1.3查詢(xún)分析采用Hive算法，作為一個(gè)分布式、按列存儲(chǔ)的數(shù)據(jù)倉(cāng)庫(kù)，管理HDFS中存儲(chǔ)的數(shù)據(jù)，并提供基于SQL的查詢(xún)語(yǔ)言（由運(yùn)行時(shí)引起翻譯成MapReduce作業(yè)）用以查詢(xún)數(shù)據(jù)。6.1.4數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)面向Hadoop的機(jī)器學(xué)習(xí)。用于預(yù)測(cè)分析和其他高級(jí)分析。

Mahout

是一個(gè)很強(qiáng)大的數(shù)據(jù)挖掘工具，是一個(gè)分布式機(jī)器學(xué)習(xí)算法的集合，包括：被稱(chēng)為T(mén)aste的分布式協(xié)同過(guò)濾的實(shí)現(xiàn)、分類(lèi)、聚類(lèi)等。Mahout最大的優(yōu)點(diǎn)就是基于hadoop實(shí)現(xiàn)，把很多以前運(yùn)行于單機(jī)上的算法，轉(zhuǎn)化為了MapReduce模式，這樣大大提升了算法可處理的數(shù)據(jù)量和處理性能。包含算法有：算法類(lèi)算法名分類(lèi)算法LogisticRegression邏輯回歸Bayesian貝葉斯SVM支持向量機(jī)Perceptron感知器算法NeuralNetwork神經(jīng)網(wǎng)絡(luò)RandomForests隨機(jī)森林RestrictedBoltzmannMachines有限波爾茲曼機(jī)聚類(lèi)算法CanopyClusteringCanopy聚類(lèi)K-meansClusteringK均值算法FuzzyK-means模糊K均值ExpectationMaximizationEM聚類(lèi)（期望最大化聚類(lèi)）MeanShiftClustering均值漂移聚類(lèi)HierarchicalClustering層次聚類(lèi)DirichletProcessClustering狄里克雷過(guò)程聚類(lèi)LatentDirichletAllocationLDA聚類(lèi)SpectralClustering譜聚類(lèi)關(guān)聯(lián)規(guī)則挖掘ParallelFPGrowthAlgorithm并行FPGrowth算法回歸LocallyWeightedLinearRegression局部加權(quán)線(xiàn)性回歸降維/維約簡(jiǎn)SingularValueDecomposition奇異值分解PrincipalComponentsAnalysis主成分分析IndependentComponentAnalysis獨(dú)立成分分析GaussianDiscriminativeAnalysis高斯判別分析進(jìn)化算法并行化了Watchmaker框架

推薦/協(xié)同過(guò)濾Non-distributedrecommendersTaste(UserCF,ItemCF,SlopeOne）DistributedRecommendersItemCF向量相似度計(jì)算RowSimilarityJob計(jì)算列間相似度VectorDistanceJob計(jì)算向量間距離非Map-Reduce算法HiddenMarkovModels隱馬爾科夫模型集合方法擴(kuò)展Collections擴(kuò)展了java的Collections類(lèi)6.2、數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)HDFS文件系統(tǒng)存儲(chǔ)Hadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodityhardware)上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。但同時(shí)，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪(fǎng)問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS放寬了一部分POSIX約束，來(lái)實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS在最開(kāi)始是作為ApacheNutch搜索引擎項(xiàng)目的基礎(chǔ)架構(gòu)而開(kāi)發(fā)的。HDFS是ApacheHadoopCore項(xiàng)目的一部分。HDFS有著高容錯(cuò)性（fault-tolerant）的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（highthroughput）來(lái)訪(fǎng)問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以實(shí)現(xiàn)流的形式訪(fǎng)問(wèn)（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。特點(diǎn)和目標(biāo)硬件故障硬件故障是常態(tài)，而不是異常。整個(gè)HDFS系統(tǒng)將由數(shù)百或數(shù)千個(gè)存儲(chǔ)著文件數(shù)據(jù)片斷的服務(wù)器組成。實(shí)際上它里面有非常巨大的組成部分，每一個(gè)組成部分都很可能出現(xiàn)故障，這就意味著HDFS里的總是有一些部件是失效的，因此，故障的檢測(cè)和自動(dòng)快速恢復(fù)是HDFS一個(gè)很核心的設(shè)計(jì)目標(biāo)。數(shù)據(jù)訪(fǎng)問(wèn)運(yùn)行在HDFS之上的應(yīng)用程序必須流式地訪(fǎng)問(wèn)它們的數(shù)據(jù)集，它不是運(yùn)行在普通文件系統(tǒng)之上的普通程序。HDFS被設(shè)計(jì)成適合批量處理的，而不是用戶(hù)交互式的。重點(diǎn)是在數(shù)據(jù)吞吐量，而不是數(shù)據(jù)訪(fǎng)問(wèn)的反應(yīng)時(shí)間，POSIX的很多硬性需求對(duì)于HDFS應(yīng)用都是非必須的，去掉POSIX一小部分關(guān)鍵語(yǔ)義可以獲得更好的數(shù)據(jù)吞吐率。大數(shù)據(jù)集運(yùn)行在HDFS之上的程序有很大量的數(shù)據(jù)集。典型的HDFS文件大小是GB到TB的級(jí)別。所以，HDFS被調(diào)整成支持大文件。它應(yīng)該提供很高的聚合數(shù)據(jù)帶寬，一個(gè)集群中支持?jǐn)?shù)百個(gè)節(jié)點(diǎn)，一個(gè)集群中還應(yīng)該支持千萬(wàn)級(jí)別的文件。簡(jiǎn)單一致性模型大部分的HDFS程序?qū)ξ募僮餍枰氖且淮螌?xiě)多次讀取的操作模式。一個(gè)文件一旦創(chuàng)建、寫(xiě)入、關(guān)閉之后就不需要修改了。這個(gè)假定簡(jiǎn)單化了數(shù)據(jù)一致的問(wèn)題，并使高吞吐量的數(shù)據(jù)訪(fǎng)問(wèn)變得可能。一個(gè)Map-Reduce程序或者網(wǎng)絡(luò)爬蟲(chóng)程序都可以完美地適合這個(gè)模型。移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更經(jīng)濟(jì)在靠近計(jì)算數(shù)據(jù)所存儲(chǔ)的位置來(lái)進(jìn)行計(jì)算是最理想的狀態(tài)，尤其是在數(shù)據(jù)集特別巨大的時(shí)候。這樣消除了網(wǎng)絡(luò)的擁堵，提高了系統(tǒng)的整體吞吐量。一個(gè)假定就是遷移計(jì)算到離數(shù)據(jù)更近的位置比將數(shù)據(jù)移動(dòng)到程序運(yùn)行更近的位置要更好。HDFS提供了接口，來(lái)讓程序?qū)⒆约阂苿?dòng)到離數(shù)據(jù)存儲(chǔ)更近的位置。異構(gòu)軟硬件平臺(tái)間的可移植性HDFS被設(shè)計(jì)成可以簡(jiǎn)便地實(shí)現(xiàn)平臺(tái)間的遷移，這將推動(dòng)需要大數(shù)據(jù)集的應(yīng)用更廣泛地采用HDFS作為平臺(tái)。名字節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)HDFS是一個(gè)主從結(jié)構(gòu)，一個(gè)HDFS集群是由一個(gè)名字節(jié)點(diǎn)，它是一個(gè)管理文件命名空間和調(diào)節(jié)客戶(hù)端訪(fǎng)問(wèn)文件的主服務(wù)器，當(dāng)然還有一些數(shù)據(jù)節(jié)點(diǎn)，通常是一個(gè)節(jié)點(diǎn)一個(gè)機(jī)器，它來(lái)管理對(duì)應(yīng)節(jié)點(diǎn)的存儲(chǔ)。HDFS對(duì)外開(kāi)放文件命名空間并允許用戶(hù)數(shù)據(jù)以文件形式存儲(chǔ)。內(nèi)部機(jī)制是將一個(gè)文件分割成一個(gè)或多個(gè)塊，這些塊被存儲(chǔ)在一組數(shù)據(jù)節(jié)點(diǎn)中。名字節(jié)點(diǎn)用來(lái)操作文件命名空間的文件或目錄操作，如打開(kāi)，關(guān)閉，重命名等等。它同時(shí)確定塊與數(shù)據(jù)節(jié)點(diǎn)的映射。數(shù)據(jù)節(jié)點(diǎn)負(fù)責(zé)來(lái)自文件系統(tǒng)客戶(hù)的讀寫(xiě)請(qǐng)求。數(shù)據(jù)節(jié)點(diǎn)同時(shí)還要執(zhí)行塊的創(chuàng)建，刪除，和來(lái)自名字節(jié)點(diǎn)的塊復(fù)制指令。名字節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)都是運(yùn)行在普通的機(jī)器之上的軟件，機(jī)器典型的都是GNU/Linux，HDFS是用java編寫(xiě)的，任何支持java的機(jī)器都可以運(yùn)行名字節(jié)點(diǎn)或數(shù)據(jù)節(jié)點(diǎn)，利用java語(yǔ)言的超輕便型，很容易將HDFS部署到大范圍的機(jī)器上。典型的部署是由一個(gè)專(zhuān)門(mén)的機(jī)器來(lái)運(yùn)行名字節(jié)點(diǎn)軟件，集群中的其他每臺(tái)機(jī)器運(yùn)行一個(gè)數(shù)據(jù)節(jié)點(diǎn)實(shí)例。體系結(jié)構(gòu)不排斥在一個(gè)機(jī)器上運(yùn)行多個(gè)數(shù)據(jù)節(jié)點(diǎn)的實(shí)例，但是實(shí)際的部署不會(huì)有這種情況。集群中只有一個(gè)名字節(jié)點(diǎn)極大地簡(jiǎn)單化了系統(tǒng)的體系結(jié)構(gòu)。名字節(jié)點(diǎn)是仲裁者和所有HDFS元數(shù)據(jù)的倉(cāng)庫(kù)，用戶(hù)的實(shí)際數(shù)據(jù)不經(jīng)過(guò)名字節(jié)點(diǎn)。HBASE數(shù)據(jù)存儲(chǔ)HBase是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，該技術(shù)來(lái)源于FayChang所撰寫(xiě)的Google論文“Bigtable：一個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)（FileSystem）所提供的分布式數(shù)據(jù)存儲(chǔ)一樣，HBase在Hadoop之上提供了類(lèi)似于Bigtable的能力。HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目。HBase不同于一般的關(guān)系數(shù)據(jù)庫(kù)，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)。另一個(gè)不同的是HBase基于列的而不是基于行的模式。關(guān)系數(shù)據(jù)庫(kù)關(guān)系數(shù)據(jù)庫(kù)，是建立在關(guān)系數(shù)據(jù)庫(kù)模型基礎(chǔ)上的數(shù)據(jù)庫(kù)，借助于集合代數(shù)等概念和方法來(lái)處理數(shù)據(jù)庫(kù)中的數(shù)據(jù)，同時(shí)也是一個(gè)被組織成一組擁有正式描述性的表格，該形式的表格作用的實(shí)質(zhì)是裝載著數(shù)據(jù)項(xiàng)的特殊收集體，這些表格中的數(shù)據(jù)能以許多不同的方式被存取或重新召集而不需要重新組織數(shù)據(jù)庫(kù)表格。關(guān)系數(shù)據(jù)庫(kù)的定義造成元數(shù)據(jù)的一張表格或造成表格、列、范圍和約束的正式描述。每個(gè)表格（有時(shí)被稱(chēng)為一個(gè)關(guān)系）包含用列表示的一個(gè)或更多的數(shù)據(jù)種類(lèi)。每行包含一個(gè)唯一的數(shù)據(jù)實(shí)體，這些數(shù)據(jù)是被列定義的種類(lèi)。當(dāng)創(chuàng)造一個(gè)關(guān)系數(shù)據(jù)庫(kù)的時(shí)候，你能定義數(shù)據(jù)列的可能值的范圍和可能應(yīng)用于那個(gè)數(shù)據(jù)值的進(jìn)一步約束。而SQL語(yǔ)言是標(biāo)準(zhǔn)用戶(hù)和應(yīng)用程序到關(guān)系數(shù)據(jù)庫(kù)的接口。其優(yōu)勢(shì)是容易擴(kuò)充，且在最初的數(shù)據(jù)庫(kù)創(chuàng)造之后，一個(gè)新的數(shù)據(jù)種類(lèi)能被添加而不需要修改所有的現(xiàn)有應(yīng)用軟件。主流的關(guān)系數(shù)據(jù)庫(kù)有oracle、db2、sqlserver、sybase、mysql等。目前關(guān)系數(shù)據(jù)庫(kù)事數(shù)據(jù)庫(kù)應(yīng)用的主流，許多數(shù)據(jù)庫(kù)管理系統(tǒng)的數(shù)據(jù)模型都是基于關(guān)系數(shù)據(jù)模型開(kāi)發(fā)的。1）關(guān)系數(shù)據(jù)庫(kù)：在一個(gè)給定的應(yīng)用領(lǐng)域中，所有實(shí)體及實(shí)體之間聯(lián)系的集合構(gòu)成一個(gè)關(guān)系數(shù)據(jù)庫(kù)。2）關(guān)系數(shù)據(jù)庫(kù)的型與值：關(guān)系數(shù)據(jù)庫(kù)的型稱(chēng)為關(guān)系數(shù)據(jù)庫(kù)模式，是對(duì)關(guān)系數(shù)據(jù)庫(kù)的描述，若干域的定義，在這些域上定義的若干關(guān)系模式；關(guān)系數(shù)據(jù)庫(kù)的值是這些關(guān)系模式在某一時(shí)刻對(duì)應(yīng)的關(guān)系的集合，通常簡(jiǎn)稱(chēng)為關(guān)系數(shù)據(jù)庫(kù)。全文數(shù)據(jù)庫(kù)全文數(shù)據(jù)庫(kù)有許多特點(diǎn)，主要表現(xiàn)如下。①包含信息的原始性。庫(kù)中信息基本上是未加工的原始數(shù)據(jù)，因而具有客觀(guān)性。②信息檢索的徹底性。任何詞、句、字皆可檢索，還有可能看到某些邊緣性信息。③檢索語(yǔ)言的自然性?？墒褂米匀徽Z(yǔ)言檢索，并可使用布爾檢索和位置檢索，因而要涉及自然語(yǔ)言的理解。④數(shù)據(jù)結(jié)構(gòu)基本上是非結(jié)構(gòu)化的，除了某些可規(guī)范的數(shù)據(jù)外，大量文本屬于非結(jié)構(gòu)化的，不便于關(guān)系數(shù)據(jù)庫(kù)的處理。⑤專(zhuān)業(yè)的全文數(shù)據(jù)庫(kù)系統(tǒng)一般都采用“自動(dòng)切詞”技術(shù)⑥好的全文數(shù)據(jù)庫(kù)還備有知識(shí)庫(kù)，可具有推理能力和聯(lián)想式檢索。⑦基本上是封閉性的，數(shù)據(jù)不需更新，具有較大的穩(wěn)定性。7、終端系統(tǒng)及接口設(shè)計(jì)通用大數(shù)據(jù)服務(wù)接口提供給其他模塊或者系統(tǒng)使用的一種約定或者規(guī)范，接口設(shè)計(jì)遵循業(yè)界標(biāo)準(zhǔn)，保證接口性能良好。主要包括數(shù)據(jù)查詢(xún)、信息布控、數(shù)據(jù)下載、全文檢索、統(tǒng)計(jì)分析、GIS服務(wù)等服務(wù)接口，通過(guò)接口配置功能實(shí)現(xiàn)對(duì)基礎(chǔ)數(shù)據(jù)資源庫(kù)和應(yīng)用服務(wù)資源庫(kù)的訪(fǎng)問(wèn)。通過(guò)接口配置功能實(shí)現(xiàn)對(duì)基礎(chǔ)數(shù)據(jù)資源庫(kù)和應(yīng)用服務(wù)資源庫(kù)的訪(fǎng)問(wèn)，并能實(shí)現(xiàn)后期對(duì)上下級(jí)部門(mén)大數(shù)據(jù)平臺(tái)的對(duì)接。8、網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)通過(guò)用軟件定義網(wǎng)絡(luò)的方式，將物理網(wǎng)絡(luò)同邏輯網(wǎng)絡(luò)進(jìn)行有效的隔離，通過(guò)在虛擬層創(chuàng)建邏輯網(wǎng)絡(luò)來(lái)滿(mǎn)足虛擬化應(yīng)用和數(shù)據(jù)對(duì)敏捷性、性能和擴(kuò)展性的需求?？纱蠓?jiǎn)化操作、實(shí)現(xiàn)資源的高效利用和提高敏捷性，從而根據(jù)大數(shù)據(jù)中心上應(yīng)用部署需要進(jìn)行擴(kuò)展。架構(gòu)上采用“二級(jí)交換+三類(lèi)業(yè)務(wù)”的總體設(shè)計(jì)思路，即內(nèi)部集群局域網(wǎng)采用“核心+TOR接入”二級(jí)交換結(jié)構(gòu)，同時(shí)在網(wǎng)絡(luò)設(shè)備的部署時(shí)按照“業(yè)務(wù)、管理、存儲(chǔ)”三類(lèi)業(yè)務(wù)平面進(jìn)行隔離。一方面扁平化的二級(jí)網(wǎng)絡(luò)簡(jiǎn)化了設(shè)備層級(jí)和網(wǎng)絡(luò)結(jié)構(gòu)，另一方面業(yè)務(wù)隔離降低了業(yè)務(wù)之間的相互影響，減少了性能瓶頸，提高了網(wǎng)絡(luò)性能。虛擬網(wǎng)絡(luò)資源池通過(guò)可擴(kuò)展、即插即用可透過(guò)API來(lái)管理的網(wǎng)絡(luò)架構(gòu)的系統(tǒng)組件，確保在部署大數(shù)據(jù)中心的虛擬網(wǎng)絡(luò)資源池服務(wù)時(shí)，網(wǎng)絡(luò)服務(wù)可快速交付。虛擬網(wǎng)絡(luò)資源池管理組件支持標(biāo)準(zhǔn)接口，同時(shí)可在此基礎(chǔ)上運(yùn)用軟件定義網(wǎng)絡(luò)技術(shù)來(lái)打造大規(guī)模多租戶(hù)的網(wǎng)絡(luò)環(huán)境，包括虛擬路由器和虛擬交換機(jī)等。主要包括以下網(wǎng)絡(luò)資源池：云計(jì)算網(wǎng)絡(luò)資源池，承載業(yè)務(wù)服務(wù)器訪(fǎng)問(wèn)互聯(lián)網(wǎng)、專(zhuān)網(wǎng)以及各區(qū)域之間的業(yè)務(wù)互訪(fǎng)數(shù)據(jù)流、各區(qū)域業(yè)務(wù)服務(wù)器的備份數(shù)據(jù)流；提供云平臺(tái)及SDN控制器針對(duì)業(yè)務(wù)CORE、業(yè)務(wù)TOR以及核心防火墻下發(fā)配置的網(wǎng)絡(luò)平臺(tái)；此外還有用于承載大數(shù)據(jù)分析業(yè)務(wù)數(shù)據(jù)流量的大數(shù)據(jù)網(wǎng)絡(luò)資源池，以及平臺(tái)層及應(yīng)用層業(yè)務(wù)上線(xiàn)前進(jìn)行穩(wěn)定性、兼容性測(cè)試的業(yè)務(wù)開(kāi)發(fā)測(cè)試網(wǎng)絡(luò)資源池。網(wǎng)絡(luò)資源池技術(shù)要求1、網(wǎng)絡(luò)資源管理。平臺(tái)部署完成后，將能夠?qū)Υ髷?shù)據(jù)中心中的網(wǎng)絡(luò)資源進(jìn)行全面管理，包括邏輯網(wǎng)絡(luò)資源和物理網(wǎng)絡(luò)資源，邏輯網(wǎng)絡(luò)資源有子網(wǎng)資源、IP資源等，物理網(wǎng)絡(luò)資源有硬件交換機(jī)/防火墻等設(shè)備，支持監(jiān)控設(shè)備端口帶寬，租戶(hù)維度流量統(tǒng)計(jì)，虛機(jī)真實(shí)路徑探測(cè)等。平臺(tái)支持用戶(hù)通過(guò)界面進(jìn)行子網(wǎng)配置、IP申請(qǐng)、IP綁定等操作。支持平臺(tái)管理內(nèi)部網(wǎng)絡(luò)，還支持對(duì)接現(xiàn)有的網(wǎng)絡(luò)體系。2、網(wǎng)絡(luò)自動(dòng)隔離。平臺(tái)支持網(wǎng)絡(luò)的安全自動(dòng)化隔離，主要包含不同租戶(hù)或應(yīng)用的網(wǎng)絡(luò)隔離，通過(guò)自動(dòng)化配置防火墻功能實(shí)現(xiàn)應(yīng)用級(jí)別的安全隔離。10、備份系統(tǒng)設(shè)計(jì)數(shù)據(jù)的完整性和安全性是整個(gè)系統(tǒng)的核心，在不可抗拒的災(zāi)難發(fā)生后能保證數(shù)據(jù)的盡可能多的恢復(fù)是系統(tǒng)建設(shè)中必須考慮的，系統(tǒng)必須做好數(shù)據(jù)的防災(zāi)難備份恢復(fù)設(shè)計(jì)。整個(gè)系統(tǒng)中會(huì)運(yùn)用到大數(shù)據(jù)分析存儲(chǔ)技術(shù)，在日常運(yùn)行中需對(duì)數(shù)據(jù)的完整性進(jìn)行及時(shí)的備份和存儲(chǔ)，保障數(shù)據(jù)的歸檔和恢復(fù)。應(yīng)采用大數(shù)據(jù)備份策略，每個(gè)關(guān)鍵節(jié)點(diǎn)都有主備備份，每個(gè)數(shù)據(jù)節(jié)點(diǎn)的關(guān)鍵數(shù)據(jù)都應(yīng)該為雙份存儲(chǔ)。11、運(yùn)行維護(hù)系統(tǒng)設(shè)計(jì)項(xiàng)目經(jīng)理全面負(fù)責(zé)項(xiàng)目經(jīng)理部工作，項(xiàng)目總工程師和項(xiàng)目質(zhì)量總監(jiān)專(zhuān)責(zé)工程技術(shù)與工程質(zhì)量并協(xié)調(diào)工程進(jìn)度。施工組長(zhǎng)則負(fù)責(zé)專(zhuān)項(xiàng)施工任務(wù)，并在項(xiàng)目部統(tǒng)一管理下協(xié)調(diào)工作。具體組織結(jié)構(gòu)如下：為了項(xiàng)目的順利完成，應(yīng)建立完善的施工現(xiàn)場(chǎng)管理制度，如下表所示：序號(hào)按項(xiàng)目管理規(guī)定建立的項(xiàng)目管理制度A項(xiàng)目經(jīng)理部組織機(jī)構(gòu)及職責(zé)B項(xiàng)目現(xiàn)場(chǎng)標(biāo)準(zhǔn)化管理制度C項(xiàng)目安全管理制度D項(xiàng)目施工生產(chǎn)管理制度E項(xiàng)目質(zhì)量管理制度F項(xiàng)目技術(shù)管理制度G項(xiàng)目材料管理制度H項(xiàng)目技術(shù)資料管理制度A、項(xiàng)目經(jīng)理部組織機(jī)構(gòu)極其職責(zé)：本項(xiàng)目工程作重點(diǎn)工程建設(shè)項(xiàng)目，不但要求管理人員有創(chuàng)優(yōu)意識(shí)，還必須根據(jù)實(shí)際情況，建立一個(gè)能完成管理任務(wù)、指揮靈活、運(yùn)轉(zhuǎn)效率高效的項(xiàng)目組織機(jī)構(gòu)。其目的就是為了提供施工項(xiàng)目管理的組織保證，實(shí)行責(zé)任制度，實(shí)行權(quán)利集中，組織統(tǒng)一的管理方式。項(xiàng)目經(jīng)理部在項(xiàng)目領(lǐng)導(dǎo)小組的領(lǐng)導(dǎo)下，負(fù)責(zé)施工項(xiàng)目從一開(kāi)工到竣工的全過(guò)程施工的管理。B、項(xiàng)目現(xiàn)場(chǎng)標(biāo)準(zhǔn)化管理制度：由于本項(xiàng)目施工的特殊性，因此制定統(tǒng)一的現(xiàn)場(chǎng)施工管理制度尤為重要。所以，特制定了現(xiàn)場(chǎng)管理制度。對(duì)施工現(xiàn)場(chǎng)的檢查：管理人員應(yīng)經(jīng)常檢查現(xiàn)場(chǎng)，是否符合各項(xiàng)規(guī)定，是否滿(mǎn)足施工需要，還有哪些薄弱環(huán)節(jié)，從而為調(diào)整施工現(xiàn)場(chǎng)，提供有用的信息，也使施工現(xiàn)場(chǎng)保持相對(duì)穩(wěn)定，不被復(fù)雜的施工過(guò)程所打亂或破壞。建設(shè)文明的施工現(xiàn)場(chǎng)：施工現(xiàn)場(chǎng)范圍內(nèi)要井然有序，文明安全，環(huán)境得到保持，安全設(shè)施完備，場(chǎng)容衛(wèi)生。施工人員嚴(yán)格按照安全操作規(guī)范進(jìn)行。對(duì)有安全隱患的場(chǎng)地設(shè)置安全警示，層層把關(guān)，全面檢查，建章建制，責(zé)任到人，落實(shí)整改，嚴(yán)明獎(jiǎng)懲。確?，F(xiàn)場(chǎng)安全、規(guī)范、文明施工。C、項(xiàng)目安全管理制度：以預(yù)防為主，事前做好安全工作，在徒手、帶電作業(yè)的情況下，要按照安全規(guī)定的相關(guān)要求，做好安全防范措施,佩戴安全輔助工具。D、施工生產(chǎn)管理制度：對(duì)施工投入的勞動(dòng)力、材料、設(shè)備、技術(shù)和資金等要素進(jìn)行管理，進(jìn)行生產(chǎn)優(yōu)化配置。在施工項(xiàng)目運(yùn)轉(zhuǎn)過(guò)程中，對(duì)生產(chǎn)要素進(jìn)行動(dòng)態(tài)管理。在施工項(xiàng)目運(yùn)行中，合理地、節(jié)約地使用資源。編制施工材料、設(shè)備計(jì)劃。施工材料、設(shè)備的供應(yīng)。進(jìn)行施工材料、設(shè)備的投入。E、施工項(xiàng)目質(zhì)量管理制度：根據(jù)國(guó)家的有關(guān)安裝規(guī)范進(jìn)行施工。對(duì)系統(tǒng)安裝技術(shù)規(guī)范進(jìn)行技術(shù)交底。組織質(zhì)量檢查小組和設(shè)置質(zhì)量檢查崗位。增強(qiáng)質(zhì)量策劃和質(zhì)量控制。對(duì)施工過(guò)程進(jìn)行自我檢查、監(jiān)督、控制。F、施工項(xiàng)目技術(shù)管理制度：強(qiáng)化施工技術(shù)人員質(zhì)量達(dá)優(yōu)標(biāo)準(zhǔn)學(xué)習(xí)。學(xué)習(xí)施工組織設(shè)計(jì)管理制度和設(shè)計(jì)方案。由技術(shù)負(fù)責(zé)人進(jìn)行技術(shù)層層交底，落實(shí)技術(shù)責(zé)任制。對(duì)施工項(xiàng)目材料、設(shè)備進(jìn)行檢驗(yàn)。制定質(zhì)量檢查和工程驗(yàn)收制度。建全技術(shù)資料的管理。G、施工材料管理制度：落實(shí)現(xiàn)場(chǎng)材料管理責(zé)任。實(shí)行材料計(jì)劃管理，對(duì)進(jìn)場(chǎng)的材料進(jìn)行驗(yàn)收。對(duì)材料進(jìn)行系統(tǒng)的分類(lèi)和保管。材料按領(lǐng)料管理制度實(shí)行有序的領(lǐng)發(fā)。對(duì)使用的材料進(jìn)行監(jiān)督。`庫(kù)存材料統(tǒng)計(jì)、計(jì)劃用料匯總。及時(shí)上報(bào)材料存儲(chǔ)情況，保證材料供給。H、施工項(xiàng)目技術(shù)資料管理制度：對(duì)已經(jīng)形成的文本的圖紙、表格、文字進(jìn)行妥善保管。設(shè)置專(zhuān)業(yè)的資料保管員對(duì)資料進(jìn)行分類(lèi)、分階段保存。從技術(shù)資料中總結(jié)經(jīng)驗(yàn)、積累經(jīng)驗(yàn)。12、系統(tǒng)配置及軟硬件選型原則系統(tǒng)配置詳見(jiàn)第四章第13節(jié)系統(tǒng)軟硬件配置清單。本項(xiàng)目中所涉及的系統(tǒng)配置及軟硬件設(shè)備，具有一定的先進(jìn)性和前瞻性，既能夠滿(mǎn)足當(dāng)前系統(tǒng)的要求，又能夠滿(mǎn)足未來(lái)3到5年時(shí)間內(nèi)，該項(xiàng)目的建設(shè)的需要，為該系統(tǒng)提供有效的技術(shù)服務(wù)保障。14、系統(tǒng)軟硬件物理部署方案系統(tǒng)軟硬件設(shè)備部署嚴(yán)格按照相關(guān)機(jī)房設(shè)備建設(shè)標(biāo)準(zhǔn)實(shí)施，并按照市局機(jī)房規(guī)劃及服務(wù)器擺放標(biāo)準(zhǔn)進(jìn)行安裝調(diào)試，具體如下：1）設(shè)備上架安裝A、設(shè)備管理員安裝設(shè)備時(shí)上下設(shè)備之間必須至少保留1個(gè)U的距離，保證設(shè)備的良好散熱，不允許設(shè)備直接堆疊。B、設(shè)備接入U(xiǎn)PS之前設(shè)備管理員必須使用機(jī)房或運(yùn)行辦公室提供的市電進(jìn)行試開(kāi)機(jī)。C、機(jī)房設(shè)施管理員需要根據(jù)設(shè)備用電情況并結(jié)合UPS、PDU等的三相負(fù)載情況，選擇合適的機(jī)柜和PDU。D、設(shè)備管理員必須按照機(jī)房設(shè)施管理員給定的PDU編號(hào)接入機(jī)房電力系統(tǒng)，其中單電源設(shè)備必須接到帶STS標(biāo)簽的PDU中，雙電源設(shè)備原則上不可以接入STS的PDU，雙電源設(shè)備要求分別接到不同編號(hào)的PUD上。E、設(shè)備管理員需將電源線(xiàn)和網(wǎng)線(xiàn)（光纖線(xiàn)）分別扎在機(jī)柜的兩側(cè)（強(qiáng)電弱電分離），不允許線(xiàn)路雜亂無(wú)章,不允許跨機(jī)柜走線(xiàn),奇數(shù)位機(jī)柜電源線(xiàn)右走線(xiàn)、網(wǎng)線(xiàn)左走線(xiàn)，偶數(shù)位機(jī)柜則反之，并貼好對(duì)應(yīng)標(biāo)簽。F、完成后交由機(jī)房設(shè)施管理員檢查，機(jī)房設(shè)施管理員確認(rèn)后填寫(xiě)情況表。2）標(biāo)識(shí)文檔維護(hù)A、設(shè)備管理員打印設(shè)備標(biāo)識(shí)，內(nèi)容包括：新設(shè)備到貨時(shí)間(針對(duì)新設(shè)備)、IP地址、系統(tǒng)名稱(chēng)等。B、網(wǎng)絡(luò)管理員打印網(wǎng)線(xiàn)標(biāo)識(shí)。C、機(jī)房設(shè)施管理員打印電源線(xiàn)標(biāo)識(shí)并填寫(xiě)《機(jī)房設(shè)備登記表》，該表包括：機(jī)柜編號(hào)、機(jī)位編號(hào)、設(shè)備IP、型號(hào)、大小、序列號(hào)、系統(tǒng)名稱(chēng)。D、每個(gè)管理員完成后填寫(xiě)情況表。E、情況表最終交由機(jī)房設(shè)施管理員存檔，相關(guān)管理員對(duì)情況表內(nèi)容負(fù)責(zé)。3）系統(tǒng)檢查測(cè)試運(yùn)行主管、機(jī)房設(shè)施管理員對(duì)機(jī)房?jī)?nèi)的設(shè)備進(jìn)行定期檢查和不定期抽查，如發(fā)現(xiàn)有設(shè)備沒(méi)有按照本流程規(guī)定執(zhí)行的，向相關(guān)管理員下達(dá)《設(shè)備上架整改意見(jiàn)表》，意見(jiàn)表在整改措施落實(shí)后運(yùn)行主管確認(rèn)后交由機(jī)房設(shè)施管理員存檔。

第五章 人員配置與培訓(xùn)1、人員配置計(jì)劃1.1、技術(shù)力量和人員配置市局負(fù)責(zé)該項(xiàng)目的建設(shè)，該項(xiàng)目的直接實(shí)施負(fù)責(zé)人擁有擔(dān)任信息化建設(shè)的組織管理工作和較強(qiáng)的組織、溝通和協(xié)調(diào)能力，有多年的系統(tǒng)建設(shè)經(jīng)驗(yàn)，熟悉系統(tǒng)建設(shè)流程。目前本有多名同志具有較高的計(jì)算機(jī)應(yīng)用水平，因此項(xiàng)目的總體建設(shè)有充足的人才保證。1.2、人員培訓(xùn)需求和計(jì)劃隨著項(xiàng)目建設(shè)的深入推進(jìn)，我將積極選送人員到科研院所和信息技術(shù)研發(fā)單位進(jìn)行信息技術(shù)專(zhuān)業(yè)知識(shí)培訓(xùn)。項(xiàng)目培訓(xùn)課程安排：系統(tǒng)使用培訓(xùn)，主要包括系統(tǒng)配置的所有硬件設(shè)備、網(wǎng)絡(luò)系統(tǒng)以及其他配套設(shè)備的使用。具體時(shí)間待定。1.3、項(xiàng)目建設(shè)的實(shí)施策略可以按以下優(yōu)先順序確定項(xiàng)目實(shí)施總策略，分別參考如下實(shí)施策略：（1）“總體規(guī)劃，循序漸進(jìn)，快速見(jiàn)效”總體策略；

（2）“先基礎(chǔ)，再深化，后優(yōu)化”的實(shí)施推進(jìn)策略；（3）前期規(guī)劃溝通，實(shí)施方案確認(rèn)；（4）現(xiàn)場(chǎng)設(shè)備安裝、調(diào)試；（5）項(xiàng)目驗(yàn)收、培訓(xùn)。2、人員培訓(xùn)方案2.1、人員培訓(xùn)計(jì)劃針對(duì)本次項(xiàng)目，將免費(fèi)提供給用戶(hù)進(jìn)行專(zhuān)業(yè)培訓(xùn)，所有培訓(xùn)講師均通過(guò)專(zhuān)業(yè)認(rèn)證，并且經(jīng)驗(yàn)豐富的工程師主講，具體培訓(xùn)時(shí)間及培訓(xùn)地點(diǎn)將于用戶(hù)協(xié)商后確定。2.2、培訓(xùn)目標(biāo)培訓(xùn)的總體目標(biāo)是：通過(guò)提供的一系列專(zhuān)業(yè)化培訓(xùn)，使系統(tǒng)操作人員和系統(tǒng)運(yùn)行維護(hù)管理人員等能夠正確、熟練、有效地利用本系統(tǒng)進(jìn)行信息系統(tǒng)的安全業(yè)務(wù)的操作、處理、管理和維護(hù)。在本項(xiàng)目的培訓(xùn)中，須改變目前國(guó)內(nèi)普遍存在的“講完就算，講完就走”的呆板培訓(xùn)模式，轉(zhuǎn)變?yōu)椤皽p少講授、增加操作”的培訓(xùn)新模式，切實(shí)提高受訓(xùn)人員的應(yīng)用本系統(tǒng)的實(shí)際能力。采用理論講授、操作示范、考察學(xué)習(xí)相結(jié)合的等培訓(xùn)形式，切實(shí)提高培訓(xùn)效果。建設(shè)單位須將針對(duì)本項(xiàng)目安排最具針對(duì)性和實(shí)用性的培訓(xùn)課程，選擇和編制高質(zhì)量、易學(xué)習(xí)的培訓(xùn)教材，挑選技術(shù)水平高、項(xiàng)目經(jīng)驗(yàn)豐富并且直接參與本項(xiàng)目實(shí)施的工程師擔(dān)任培訓(xùn)教師，從而最大限度地保證培訓(xùn)的質(zhì)量和效果。2.3、培訓(xùn)對(duì)象培訓(xùn)對(duì)象：系統(tǒng)使用運(yùn)行維護(hù)管理人員。培訓(xùn)目標(biāo)：對(duì)系統(tǒng)使用運(yùn)行維護(hù)管理人員的培訓(xùn)，目的是使他們熟練掌握本網(wǎng)絡(luò)系統(tǒng)和應(yīng)用系統(tǒng)的各項(xiàng)管理維護(hù)技術(shù)，能夠熟練地進(jìn)行系統(tǒng)的管理和維護(hù)工作，獨(dú)立排除常見(jiàn)故障，保證系統(tǒng)安全、穩(wěn)定、有效運(yùn)行。建設(shè)單位須組織專(zhuān)人對(duì)系統(tǒng)運(yùn)行維護(hù)管理人員進(jìn)行不少于6人次，每次不少于1天的新技術(shù)、新產(chǎn)品、維護(hù)管理等方面的培訓(xùn)，確保用戶(hù)可以熟練使用系統(tǒng)并掌握相關(guān)的最新技術(shù)。2.4、培訓(xùn)講師要求建設(shè)單位擁有一批具有豐富教學(xué)、實(shí)踐經(jīng)驗(yàn)的培訓(xùn)講師，在他們的培訓(xùn)過(guò)程中將網(wǎng)絡(luò)、系統(tǒng)理論、實(shí)際網(wǎng)絡(luò)、系統(tǒng)需求相結(jié)合，灌輸給學(xué)員簡(jiǎn)潔、實(shí)用的全面知識(shí)。針對(duì)本項(xiàng)目，建設(shè)單位將派遣專(zhuān)業(yè)的培訓(xùn)講師和