垂直搜索引擎論文垂直搜索引擎 漏洞 PageRank Nutch 插件

1、垂直搜索引擎論文：基于Nutch的漏洞垂直搜索引擎【中文摘要】隨著計算機及互聯(lián)網(wǎng)技術的飛速發(fā)展,互聯(lián)網(wǎng)已成為國家重要的信息基礎設施。與此同時,互聯(lián)網(wǎng)作為一個運行系統(tǒng)及社會公共環(huán)境,其所面對的和隱藏在其中的安全威脅也越來越復雜、越來越嚴重。安全漏洞是構成網(wǎng)絡安全威脅的重要原因,網(wǎng)絡入侵、大規(guī)模蠕蟲傳播、系統(tǒng)拒絕服務等問題多是由安全漏洞所引發(fā)。為了降低安全漏洞帶來的風險,增加對漏洞威脅的預警能力,提高對安全漏洞進行管理及控制的能力,很多國家安全機構和網(wǎng)絡安全組織都建立了漏洞庫。但是各個漏洞庫收集的漏洞并不全面,對漏洞的缺陷描述也不盡相同。本文針對目前漏洞庫信息龐大、漏洞信息不全面、漏洞描述欠缺等問

2、題,提出可以整合各個漏洞庫的漏洞垂直搜索引擎系統(tǒng)。為了實現(xiàn)漏洞垂直搜索引擎系統(tǒng),本文設計了系統(tǒng)的整體框架流程,并圍繞整體框架的各個模塊分別進行了研究,如爬行模塊,索引模塊,檢索模塊、中文分詞模塊等。在爬行模塊采用站長提交方式建立初始URL集,并采用廣度優(yōu)先的遍歷方式訪問網(wǎng)頁信息,以提高搜索引擎的爬行效率。由于本文所設計的漏洞搜索引擎對排序結果有比較高的要求,所以采用向量模型和鏈接分析相結合的方法,即增加漏洞信息field和設置文檔boost,使漏洞搜索引擎的排序結果達到公平.【英文摘要】Along with the rapid development of the computer and t

3、he internet technology, the Internet has become an important information infrastructure. At the same time, the Internet, as an operating system and public environment, may face and hide many security threats which become more and more complex, more and more serious. Security vulnerability is a major

4、 cause of network security threats. Network intrusion, a large-scale worm propagation, the system issues such as denial of service are mostly caused by securi.【關鍵詞】垂直搜索引擎 漏洞 PageRank Nutch 插件【英文關鍵詞】vertical search engine vulnerability pagerank nutch plugin【索購全文】聯(lián)系Q1：138113721 Q2：139938848【目錄】基于Nutch

5、的漏洞垂直搜索引擎摘要4-6ABSTRACT6-7第一章 緒論10-141.1 研究背景101.2 研究現(xiàn)狀10-131.3 目的及意義131.4 研究內(nèi)容13-14第二章 安全漏洞和搜索引擎概述14-382.1 安全漏洞的概述14-17 漏洞的產(chǎn)生原因14 安全漏洞的特點14-15 CVE標準15-16 著名漏洞庫16-172.2 通用搜索引擎概述17-22 通用搜索引擎的原理17-19 通用搜索引擎歷史19-20 通用搜索引擎的局限性20-21 搜索引擎的分類21-22 主流搜索引擎簡介222.3 PageRank算法22-25ageRank算法及分析22-23ageRank算法與檢索效率

6、23-252.5 垂直搜索引擎概述25-28 垂直搜索引擎的概念25 垂直搜索引擎框架25-27 著名垂直搜索引擎27-282.6 Nutch28-38 Nutch介紹28 Nutch組成及工作流程分析28-33 Nutch插件系統(tǒng)33-34 Nutch插件系統(tǒng)的體系結構34 Nutch搜索結果排序研究34-38第三章 漏洞搜索引擎原理分析和設計38-513.1 漏洞搜索引擎的設計目標383.2 漏洞搜索引擎的工作原理38-393.3 漏洞搜索引擎各個模塊的設計39-49 網(wǎng)絡爬蟲39-42 建立漏洞索引42-45 漏洞檢索45-493.4 系統(tǒng)界面和交互設計49-51第四章 漏洞搜索引擎的實現(xiàn)和結果分析51-614.1 系統(tǒng)的實現(xiàn)51-58 網(wǎng)絡爬蟲的優(yōu)化51 中文分詞的處理51-52 建立漏洞信息索引52-57 搜索結果的整體效果57-584