北郵畢設答辯-網(wǎng)絡爬蟲設計及算法研究

網(wǎng)絡爬蟲設計及相應算法研究姓名：指導教師：北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究項目介紹

1完成內(nèi)容4選題背景2主要工作3總結及展望5北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究項目名稱：

網(wǎng)絡爬蟲設計及相應算法研究

TheResearchandDesignofWebCrawler項目類別：軟件研究設計類項目來源：科研項目項目簡介1北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究項目介紹

1完成內(nèi)容4選題背景2主要工作3總結及展望5北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究

搜索引擎介紹：

互聯(lián)網(wǎng)的迅速發(fā)展，使得網(wǎng)上信息越來越多，搜索引擎正是為了解決在浩瀚的信息海洋中快速高效的尋找信息的問題。搜索引擎是通過互聯(lián)網(wǎng)搜索信息的重要途徑，涉及到多個領域的理論和技術，具有很高的綜合性和很強的挑戰(zhàn)性。本課題研究的內(nèi)容是搜索引擎的關鍵部分——網(wǎng)絡爬蟲。選題背景2北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究

網(wǎng)絡爬蟲介紹：網(wǎng)絡爬蟲是搜索引擎系統(tǒng)中十分重要的組成部分，它負責從互聯(lián)網(wǎng)中搜集網(wǎng)頁、采集信息，這些網(wǎng)頁信息用于建立索引從而為搜索引擎提供支持，它決定著整個引擎系統(tǒng)的內(nèi)容是否豐富，信息是否即時，因此其性能的優(yōu)劣直接影響著搜索引擎的效果。

選題背景2北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究

網(wǎng)絡爬蟲的基本原理：1）從一個初始URL集合中挑選一個URL，下載該URL對應的頁面；

2）解析該頁面，從該頁面中抽取出其包含的URL集合，接下來將抽取的URL集合再添加到初始URL集合中；

3）重復前兩個過程，直到爬蟲達到某種停止標準為止。

選題背景2北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究項目介紹

1完成結果4選題背景2主要工作3總結及展望5北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究

學習爬蟲的基本技術網(wǎng)頁抓取技術網(wǎng)頁去重技術多線程技術

主要工作3北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究網(wǎng)頁抓取技術寬度優(yōu)先遍歷算法和廣度優(yōu)先算法PageRank算法——基于鏈接的搜索算法主要工作3北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究網(wǎng)頁去重技術BloomFilter算法錯誤率估計最優(yōu)哈希函數(shù)個數(shù)位數(shù)組大小主要工作3北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究多線程技術多線程半同步/半異步并發(fā)模式多線程的問題主要工作3北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究項目介紹

1完成結果4選題背景2主要工作3總結及展望5北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究設計實現(xiàn)爬蟲系統(tǒng)，并對系統(tǒng)性能就以下兩方面進行比較分析：在測試時間、最大連接數(shù)等基本參數(shù)相同的情況下，通過給爬蟲系統(tǒng)設置不同的多線程數(shù)進行頁面抓取，并對結果進行比較分析。在測試時間、請求線程數(shù)、頁面抓取線程數(shù)等基本參數(shù)相同的情況下，通過改變爬蟲系統(tǒng)的最大頁面連接數(shù)進行頁面抓取，并對結果進行比較分析。完成結果4北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究1.測試爬蟲在測試時間、最大連接數(shù)等基本參數(shù)相同的情況下，采用單線程或多線程方式抓取頁面的速度，結果如下表：2.測試爬蟲系統(tǒng)在測試時間、請求線程數(shù)、頁面抓取線程數(shù)等基本參數(shù)相同的情況下，采用不同的并行連接數(shù)抓取頁面的速度，結果如下表：完成結果4北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究1.測試爬蟲在測試時間、最大連接數(shù)等基本參數(shù)相同的情況下，采用單線程或多線程方式抓取頁面得到的表格繪制曲線圖如下：從圖中可以看出，在多線程的情況下，爬蟲系統(tǒng)的效率的確有所提高，但是提高的效果并不十分明顯。而理論上，多線程的抓取效率應該是要明顯高于單線程的，但是由于測試是在單CPU機器上進行的，所以效率的提高并不能很好的體現(xiàn)出來。完成結果4北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究1.測試爬蟲系統(tǒng)在測試時間、請求線程數(shù)、頁面抓取線程數(shù)等基本參數(shù)相同的情況下，采用不同的并行連接數(shù)抓取頁面得到的表格繪制曲線圖如下：從圖中可以看出，在其他條件相同的情況下，最大并行連接數(shù)對爬蟲的爬取效率的影響比較大。當最大連接數(shù)從16變化到32時，抓取效率提高了將近1倍，之后又逐漸趨于平緩。這是因為系統(tǒng)的線程數(shù)限制了抓取效率。在相同的HTTP請求和頁面抓取的線程數(shù)的條件下，在一定的范圍內(nèi)，最大連接數(shù)越高，爬蟲效率也越高，當超過某一范圍，爬蟲的效率會趨于平穩(wěn)。完成結果4北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究項目介紹

1完成結果4選題背景2主要工作3總結及展望5北郵畢設答辯_網(wǎng)絡爬蟲設計及算法研究總結：1、完成了爬蟲系統(tǒng)的學習與設計；2、研究比較了相關算法；3、對系統(tǒng)結果進行了比較分析。展望：1、爬蟲系統(tǒng)效率仍然比較低；2、爬取