網(wǎng)絡爬蟲_實驗手冊

1、河北師范大學軟件學院網(wǎng)絡爬蟲1. 實驗目標1. 熟悉網(wǎng)絡爬蟲的相關概念及實現(xiàn)網(wǎng)絡爬蟲的相關流程。2. 了解WebCollector框架的基本原理。3. 熟練掌握在Eclipse項目中配置使用WebCollector爬蟲。2. 前提條件1 正確安裝和配置Java開發(fā)環(huán)境。2 了解網(wǎng)絡爬蟲的相關知識3 進入WebCollector官方網(wǎng)站下載所需jar包。3. 實驗任務及完成標準本次實驗通過WebCollector框架實現(xiàn)一個簡單的聚焦網(wǎng)絡爬蟲。用戶可根據(jù)自己的需求定制網(wǎng)絡爬蟲，設定待爬取的網(wǎng)址、爬取網(wǎng)頁的數(shù)量、爬取網(wǎng)頁的內(nèi)容等。通過對該實例的詳細介紹來探討網(wǎng)絡爬蟲的原理及在實際生活中的應用。在此

2、實例的基礎上，學生需要獨立完成更為復雜的聚焦網(wǎng)絡爬蟲，來爬取更有意義的內(nèi)容。具體要求見“4 擴展內(nèi)容”。3.1 建立應用程序項目打開eclipse，創(chuàng)建本次實驗項目htmlCrawler（【File】->【New】->【Java Project】）如圖1所示。圖1 創(chuàng)建工程3.2 在Eclipse項目中配置使用WebCollector爬蟲1 選中 htmlCrawler 右鍵，選中【New】->【Folder】，輸入文件名稱“l(fā)ib”,如下圖2所示。圖2 創(chuàng)建文件夾2解壓縮 webcollector-2.26-bin.zip，拷貝所有的Jar包 ，放到lib目錄中，如圖3所示

3、。圖3 目錄結(jié)構(gòu)圖3將文件夾lib中的所有jar包添加到build path中，如圖4、圖5、圖6所示。圖4 圖5 圖6依次選中jar包，導入到工程中。4 如果想看WebCollector的源碼，可以為Jar包關聯(lián)源碼（可選），如圖6、圖7所示。圖6圖73.3 現(xiàn)在可以編寫WebCollector爬蟲的代碼了新建一個類Crawler.java，繼承自BreadthCrawler。重寫visit方法，來實現(xiàn)滿足自己需求的爬蟲即可。如圖8、圖9所示。圖8圖93.4 抓取河北師大軟件學院網(wǎng)站首頁的源代碼package htmlCrawler;import java.io.IOException;im

4、port .hfut.dmic.webcollector.model.CrawlDatums;import .hfut.dmic.webcollector.model.Page;import .hfut.dmic.webcollector.plugin.berkeley.BreadthCrawler;import .hfut.dmic.webcollector.util.FileUtils;public class Crawler extends BreadthCrawler public Crawler(String crawlPath, bo

5、olean autoParse) super(crawlPath, autoParse);/ TODO Auto-generated constructor stubOverridepublic void visit(Page page, CrawlDatums next) / TODO Auto-generated method stubtry System.out.println("正在提取："+page.getUrl();/將爬取的內(nèi)容寫到test.html頁FileUtils.writeFileWithParent("downloads/test.html

6、", page.getContent(); catch (IOException e) / TODO Auto-generated catch blocke.printStackTrace(); public static void main(String args) /創(chuàng)建爬蟲對象 Crawler crawler = new Crawler("html_crawler",true); crawler.addSeed(" try /啟動 爬蟲crawler.start(1); catch (Exception e) / TODO Auto-generat

7、ed catch blocke.printStackTrace(); 控制臺輸出結(jié)果：2016-02-25 14:23:06 INFO .hfut.dmic.webcollector.crawler.Crawler - start depth 12016-02-25 14:23:06 INFO .hfut.dmic.webcollector.fetcher.Fetcher - open generator:.hfut.dmic.webcollector.plugin.berkeley.BerkeleyGenerator2016-02-25 14:23:06

8、INFO .hfut.dmic.webcollector.fetcher.Fetcher - init segmentWriter:.hfut.dmic.webcollector.plugin.berkeley.BerkeleyDBManager2016-02-25 14:23:07 INFO .hfut.dmic.webcollector.fetcher.Fetcher - -activeThreads=1, spinWaiting=0, fetchQueue.size=02016-02-25 14:23:07 INFO .hfut.dmic.

9、webcollector.fetcher.Fetcher - fetch URL: 正在提?。?016-02-25 14:23:08 INFO .hfut.dmic.webcollector.fetcher.Fetcher - -activeThreads=0, spinWaiting=0, fetchQueue.size=02016-02-25 14:23:08 INFO .hfut.dmic.webcollector.fetcher.Fetcher - clear all activeThread2016-02-25 14:23:08 INFO .hfu

10、t.dmic.webcollector.fetcher.Fetcher - close generator:.hfut.dmic.webcollector.plugin.berkeley.BerkeleyGenerator2016-02-25 14:23:08 INFO .hfut.dmic.webcollector.fetcher.Fetcher - close segmentwriter:.hfut.dmic.webcollector.plugin.berkeley.BerkeleyDBManager2016-02-25 14:23:08 INFO cn

11、.edu.hfut.dmic.webcollector.plugin.berkeley.BerkeleyDBManager - start merge2016-02-25 14:23:08 INFO .hfut.dmic.webcollector.plugin.berkeley.BerkeleyDBManager - merge fetch database2016-02-25 14:23:08 INFO .hfut.dmic.webcollector.plugin.berkeley.BerkeleyDBManager - merge link database2016

12、-02-25 14:23:08 INFO .hfut.dmic.webcollector.plugin.berkeley.BerkeleyDBManager - end merge2016-02-25 14:23:08 INFO .hfut.dmic.webcollector.crawler.Crawler - depth 1 finish: TOTAL urls:1TOTAL time:2 seconds爬取結(jié)果如圖10所示。圖104 擴展內(nèi)容4.1 在本實驗的基礎上，進行相關的設置：（1）爬取的深度；設置開啟的線程數(shù)；（2）設置爬取url的上限；（3）通過正則表達式

13、設置爬取哪些網(wǎng)頁，不爬取哪些網(wǎng)頁等（eg./*不要爬取jpg|png|gif*/ ，代碼：crawler.addRegex("-.*.(jpg|png|gif).*");）。（4）實現(xiàn)代碼由學生自己完成4.2 實現(xiàn)自己的網(wǎng)絡爬蟲，抓取“新浪新聞”（1）需要抓取信息包括：網(wǎng)址,標題，時間，網(wǎng)頁內(nèi)容等。（2）將抓取的數(shù)據(jù)寫到文本文件或excel表中。（3）抓取代碼由學生自己完成。提示：將數(shù)據(jù)寫到excel表中，需要導入poi-3.14-beta1-20151223.jar包，部分代碼如下：/創(chuàng)建一個EXCEL Workbook wb = new HSSFWorkbook();.

14、/創(chuàng)建一個SHEET sheet1 = wb.createSheet("數(shù)據(jù)解析"); String title = "url","標題","評論","時間","內(nèi)容","本地相對路徑" int i=0; /創(chuàng)建一行 Row row = sheet1.createRow(short)0); /填充標題 for (String s:title) Cell cell = row.createCell(i); cell.setCellValue(s); i+;

15、/下面是填充數(shù)據(jù)的部分代碼AtomicInteger id=new AtomicInteger(0);Row row = sheet1.createRow(short)id.incrementAndGet(); row.createCell(0).setCellValue(url); row.createCell(1).setCellValue(title); row.createCell(2).setCellValue(comment);row.createCell(3).setCellValue(time);row.createCell(4).setCellValue(contents);row.createCell(5).setCellValue(path);4.3 改進4.2中自己的網(wǎng)絡爬蟲，將抓取的數(shù)據(jù)直接寫到數(shù)據(jù)庫中。實現(xiàn)代碼由學生自己完成。提示：使用J