網(wǎng)絡(luò)爬蟲Java實(shí)現(xiàn)原理

網(wǎng)絡(luò)爬蟲(Spider)Java實(shí)現(xiàn)原理“網(wǎng)絡(luò)蜘蛛”或者說“網(wǎng)絡(luò)爬蟲”，是一種能訪問網(wǎng)站并跟蹤鏈接的程序，通過它，可快速地畫出一個網(wǎng)站所包含的網(wǎng)頁地圖信息。本文主要講述如何使用Java編程來構(gòu)建一個“蜘蛛”，我們會先以一個可復(fù)用的蜘蛛類包裝一個基本的“蜘蛛”，并在示例程序中演示如何創(chuàng)建一個特定的“蜘蛛”來掃描相關(guān)網(wǎng)站并找出死鏈接。Java語言在此非常適合構(gòu)建一個“蜘蛛”程序，其內(nèi)建了對HTTP協(xié)議的支持，通過它可以傳輸大部分的網(wǎng)頁信息；其還內(nèi)建了一個HTML解析器，正是這兩個原因使Java語言成為本文構(gòu)建“蜘蛛”程序的首選。文章后面例1的示例程序，將會掃描一個網(wǎng)站，并尋找死鏈接。使用這個程序時需先輸入一個URL并單擊“Begin〃按鈕，程序開始之后，“Begin〃按鈕會變成“Cancel〃按鈕。在程序掃描網(wǎng)站期間，會在“Cancel"按鈕之下顯示進(jìn)度，且在檢查當(dāng)前網(wǎng)頁時，也會顯示相關(guān)正常鏈接與死鏈接的數(shù)目，死鏈接將顯示在程序底部的滾動文本框中。單擊“Cancel"按鈕會停止掃描過程，之后可以輸入一個新的URL；如果期間沒有單擊“Cancel〃，程序?qū)恢边\(yùn)行直到查找完所有網(wǎng)頁，此后，“Cancel”按鈕會再次變回“Begin〃，表示程序已停止。下面將演示示例程序是如何與可復(fù)用“Spider〃類交互的，示例程序包含在例1的CheckLinks類中，這個類實(shí)現(xiàn)了ISpiderReportable接口，如例2所示，正是通過這個接口，蜘蛛類才能與示例程序相交互。在這個接口中，定義了三個方法：第一個方法是“spiderFoundURL〃，它在每次程序定位一個URL時被調(diào)用，如果方法返回true,表示程序應(yīng)繼續(xù)執(zhí)行下去并找出其中的鏈接；第二個方法是“spiderURLError〃，它在每次程序檢測URL導(dǎo)致錯誤時被調(diào)用(如“404頁面未找到”)；第三個方法是“spiderFoundEMail”，它在每次發(fā)現(xiàn)電子郵件地址時被調(diào)用。有了這三個方法，Spider類就能把相關(guān)信息反饋給創(chuàng)建它的程序了。在begin方法被調(diào)用后，“蜘蛛”就開始工作了；為允許程序重繪其用戶界面，“蜘蛛”是作為一個單獨(dú)的線程啟動的。點(diǎn)擊“Begin〃按鈕會開始這個后臺線程，當(dāng)后臺線程運(yùn)行之后，又會調(diào)用“CheckLinks”類的run方法，而run方法是由Spider對象實(shí)例化時啟動的，如下所示：spider=newSpider(this);spider.clear();base=newURL(url.getText());spider.addURL(base);spider.begin();首先，一個新的Spider對象被實(shí)例化，在此，需要傳遞一個“ISpiderReportable”對象給Spider對象的構(gòu)造函數(shù)，因?yàn)椤癈heckLinks"類實(shí)現(xiàn)了“ISpiderReportable"接口，只需簡單地把它作為當(dāng)前對象(可由關(guān)鍵字this表示)傳遞給構(gòu)造函數(shù)即可；其次，在程序中維護(hù)了一個其訪問過的URL列表，而“clea廣方法的調(diào)用則是為了確保程序開始時URL列表為空，程序開始運(yùn)行之前必須添加一個URL到它的待處理列表中，此時用戶輸入的URL則是添加到列表中的第一個，程序就由掃描這個網(wǎng)頁開始，并找到與這個起始URL相鏈接的其他頁面；最后，調(diào)用“begin”方法開始運(yùn)行“蜘蛛”，這個方法直到“蜘蛛”工作完畢或用戶取消才會返回。當(dāng)“蜘蛛”運(yùn)行時，可以調(diào)用由“ISpide「Repo「table"接口實(shí)現(xiàn)的三個方法來報告程序當(dāng)前狀態(tài)，程序的大部分工作都是由“spide「FoundURL"方法來完成的，當(dāng)“蜘蛛”發(fā)現(xiàn)一個新的URL時，它首先檢查其是否有效，如果這個URL導(dǎo)致一個錯誤，就會把它當(dāng)作一個死鏈接；如果鏈接有效，就會繼續(xù)檢查它是否在一個不同的服務(wù)器上，如果鏈接在同一服務(wù)器上，“spiderFoundURL"返回true,表示“蜘蛛”應(yīng)繼續(xù)跟蹤這個URL并找出其他鏈接，如果鏈接在另外的服務(wù)器上，就不會掃描是否還有其他鏈接，因?yàn)檫@會導(dǎo)致“蜘蛛”不斷地瀏覽Internet,尋找更多、更多的網(wǎng)站，所以，示例程序只會查找用戶指定網(wǎng)站上的鏈接。構(gòu)造Spide「類前面已經(jīng)講了如何使用Spider類，請看例3中的代碼。使用Spider類及“ISpiderReportable"接口能方便地為某一程序添加“蜘蛛”功能，下面繼續(xù)講解Spider類是怎樣工作的。Spider類必須保持對其訪問過的URL的跟蹤，這樣做的目的是為了確保“蜘蛛”不會訪問同一URL—次以上；進(jìn)一步來說，“蜘蛛”必須把URL分成三組，第一組存儲在“workloadWaiting〃屬性中，包含了一個未處理的URL列表，“蜘蛛”要訪問的第一個URL也存在其中；第二組存儲在“workloadProcessed〃中，它是“蜘蛛”已經(jīng)處理過且無需再次訪問的URL；第三組存儲在“workloadError〃中，包含了發(fā)生錯誤的URL。Begin方法包含了Spider類的主循環(huán)，其一直重復(fù)遍歷“workloadWaiting”，并處理其中的每一個頁面，當(dāng)然我們也想到了，在這些頁面被處理時，很可能有其他的URL添加到“workloadWaiting”中，所以，begin方法一直繼續(xù)此過程，直到調(diào)用Spider類的cancel方法，或“workloadWaiting”中已不再剩有URL。這個過程如下：cancel=false;while(!getWorkloadWaiting().isEmpty()&&!cancel){Objectlist[]=getWorkloadWaiting().toArray();for(inti=0;(i<LIST.LENGTH)&&!CANCEL;)i++>processURL((URL)list[i]);}當(dāng)上述代碼遍歷“workloadWaiting”時，它把每個需處理的URL都傳遞給“processURL〃方法，而這個方法才是真正讀取并解析URL中HTML信息的。讀取并解析HTMLJava同時支持訪問URL內(nèi)容及解析HTML,而這正是“processURL〃方法要做的。在Java中讀取URL內(nèi)容相對還比較簡單，下面就是“processURL”方法實(shí)現(xiàn)此功能的代碼：URLConnectionconnection=url.openConnection();if((connection.getContentType()!=null)&&!connection.getContentType().toLowerCase().startsWith("text/")){getWorkloadWaiting().remove(url);getWorkloadProcessed().add(url);log("Notprocessingbecausecontenttypeis:"+connection.getContentType());return;}首先，為每個傳遞進(jìn)來的變量url中存儲的URL構(gòu)造一個“URLConnection”對象，因?yàn)榫W(wǎng)站上會有多種類型的文檔，而“蜘蛛”只對那些包含HTML,尤其是基于文本的文檔感興趣。前述代碼是為了確保文檔內(nèi)容以“text/”打頭，如果文檔類型為非文本，會從等待區(qū)移除此URL，并把它添加到已處理區(qū)，這也是為了保證不會再次訪問此URL。在對特定URL建立連接之后，接下來就要解析其內(nèi)容了。下面的代碼打開了URL連接，并讀取內(nèi)容：InputStreamis=connection.getInputStream();Readerr=newInputStreamReader(is);現(xiàn)在，我們有了一個Reader對象，可以用它來讀取此URL的內(nèi)容，對本文中的“蜘蛛”來說，只需簡單地把其內(nèi)容傳遞給HTML解析器就可以了。本例中使用的HTML解析器為SwingHTML解析器，其由Java內(nèi)置，但由于Java對HTML解析的支持力度不夠，所以必須重載一個類來實(shí)現(xiàn)對HTML解析器的訪問，這就是為什么我們要調(diào)用“HTMLEditorKit"類中的“getParser”方法。但不幸的是，Sun公司把這個方法置為protected,唯一的解決辦法就是創(chuàng)建自己的類并重載“getParser”方法，并把它置為public，這由“HTMLParse”類來實(shí)現(xiàn)，請看例4：importjavax.swing.text.html.*;publicclassHTMLParseextendsHTMLEditorKit{publicHTMLEditorKit.ParsergetParser(){returnsuper.getParser();}}這個類用在Spider類的“processURL”方法中，我們也會看到，Reader對象會用于讀取傳遞到“HTMLEditorKit.Parser”中網(wǎng)頁的內(nèi)容：HTMLEditorKit.Parserparse=newHTMLParse().getParser();parse.parse(r,newParser(url),true);請留意，這里又構(gòu)造了一個新的Parser類，這個Parser類是一個Spider類中的內(nèi)嵌類，而且還是一個回調(diào)類，它包含了對應(yīng)于每種HTMLtag將要調(diào)用的特定方法。在本文中，我們只需關(guān)心兩類回調(diào)函數(shù)，它們分別對應(yīng)一個簡單tag(即不帶結(jié)束tag的tag，如)和一個開始tag，這兩類回調(diào)函數(shù)名為“handleSimpleTag"和“handleStartTag”。因?yàn)槊糠N的處理過程都是一樣的，所以“handleStartTag〃方法僅是簡單地調(diào)用“handleSimpleTag”，而“handleSimpleTag"則會負(fù)責(zé)從文檔中取出超鏈接，這些超鏈接將會用于定位“蜘蛛”要訪問的其他頁面。在當(dāng)前tag被解析時，“handleSimpleTag”會檢查是否存在一個“href〃或超文本引用：Stringhref=(String)a.getAttribute(HTML.Attribute.HREF);if((href==null)&&(t==HTML.Tag.FRAME))href=(String)a.getAttribute(HTML.Attribute.SRC);if(href==null)return;如果不存在“href”屬性，會繼續(xù)檢查當(dāng)前tag是否為一個Frame,Frame會使用一個“src〃屬性指向其他頁面，一個典型的超鏈接通常為以下形式：上面鏈接中的“href”屬性指向其鏈接到的頁面，但是“l(fā)inkedpage.html”不是一個地址，它只是指定了這個Web服務(wù)器上一個頁面上的某處，這稱為相對URL,相對URL必須被解析為絕對URL,而這由以下代碼完成：URLurl=newURL(base,str);這又會構(gòu)造一個URL，str為相對URL，base為這個URL上的頁面，這種形式的URL類構(gòu)造函數(shù)可構(gòu)造一個絕對URL。在URL變?yōu)檎_的絕對形式之后，通過檢查它是否在等待區(qū)，來確認(rèn)此URL是否已經(jīng)被處理過。如果此URL沒有被處理過，它會添加到等待區(qū)，之后，它會像其他URL一樣被處理。相關(guān)的代碼如下所示：1.CheckLinks.javaimportjava.awt.*;importjavax.swing.*;import.*;importjava.io.*;publicclassCheckLinksextendsjavax.swing.JFrameimplementsRunnable,ISpiderReportable{*Theconstructor.Performsetuphere.*/publicCheckLinks(){//{{INIT_CONTROLSsetTitle("FindBrokenLinks");getContentPane().setLayout(null);setSize(405,288);setVisible(true);label1.setText("EnteraURL:");getContentPane().add(label1);label1.setBounds(12,12,84,12);begin.setText("Begin");begin.setActionCommand("Begin");getContentPane().add(begin);begin.setBounds(12,36,84,24);getContentPane().add(url);url.setBounds(108,36,288,24);errorScroll.setAutoscrolls(true);errorScroll.setHorizontalScrollBarPolicy(javax.swing.ScrollPaneConstants.HORIZONTAL_SCROLLBAR_ALWAYS);errorScroll.setVerticalScrollBarPolicy(javax.swing.ScrollPaneConstants.VERTICAL_SCROLLBAR_ALWAYS);errorScroll.setOpaque(true);getContentPane().add(errorScroll);errorScroll.setBounds(12,120,384,156);errors.setEditable(false);errorScroll.getViewport().add(errors);errors.setBounds(0,0,366,138);current.setText("CurrentlyProcessing:");getContentPane().add(current);current.setBounds(12,72,384,12);goodLinksLabel.setText("GoodLinks:0");getContentPane().add(goodLinksLabel);goodLinksLabel.setBounds(12,96,192,12);badLinksLabel.setText("BadLinks:0");getContentPane().add(badLinksLabel);badLinksLabel.setBounds(216,96,96,12);//}}//{{INIT_MENUS//}}//{{REGISTER_LISTENERSSymActionlSymAction=newSymAction();begin.addActionListener(lSymAction);//}}}*Mainmethodfortheapplication**@paramargsNotused*/staticpublicvoidmain(Stringargs[]){(newCheckLinks()).setVisible(true);}*Addnotifications.*/publicvoidaddNotify(){//Recordthesizeofthewindowpriortocallingparent's//addNotify.Dimensionsize=getSize();super.addNotify();if(frameSizeAdjusted)return;frameSizeAdjusted=true;//AdjustsizeofframeaccordingtotheinsetsandmenubarInsetsinsets=getInsets();javax.swing.JMenuBarmenuBar=getRootPane().getJMenuBar();intmenuBarHeight=0;if(menuBar!=null)menuBarHeight=menuBar.getPreferredSize().height;setSize(insets.left+insets.right+size.width,insets.top+insets.bottom+size.height+menuBarHeight);}//UsedbyaddNotifybooleanframeSizeAdjusted=false;//{{DECLARE_CONTROLSjavax.swing.JLabellabel1=newjavax.swing.JLabel();/***Thebeginorcancelbutton*/javax.swing.JButtonbegin=newjavax.swing.JButton();*TheURLbeingprocessed*/javax.swing.JTextFieldurl=newjavax.swing.JTextField();*Scrolltheerrors.*/javax.swing.JScrollPaneerrorScroll=newjavax.swing.JScrollPane();/***Aplacetostoretheerrorscreated*/javax.swing.JTextAreaerrors=newjavax.swing.JTextArea();javax.swing.JLabelcurrent=newjavax.swing.JLabel();javax.swing.JLabelgoodLinksLabel=newjavax.swing.JLabel();javax.swing.JLabelbadLinksLabel=newjavax.swing.JLabel();//}}//{{DECLARE_MENUS//}}/***Thebackgroundspiderthread*/protectedThreadbackgroundThread;/***Thespiderobjectbeingused*/protectedSpiderspider;/***TheURLthatthespiderbeganwith*/protectedURLbase;/***Howmanybadlinkshavebeenfound*/protectedintbadLinksCount=0;/***Howmanygoodlinkshavebeenfound*/protectedintgoodLinksCount=0;*Internalclassusedtodispatchevents**@authorwuhailin*@version1.0*/classSymActionimplementsjava.awt.event.ActionListener{publicvoidactionPerformed(java.awt.event.ActionEventevent){Objectobject=event.getSource();if(object==begin)begin_actionPerformed(event);}}*Calledwhenthebeginorcancelbuttonsareclicked**@parameventTheeventassociatedwiththebutton.*/voidbegin_actionPerformed(java.awt.event.ActionEventevent){if(backgroundThread==null){begin.setLabel("Cancel");backgroundThread=newThread(this);backgroundThread.start();goodLinksCount=0;badLinksCount=0;}else{spider.cancel();}*Performthebackgroundthreadoperation.Thismethod*actuallystartsthebackgroundthread.*/publicvoidrun(){try{errors.setText("");spider=newSpider(this);spider.clear();base=newURL(url.getText());spider.addURL(base);spider.begin();RunnabledoLater=newRunnable(){publicvoidrun(){begin.setText("Begin");}};SwingUtilities.invokeLater(doLater);backgroundThread=null;}catch(MalformedURLExceptione){UpdateErrorserr=newUpdateErrors();err.msg="Badaddress.";SwingUtilities.invokeLater(err);}}*CalledbythespiderwhenaURLisfound.Itishere*thatlinksarevalidated.**@paramurlTheactuallinkaddress.*/publicbooleanspiderFoundURL(URLbase,URLurl){UpdateCurrentStatscs=newUpdateCurrentStats();cs.msg=url.toString();SwingUtilities.invokeLater(cs);if(!checkLink(url)){UpdateErrorserr=newUpdateErrors();err.msg=url+"(onpage"+base+")\n";SwingUtilities.invokeLater(err);badLinksCount++;returnfalse;}goodLinksCount++;if(!url.getHost().equalsIgnoreCase(base.getHost()))returnfalse;elsereturntrue;}*CalledwhenaURLerrorisfound**@paramurlTheURLthatresultedinanerror.*/publicvoidspiderURLError(URLurl){}/***Calledinternallytocheckwhetheralinkisgood*@paramurlThelinkthatisbeingchecked.*@returnTrueifthelinkwasgood,falseotherwise.*/protectedbooleancheckLink(URLurl){try{URLConnectionconnection=url.openConnection();connection.connect();returntrue;}catch(IOExceptione){returnfalse;}}*Calledwhenthespiderfindsane-mailaddress**@paramemailTheemailaddressthespiderfound.*/publicvoidspiderFoundEMail(Stringemail){}/***Internalclassusedtoupdatetheerrorinformation*inaThread-Safeway*/classUpdateErrorsimplementsRunnable{publicStringmsg;publicvoidrun(){errors.append(msg);}}/***Usedtoupdatethecurrentstatusinformation*ina"Thread-Safe"way*/classUpdateCurrentStatsimplementsRunnable{publicStringmsg;publicvoidrun(){current.setText("CurrentlyProcessing:"+msg);goodLinksLabel.setText("GoodLinks:"+goodLinksCount);badLinksLabel.setText("BadLinks:"+badLinksCount);}}}2.ISpiderReportable.javaimport.*;interfaceISpiderReportable{publicbooleanspiderFoundURL(URLbase,URLurl);publicvoidspiderURLError(URLurl);publicvoidspiderFoundEMail(Stringemail);}3.Spider.javaimportjava.util.*;import.*;importjava.io.*;importjavax.swing.text.*;importjavax.swing.text.html.*;/***Thatclassimplementsareusablespider*/publicclassSpider{*AcollectionofURLsthatresultedinanerror*/protectedCollectionworkloadError=newArrayList(3);*AcollectionofURLsthatarewaitingtobeprocessed*/protectedCollectionworkloadWaiting=newArrayList(3);*AcollectionofURLsthatwereprocessed*/protectedCollectionworkloadProcessed=newArrayList(3);*TheclassthatthespidershouldreportitsURLsto*/protectedISpiderReportablereport;*Aflagthatindicateswhetherthisprocess*shouldbecanceled*/protectedbooleancancel=false;*Theconstructor**@paramreportAclassthatimplementstheISpiderReportable*interface,thatwillreceiveinformationthatthe*spiderfinds.*/publicSpider(ISpiderReportablereport){this.report=report;}*GettheURLsthatresultedinanerror.**@returnAcollectionofURL's.*/publicCollectiongetWorkloadError(){returnworkloadError;}*GettheURLsthatwerewaitingtobeprocessed.*YoushouldaddoneURLtothiscollectionto*beginthespider.**@returnAcollectionofURLs.*/publicCollectiongetWorkloadWaiting(){returnworkloadWaiting;}*GettheURLsthatwereprocessedbythisspider.**@returnAcollectionofURLs.*/publicCollectiongetWorkloadProcessed(){returnworkloadProcessed;*Clearalloftheworkloads.*/publicvoidclear(){getWorkloadError().clear();getWorkloadWaiting().clear();getWorkloadProcessed().clear();}*Setaflagthatwillcausethebegin*methodtoreturnbeforeitisdone.*/publicvoidcancel(){cancel=true;}*AddaURLforprocessing.**@paramurl*/publicvoidaddURL(URLurl){if(getWorkloadWaiting().contains(url))return;if(getWorkloadError().contains(url))return;if(getWorkloadProcessed().contains(url))return;log("Addingtoworkload:"+url);getWorkloadWaiting().add(url);*CalledinternallytoprocessaURL**@paramurlTheURLtobeprocessed.*/publicvoidprocessURL(URLurl){try{log("Processing:"+url);//gettheURL'scontentsURLConnectionconnection=url.openConnection();if((connection.getContentType()!=null)&&!connection.getContentType().toLowerCase().startsWith("text/")){getWorkloadWaiting().remove(url);getWorkloadProcessed().add(url);log("Notprocessingbecausecontenttypeis:"+connection.getContentType());return;}//readtheURLInputStreamis=connection.getInputStream();Readerr=newInputStreamReader(is);//parsetheURLHTMLEditorKit.Parserparse=newHTMLParse().getParser();parse.parse(r,newParser(url),true);}catch(IOExceptione){getWorkloadWaiting().remove(url);getWorkloadError().add(url);log("Error:"+url);report.spiderURLError(url);return;}//markURLascompletegetWorkloadWaiting().remove(url);getWorkloadProcessed().add(url);log("Complete:"+url);*Calledtostartthespider*/publicvoidbegi