基于Heritrix的Web信息抽取

1、基于Heritrix的Web信息抽取.txt28生活是一位睿智的長(zhǎng)者，生活是一位博學(xué)的老師，它常常春風(fēng)化雨，潤(rùn)物無(wú)聲地為我們指點(diǎn)迷津，給我們?nèi)松膯⒌?。不要吝惜自己的?ài)，敞開(kāi)自己的胸懷，多多給予，你會(huì)發(fā)現(xiàn)，你也已經(jīng)沐浴在了愛(ài)河里?；? Heirx的. Wertib信息抽取陳俊彬曹樹(shù)金中山大學(xué)資訊管理系廣州5100006 摘要針對(duì)現(xiàn)階段Web信息抽取技術(shù)的不足，提出一種基于Heritrix的精確抽取方法，由三個(gè)分別獨(dú)立的功能模塊共同完成。與一般信息抽取不同，本方法注重于在精確抽取的前提下實(shí)現(xiàn)通用化，做到可以根據(jù)數(shù)據(jù)庫(kù)表的字段來(lái)進(jìn)行最小單位的信息抽取，并且較好地解決信息采集通用性和準(zhǔn)確性之間的矛

2、盾。. 關(guān)鍵詞HrtiHMLasrWeb數(shù)據(jù)采集eirx信息抽取. Tpre分類號(hào)G25073 WebInfrtotatosdortiomainExrcinBaenHeirx eun ahnChnJnbiCoSujiDepartmentofInformationManagement，SunYatsenUniversity，Guangzhou AbtathsaeitoueaehdoacccrtifrainetatoaeoeirxacccrigthhrafWenosrcTipprnrdcsmtofuaenomtoxrcinbsdnHrtiodnotesotgeobifrmaroxrcintcnlg

3、h ytmiooeftrersetvdueeetfosaafifrtoxrcin，inetatoehooyTessescmpsdoheepciemolDif ffrnrmuulwyonomainetatothtd iounpeciionaelllaeeratyIcnetrattemiim uitofifortiocodigthefedoalnemehosfcsorsswsgnlitaxchnmunnmanacrnotilftbeidaasetbaKewrseirxifrtoxrcinHTprebifrtocustoyodHrtinomainetatoMLasrWenomainaqiiin 的信

4、息抽取技術(shù)需要用戶的大量參與，但自動(dòng)化程度不高；而自動(dòng)化程度高的抽取技術(shù)其準(zhǔn)確率和適應(yīng)性較低，實(shí)用性較差。即使是機(jī)器學(xué)習(xí)，也要通過(guò)大量的Web信息抽取(Webinformationextraction，WIE)的樣本學(xué)習(xí)來(lái)提高獲取規(guī)則的自動(dòng)化程度，這意味著系目標(biāo)是把文本里包含的信息進(jìn)行結(jié)構(gòu)化處理，轉(zhuǎn)化成統(tǒng)需要經(jīng)過(guò)較長(zhǎng)時(shí)間的學(xué)習(xí)才能獲得較好的查準(zhǔn)率。特定的結(jié)構(gòu)，以便于理解和利用。隨著. Intemet的迅猛縱觀信息抽取技術(shù)的發(fā)展歷史，研究者們提出了發(fā)展，Web已經(jīng)成為全球傳播與共享科研、教育、商業(yè)不少優(yōu)秀的抽取策略.。從實(shí)現(xiàn)方法的原理出發(fā)，可和社會(huì)信息等最重要和最具潛力的巨大信息源。面對(duì)以將信息

5、抽取技術(shù)劃分為4個(gè)類別：基于自然語(yǔ)言如此巨大的互聯(lián)網(wǎng)信息庫(kù)，如何快速、有效、經(jīng)濟(jì)地得理解方式；基于ontology方式；基于網(wǎng)頁(yè)結(jié)構(gòu)特征到某個(gè)主題的所有相關(guān)信息就成了當(dāng)前一個(gè)十分熱門(mén)方式；基于統(tǒng)計(jì)學(xué)習(xí)的方式。基于自然語(yǔ)言理解方的研究課題。與傳統(tǒng)的信息資源相比，Web上信息資式的信息抽取在一定程度上借鑒了自然語(yǔ)言處理技源有著分布性、異構(gòu)性、開(kāi)放性、動(dòng)態(tài)性和龐大性等特術(shù)，利用子句結(jié)構(gòu)、短語(yǔ)和子句間的關(guān)系建立基于語(yǔ)法點(diǎn)，這些特點(diǎn)導(dǎo)致Web上數(shù)據(jù)的信息接口和組織形式和語(yǔ)義的抽取規(guī)則，實(shí)現(xiàn)信息抽取。其缺點(diǎn)是抽取速各不相同，也使得Web上的信息資源不能被有效的利度慢，使用范圍窄，很難做到通用。基于onto

6、logy方式用。在這樣的背景下，Web信息抽取技術(shù)成為了研究主要是利用對(duì)數(shù)據(jù)本身的描述信息實(shí)現(xiàn)抽取，對(duì)網(wǎng)頁(yè)的熱點(diǎn)。結(jié)構(gòu)的依賴較少。只要事先創(chuàng)建的應(yīng)用領(lǐng)域的ontolo-g)r足夠強(qiáng)大，系統(tǒng)可以對(duì)某一應(yīng)用領(lǐng)域中各種網(wǎng)頁(yè)實(shí)2艾獻(xiàn)綠述現(xiàn)信息抽取。目前只能對(duì)特定領(lǐng)域構(gòu)建，并且還只能采用半自動(dòng)的方式由人工參與，這樣使得該方法要求在. Web信息抽取領(lǐng)域中，信息抽取的準(zhǔn)確性和通很高，工作量巨大?；诰W(wǎng)頁(yè)結(jié)構(gòu)特征方式的特點(diǎn)用性之間的矛盾一直是該研究領(lǐng)域的難題。性能較好是根據(jù)Web頁(yè)面的結(jié)構(gòu)來(lái)定位信息，在信息抽取之前收稿ri期：2000807222修日期：200080911本文起Ij：貞碼：1 112115本

7、文責(zé)任編輯：易【三112。LIBRARY AND INFORM ATION SERVICE。通過(guò)解析器將Web文檔解析成語(yǔ)法樹(shù)，然后通過(guò)自動(dòng)或半自動(dòng)的方式產(chǎn)生抽取規(guī)則，最終轉(zhuǎn)化為對(duì)語(yǔ)法樹(shù)的操作來(lái)實(shí)現(xiàn)信息的抽取，本策略實(shí)現(xiàn)簡(jiǎn)單，抽取的準(zhǔn)確性好，但要求人工參與?；诮y(tǒng)計(jì)學(xué)習(xí)的信息抽取策略是根據(jù)統(tǒng)計(jì)學(xué)原理，首先構(gòu)造一個(gè)模型以模擬信息抽取的過(guò)程，應(yīng)用統(tǒng)計(jì)學(xué)方法從訓(xùn)練語(yǔ)料中得出模型的參數(shù)；然后用訓(xùn)練好的模型對(duì)待抽取語(yǔ)料進(jìn)行信息抽取。該方法需要經(jīng)過(guò)較長(zhǎng)時(shí)間的樣本學(xué)習(xí)，且實(shí)現(xiàn)復(fù)雜。對(duì)信息抽取技術(shù)的劃分標(biāo)準(zhǔn)其實(shí)有很多，并不限于以上所提。各種信息抽取策略針對(duì)特定的場(chǎng)合都有其獨(dú)特的優(yōu)勢(shì)，也有其相應(yīng)的缺點(diǎn)。其中，基

8、于網(wǎng)頁(yè)結(jié)構(gòu)特征的信息抽取是現(xiàn)階段最為常用的抽取手段，實(shí)現(xiàn)起來(lái)相對(duì)簡(jiǎn)單，可進(jìn)行精確的信息抽取。在現(xiàn)階段的研究中，已有不少文獻(xiàn)針對(duì)這一抽取策略提出了相對(duì)可行的實(shí)現(xiàn)方法，例如基于DOM樹(shù)的自動(dòng)抽取和基于機(jī)器學(xué)習(xí)的抽取技術(shù)。這類方法重點(diǎn)關(guān)注信息抽取的通用性，在準(zhǔn)確性方面有待提高。正如前文所述，通用性和準(zhǔn)確性之間的矛盾一直是信息抽取領(lǐng)域的難題，然而現(xiàn)階段在保證信息抽取的準(zhǔn)確性，又不失通用性的方面還沒(méi)有較為理想的實(shí)現(xiàn)方法。大部分的抽取方法都是重點(diǎn)先考慮通用性；也有一些文獻(xiàn)提出了很好地很精確的抽取方法，但是卻沒(méi)有實(shí)現(xiàn)相對(duì)通用性，抽取系統(tǒng)的可移植性和可維護(hù)性很差，也難以應(yīng)對(duì)千變?nèi)f化的. Web頁(yè)面。3系統(tǒng)分析

9、與設(shè)計(jì)筆者在實(shí)踐的基礎(chǔ)上提出一種以Heirxrti為基礎(chǔ)，結(jié)合HTML，arser的信息抽取思路，下面將給出具體實(shí)現(xiàn)方法和抽取系統(tǒng)。本方法注重于在精確抽取的前提下實(shí)現(xiàn)通用化，做到可以根據(jù)數(shù)據(jù)庫(kù)表的字段來(lái)進(jìn)行最小單位的信息抽取，并且較好地解決信息采集通用性和準(zhǔn)確性之間的矛盾，同時(shí)具有較好的可擴(kuò)展性和抽取速度。本抽取系統(tǒng)主要用于對(duì)論壇信息的精確抽取，以實(shí)際的例子來(lái)闡述一種信息抽取的思路，在設(shè)計(jì)上采用分層與模塊分治的設(shè)計(jì)思想，保證系統(tǒng)有良好的移植性和擴(kuò)展性，這個(gè)對(duì)于變化無(wú)常的Web信息來(lái)說(shuō)非常有必要。系統(tǒng)主要包括三個(gè)模塊：數(shù)據(jù)采集模塊、頁(yè)面清洗模塊、數(shù)據(jù)庫(kù)模塊(見(jiàn)圖1)。對(duì)于待抽取的站點(diǎn)，由數(shù)據(jù)采集

10、模塊根據(jù)入口地址對(duì)其進(jìn)行采集，將目標(biāo)頁(yè)圉雪jfff鉉作第宙卷第。期. 20009年5月面采集到本地上，通過(guò)設(shè)定規(guī)則，可以保證系統(tǒng)只存儲(chǔ)待分析的目標(biāo)頁(yè)面，對(duì)頁(yè)面清洗模塊的標(biāo)準(zhǔn)化提供很大方便。頁(yè)面清洗模塊負(fù)責(zé)對(duì)高度統(tǒng)一的目標(biāo)頁(yè)面進(jìn)行清洗，最終提取出結(jié)構(gòu)化文本，由數(shù)據(jù)庫(kù)模塊存入對(duì)應(yīng)的庫(kù)表字段中。數(shù)據(jù)采集模塊頁(yè)面清洗模塊數(shù)據(jù)庫(kù)模塊圖1系統(tǒng)結(jié)構(gòu)在具體實(shí)現(xiàn)上，首先需要對(duì)待采集站點(diǎn)進(jìn)行分析，確定人口地址，如論壇的版面列表地址、新聞網(wǎng)頁(yè)的主頁(yè)地址等，本文以逸仙時(shí)空. BBS為例進(jìn)行說(shuō)明，入E1地址是ht ttp：bbssysueducnbbsalll，即所有版面列表。在數(shù)據(jù)采集模塊，Hrtri根據(jù)入口地址與自

11、定義eix的網(wǎng)址篩選規(guī)則，開(kāi)始對(duì)種子URL進(jìn)行分析，動(dòng)態(tài)取回符合條件的目標(biāo)頁(yè)面文本，即論壇帖子的html代碼，直到遍歷完站點(diǎn)內(nèi)的所有URL，為頁(yè)面清洗模塊提供統(tǒng)一的目標(biāo)頁(yè)面。在頁(yè)面清洗模塊，由HTMLparser和正則表達(dá)式對(duì)Heritrix采集下來(lái)的原始頁(yè)面進(jìn)行清洗，使之轉(zhuǎn)換為所需的結(jié)構(gòu)化文本，最終由數(shù)據(jù)庫(kù)模塊存入oracle數(shù)據(jù)表中，以供后續(xù)分析和使用。4京姣現(xiàn)I 41數(shù)據(jù)采集模塊數(shù)據(jù)采集模塊主要由Heirx來(lái)完成。Hrtirtieirx是一個(gè)由Java開(kāi)發(fā)的開(kāi)源Web爬蟲(chóng)系統(tǒng)，用來(lái)獲取完整的、精確的站點(diǎn)內(nèi)容的深度復(fù)制，可通過(guò). web用戶界面啟動(dòng)、監(jiān)控、調(diào)整，允許彈性地定義要獲取的URL

12、。其最出色之處在于強(qiáng)大的可擴(kuò)展性，允許開(kāi)發(fā)者任意選擇或擴(kuò)展各個(gè)組件，實(shí)現(xiàn)特定的抓取邏輯，而且重新爬行對(duì)相同的URL不針對(duì)先前的進(jìn)行替換，其默認(rèn)提供的組件完全支持傳統(tǒng)爬蟲(chóng)的工作。在Heirx架構(gòu)中中央控制器Calotolllrrti，rwCnre是核心組件，決定了整個(gè)抓取任務(wù)的開(kāi)始與結(jié)束。用戶在HertieU控制臺(tái)設(shè)置抓取任務(wù)后hrti首irxwb!，eirx先構(gòu)造. xstttnsade對(duì)象，rwCnMLeigHnlr然后調(diào)用Calo. trlllr構(gòu)造一個(gè)CaIotoe實(shí)例并初oe的構(gòu)造函數(shù)，rwCnrlllr始化，這樣CrawlContolllrer就具備了運(yùn)行條件。此時(shí)，只需調(diào)用rqet

13、rwSat方法就可以啟動(dòng)線程池eusCaltr()和Frnir以便向線程池中工作線程提供抓取用的ote，URL鏈接(最開(kāi)始的是設(shè)置好的入口種子鏈接，之后. l13 是分析出來(lái)的新鏈接)。緊接著抓取線程工作開(kāi)始，不精確的數(shù)據(jù)采集了，采集過(guò)程界面如圖3所示：斷循環(huán)通過(guò)處理器鏈。除非用戶暫停或終止否則直到無(wú)鏈接可抓，控制器認(rèn)為任務(wù)執(zhí)行完成，將所有線程關(guān)閉。. 至(，) Heritrix抓取流程大致如圖2所示：. URL的處理器，負(fù)責(zé)分配下一個(gè)被處理的URL對(duì)抓取時(shí)一些先決條件的判斷用于解析網(wǎng)絡(luò)傳輸協(xié)議用于解析當(dāng)前獲取的服務(wù)器返回的內(nèi)容用于將抓取到的信息用于將解析出來(lái)的URL有件地加入到待處理隊(duì)列中圖

14、2 Hertiirx工作流程在具體的站點(diǎn)采集中，由于站點(diǎn)有很多其他鏈接，所以經(jīng)常會(huì)采集到很多其他無(wú)關(guān)的頁(yè)面，這無(wú)疑會(huì)對(duì)下面的頁(yè)面清洗帶來(lái)麻煩，而且也降低了采集效率，因而需要針對(duì)要采集的目標(biāo)頁(yè)面來(lái)定義網(wǎng)址篩選規(guī)則，以確保不會(huì)采集到其他無(wú)關(guān)頁(yè)面。具體有兩種方式：一it是向Heritrx添加自己的Exractor來(lái)限制解析出來(lái)的URL；另外也可以擴(kuò)展. PostProcesssor，對(duì)進(jìn)入待處理隊(duì)列的URL進(jìn)行篩選，以剔除無(wú)關(guān)的鏈接。下面筆者用第二種方法做個(gè)演示，對(duì)逸仙時(shí)空IM版的所有帖子進(jìn)行采集。逸仙時(shí)空. IM版的人口地址是. htttp：b bbssysu. educnb bbsdoc?boa

15、rd=IM，對(duì)該版的HTML代碼分析后可得知，每個(gè)帖子的. URL為：，其中. Mad：I ie：M所以對(duì). IRL地址的篩8377A是帖子的識(shí)別名，f選主要基于地址中的borie關(guān)鍵詞。在具體代ad和fl碼實(shí)現(xiàn)上，可以自己開(kāi)發(fā)一個(gè)新的PostProcesssor類，繼承Frnirceue父類，shdloteShdlr然后重寫(xiě)父類中的. ceue ()方法，判斷是否符合地址篩選規(guī)則，在此演示中，只需判斷是否存在關(guān)鍵詞即可。若考慮程序的可重用性，可把該功能類封裝起來(lái)，在需要對(duì)其他不同站點(diǎn)進(jìn)行采集時(shí)，只需重新傳人關(guān)鍵詞即可。最后需要在. Heritrix的. WebUI中進(jìn)行一些設(shè)置，制定抓取時(shí)的

16、必要參數(shù)，然后便可以對(duì)目標(biāo)站點(diǎn)進(jìn)行114。LIBRARY AND ION SERVINFORMATICE圖3 Heritrix抓取界面. 42頁(yè)面清洗模塊所謂頁(yè)面清洗，就是根據(jù)后續(xù)需求來(lái)剔除目標(biāo)頁(yè)面中不需要的信息內(nèi)容，從而劃分并提取出精確的信息塊，例如論壇某張?zhí)拥陌l(fā)表時(shí)間、內(nèi)容、發(fā)表. IP等，這對(duì)于后續(xù)的信息分析等工作起著很重要的作用。頁(yè)面清洗模塊主要由HTMLparser來(lái)完成。HT. MLparser是一個(gè)純JAVA編寫(xiě)的HTML解析庫(kù)，它不依賴于其他的JAVA庫(kù)，主要用于改造或提取. HTML。. HTMLparser能超高速解析. HTML，而且不易出錯(cuò)。對(duì)于直接用HTMLpars

17、er來(lái)提取網(wǎng)頁(yè)鏈接并實(shí)時(shí)分析的方法，本系統(tǒng)的優(yōu)點(diǎn)在于能使. HMLarTple代碼模塊更加通用化，rtri采集好的統(tǒng)因?yàn)樵撃K處理的是由Heix一的目標(biāo)頁(yè)面代碼，只需針對(duì)頁(yè)面代碼特點(diǎn)來(lái)確定清洗代碼而無(wú)需考慮抽取鏈接時(shí)的其他意外情況，這樣的思路更有利于系統(tǒng)重用性，如圖4所示：頁(yè)面清洗模塊匡圖4頁(yè)面清洗流程目標(biāo)頁(yè)面是. Heifxrti過(guò)濾出來(lái)的統(tǒng)一度較高的頁(yè)面，HTMLarser讀取存儲(chǔ)在本地的目標(biāo)頁(yè)面(實(shí)際上就是讀取HTML代碼)，然后依據(jù)HTML的規(guī)范解析，最終得到一棵. DOM樹(shù)。該樹(shù)反映了目標(biāo)頁(yè)面的內(nèi)容和結(jié)構(gòu)，包含了頁(yè)面的各個(gè)元素以及他們之間的層次構(gòu)成關(guān)系。因?yàn)樽罱K的結(jié)構(gòu)化文本需要對(duì)應(yīng)存

18、儲(chǔ)到數(shù)據(jù)庫(kù)表的各個(gè)字段中，所以需要自定義清洗規(guī)則來(lái)定位到詳細(xì)信息，例如發(fā)帖人、發(fā)帖時(shí)間和發(fā)帖IP等。自定義規(guī)則最終由HTMLparser強(qiáng)大的API來(lái)實(shí)現(xiàn)，只需要簡(jiǎn)單的幾行代碼，就可以精確抽取到所需字段。. HTlreoeAsrcNdaMLcasr主要靠. Nd、btatoe和Tg來(lái)團(tuán)雪jfff根工作第宙卷第O期. 20009年5月表達(dá)HTML。Node是形成樹(shù)結(jié)構(gòu)表示. HTML的基礎(chǔ)，所有的數(shù)據(jù)表示都是接口Noe的實(shí)現(xiàn)；btatoedAsrcNd是Node的一種具體的類實(shí)現(xiàn)，起到構(gòu)成樹(shù)形結(jié)構(gòu)的作用；而Tag則是具體分析的主要內(nèi)容。HTML封裝了. I，：sO節(jié)點(diǎn)解析處理提供了兩種訪問(wèn)節(jié)點(diǎn)的

19、方法Viitoritr模式和Fle模式。這兩種模式都可以用來(lái)實(shí)現(xiàn)頁(yè)面清洗功能。Fitr對(duì)le模式通過(guò)設(shè)定一定的過(guò)濾條件，每個(gè)節(jié)點(diǎn)進(jìn)行過(guò)濾，返回一個(gè)符合規(guī)則的節(jié)點(diǎn)列表。而Visitor模式則是遍歷提取信息，當(dāng)然這個(gè)信息可以包括某些節(jié)點(diǎn)或者從節(jié)點(diǎn)分析出來(lái)的更有效的信息。相比之下，筆者認(rèn)為Fle模式的目標(biāo)更為明確，itr就是提取節(jié)點(diǎn)，所以本系統(tǒng)采用Fle模式來(lái)實(shí)現(xiàn)頁(yè)面itr清洗模塊。在具體代碼實(shí)現(xiàn)上，HTMLpalser的orghtmlasrfles6種. Fle，preitr包中已經(jīng)定義了1itr在自定義清洗規(guī)則時(shí)根據(jù)需求構(gòu)造自己的fitr然后運(yùn)行過(guò)濾，le，就可以精確地過(guò)濾出不同字段信息了。.

20、43數(shù)據(jù)庫(kù)模塊數(shù)據(jù)庫(kù)模塊的主要功能是數(shù)據(jù)的持久化保存，為后續(xù)對(duì)信息的處理和加工提供方便。將數(shù)據(jù)庫(kù)操作作為一個(gè)獨(dú)立模塊是出于系統(tǒng)的健壯性和移植性考慮，如果將數(shù)據(jù)庫(kù)操作直接放在頁(yè)面清洗模塊，必將使得模塊代碼過(guò)于龐雜，不符合分層的思想，而且不能很好地適應(yīng)Web信息動(dòng)態(tài)變化的特點(diǎn)。該模塊的具體策略可根據(jù)實(shí)際需求來(lái)確定，對(duì)系統(tǒng)的性能影響不大。S結(jié)如何從. Web信息中準(zhǔn)確挖掘到有價(jià)值的信息是至關(guān)重要的。本文提出并實(shí)現(xiàn)了一種. HeirxMrti和HT . Lparser相結(jié)合的web信息精確抽取的方法，用分層與模塊分治的思想設(shè)計(jì)了對(duì)應(yīng)的系統(tǒng)，并且對(duì)逸仙時(shí)空. BBS進(jìn)行了試驗(yàn)采集和抽取。較之以往的方法，

21、本文所倡導(dǎo)的思路有以下特點(diǎn)：抽取的精確度高，可以根據(jù)數(shù)據(jù)庫(kù)表的字段進(jìn)行最小單位的信息抽取；可擴(kuò)展性強(qiáng)，針對(duì)不同需求，用戶只需在對(duì)應(yīng)模塊內(nèi)進(jìn)行修改，各模塊間互不影響。抽取速度快，各模塊可并行工作，且頁(yè)面清洗都是針對(duì)本地的目標(biāo)頁(yè)面，從而極大地提高了抽取速度。隨著計(jì)算機(jī)網(wǎng)絡(luò)在國(guó)內(nèi)的迅速普及，Web信息抽取技術(shù)會(huì)變得越來(lái)越重要，希望越來(lái)越多的研究人員能夠參與其中，從而使得. Web抽取技術(shù)的自動(dòng)化程度和準(zhǔn)確度越來(lái)越高。參考文獻(xiàn)：. 1蒲筱哥基于Web的信息抽取技術(shù)研究綜述現(xiàn)代情報(bào)，2007 (10)：215219. 2火善棟基于網(wǎng)頁(yè)結(jié)構(gòu)特征的網(wǎng)頁(yè)主要文本信息抽取策略現(xiàn)代計(jì)算機(jī)(專業(yè)版)，20008(4)：7375. 3金硯碩，遲呈英，戰(zhàn)學(xué)剛一種基于隱馬爾可夫聚類的信息提取方法情報(bào)雜志，2008(3)：9698. 4冀高峰，湯庸，道煒基于XML的自動(dòng)學(xué)習(xí)Web信息抽取計(jì)算機(jī)科學(xué)，2008(3)：8790. 5蘇新寧，信息檢索理論與技術(shù)北京：科學(xué)技術(shù)文獻(xiàn)出版社，. 2004：273355. 6邱哲，符滔滔開(kāi)發(fā)自己的搜索引擎北京：人民郵電出版社，. 2007：3013